【scalaでスクレイピング】scalaでjsoupを使う

1 【scalaでスクレイピング】scalaでjsoupを使う

【scalaでスクレイピング】scalaでjsoupを使う

jsoup は Java のライブラリでHTMLの解析がおこなえます。

URLからWebページを取得できますし、CSSセレクタで
タグの検索とかできます。

そして、何より文字コードの判定を自動でしてくれて、
ほぼ文字コードの変換処理いらずです。

これは、ほんとに助かります。

まだまだUTF-8じゃないサイトもあって、
スクレイピングの悩みのもとですから！！

jsoupのインストール

build.sbtに下記を記述するだけです。

libraryDependencies += "org.jsoup" % "jsoup" % "1.9.2"

1	libraryDependencies += "org.jsoup" % "jsoup" % "1.9.2"

scalaでの゙jsoupの使用例

・URLへのアクセス

import org.jsoup._
import collection.JavaConverters._

val request_url = "http://macbeese.com/";

// URL先のWebページへアクセス
val doc = Jsoup.connect(request_url).get()

// HTML文字列の取得
val html = doc.html()

import org.jsoup._

import collection.JavaConverters._

val request_url = "http://macbeese.com/";

// URL先のWebページへアクセス

val doc = Jsoup.connect(request_url).get()

// HTML文字列の取得

val html = doc.html()

・ユーザエージェントを指定して、URLへアクセスする

import org.jsoup._
import collection.JavaConverters._


val request_url = "http://macbeese.com/";
val ua          = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36";

// ユーザエージェントを指定してWebページへアクセス
val doc = Jsoup.connect(request_url).userAgent(ua).get()

// HTML文字列の取得
val html = doc.html()

import org.jsoup._

import collection.JavaConverters._

val request_url = "http://macbeese.com/";

val ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36";

// ユーザエージェントを指定してWebページへアクセス

val doc = Jsoup.connect(request_url).userAgent(ua).get()

// HTML文字列の取得

val html = doc.html()

・POST通信でのアクセス

import org.jsoup._
import collection.JavaConverters._

val request_url = "http://macbeese.com/";
val ua          = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36";

// パラメータを指定してWebページへPOST
val doc = Jsoup.connect(request_url)
            .data("paramname1", "paravalue1")
            .data("paramname2", "paravalue2")
            .userAgent(ua)
            .post()

// HTML文字列の取得
val html = doc.html()