【scalaでスクレイピング】scalaでjsoupを使う

【scalaでスクレイピング】scalaでjsoupを使う

jsoup は Java のライブラリでHTMLの解析がおこなえます。

URLからWebページを取得できますし、CSSセレクタで
タグの検索とかできます。

そして、何より文字コードの判定を自動でしてくれて、
ほぼ文字コードの変換処理いらずです。

これは、ほんとに助かります。

まだまだUTF-8じゃないサイトもあって、
スクレイピングの悩みのもとですから!!

jsoupのインストール

build.sbtに下記を記述するだけです。

scalaでの゙jsoupの使用例

・URLへのアクセス

・ユーザエージェントを指定して、URLへアクセスする

・POST通信でのアクセス

まとめ

・jsoupは、Javaのライブラリで、もちろんscalaでも使用できます
・文字コードの判定も結構自動でやってくれます
・何より簡単に扱えます

以上です!

関連記事

コメントは利用できません。

ピックアップ記事

  1. 2016-6-29

    【医療全身脱毛】悲鳴があがるほど痛い箇所ランキング3選

    現在、医療レーザーの全身脱毛にかよっています。ハッキリ言います。めちゃめちゃ痛くて、 毎…

ピックアップ記事

  1. 2016-8-11

    jqueryでtableを整形する便利プラグインDataTables!

    jqueryとDataTablesでお手軽table操作Webページで動的なデータの表を作ることって…

ピックアップ記事

  1. 2016-11-15

    ずぼらさん必見!簡単ごはん『もぐー』の人気レシピ動画まとめ 〜ごはん編〜

    ずぼらでも簡単においしく作れるレシピまとめ もぐー(mogoo)とは、「かんたん・おいしい・たのし…
ページ上部へ戻る
Top