Python3.5+Selenium+PhantomJSでサーバサイドでスクレイピング②

mogura

Python3.5、Selenium、PhantomJSによるスクレイピング実践編

前回は、サーバサイドでのスクレイピングを実践していくにあたり、
筆者オススメ組み合わせのPython3.5、Selenium、PhantomJSの
インストール方法をご紹介しました。

ただ、
Python3.5は良いのですが、
Selenium、PhantomJSは、使用にあたって
とっつきにくいところがどうしてもあると思うので、
今回は、実際に簡単なスクレイピングを実践していきます!

コードの内容としては、
PythonでSeleniumを動作させて、
SeleniumがPhantomJSを実行させている感じです。

簡単なスクレイピングコード


htmlの取得やスクリーンショットも撮ったときに
文字化けしてたり、そもそも文字が表示されない場合は、
OSにフォントがインストールされていないからかもです

それに気づくまでに結構はまりました(;´Д`)

CentOSの場合は、/usr/share/fontsの配下を確認してみて下さい!

最後に

サーバサイドからのスクレイピングの第二回目として、
Python3.5、Selenium、PhantomJSを使った
簡単なスクレイピングコードをご紹介しました。

ユーザエージェント、言語の設定とか調べても意外と
みつからず苦労したのが懐かしいです。

Pythonなので、もちろんデータベースへの接続もできますし、
PhantomJSは、れっきとしたブラウザなので、ブラウザでの
リダイレクトもエミュレーションできます!

その内、そのあたりも記事にしていこうかなと

最後までご高覧頂きまして有難うございました。

関連記事

コメントは利用できません。

ピックアップ記事

  1. スクリーンショット 2017-01-18 0.02.58

    2017-1-18

    気軽に芸能人気分が味わえる!!芸能人が愛するロケ弁3選!!!

    出典:http://portal.nifty.com/kiji/160701196892_1.htm…

ピックアップ記事

  1. makublo_thumb3

    2016-8-11

    jqueryでtableを整形する便利プラグインDataTables!

    jqueryとDataTablesでお手軽table操作Webページで動的なデータの表を作ることって…

ピックアップ記事

  1. EXP=1464177959

    2016-5-24

    落ち込んだ時の名言のススメ

    たかが言葉、されど言葉 こんちんは。こにたんです。 誰にでも落ち込む時はあるし、誰にでも迷う…
ページ上部へ戻る
Top