Python3.5+Selenium+PhantomJSでサーバサイドでスクレイピング②

Python3.5、Selenium、PhantomJSによるスクレイピング実践編

前回は、サーバサイドでのスクレイピングを実践していくにあたり、
筆者オススメ組み合わせのPython3.5、Selenium、PhantomJSの
インストール方法をご紹介しました。

ただ、
Python3.5は良いのですが、
Selenium、PhantomJSは、使用にあたって
とっつきにくいところがどうしてもあると思うので、
今回は、実際に簡単なスクレイピングを実践していきます!

コードの内容としては、
PythonでSeleniumを動作させて、
SeleniumがPhantomJSを実行させている感じです。

簡単なスクレイピングコード


htmlの取得やスクリーンショットも撮ったときに
文字化けしてたり、そもそも文字が表示されない場合は、
OSにフォントがインストールされていないからかもです

それに気づくまでに結構はまりました(;´Д`)

CentOSの場合は、/usr/share/fontsの配下を確認してみて下さい!

最後に

サーバサイドからのスクレイピングの第二回目として、
Python3.5、Selenium、PhantomJSを使った
簡単なスクレイピングコードをご紹介しました。

ユーザエージェント、言語の設定とか調べても意外と
みつからず苦労したのが懐かしいです。

Pythonなので、もちろんデータベースへの接続もできますし、
PhantomJSは、れっきとしたブラウザなので、ブラウザでの
リダイレクトもエミュレーションできます!

その内、そのあたりも記事にしていこうかなと

最後までご高覧頂きまして有難うございました。

関連記事

コメントは利用できません。

ピックアップ記事

ピックアップ記事

  1. 2017-1-30

    【大食いチャレンジ動画紹介!!!】MAX鈴木の大食いチャレンジ動画3選!!!

    うちの事務所には"日本一の胃袋を持つ男"大食いタレントのMAX鈴木が所属して…

ピックアップ記事

  1. 2016-10-4

    おもしろ可愛い♥ハロウィン限定メニュー2016!EGGS ’N THINGS、Q-pot CAFE、とらやカフェなどなど・・・

    ハロウィン限定メニュー&スイーツ特集もうすぐハロウィン!ということで、今回は都内のカフェを中心にハロ…

ピックアップ記事

  1. 2016-11-16

    れんこんサミットって何!?11月17日はレンコン記念日!今夜はレンコン料理で決まり!!

    みなさん、今日が何の日かご存知ですか!?そう、今日は!!レンコンの日!!!!です!!!!レンコンの日…
ページ上部へ戻る
Top