Python3.5+Selenium+PhantomJSでサーバサイドでスクレイピング①

mogura

Python3.5、Selenium、PhantomJSのインストール編

Javascriptがガシガシ動いているWebページだったり、
ログインが必要なサイトを
サーバサイドからスクレイピングをしたいときってありますよね!?

そんなの思ったこともないあなた!!
スクレイピングで、データを引っ張ってきてほしいというようなニーズは
意外と結構あるので、のぞくだけのぞいていってくださいm(_ _)m

Python3.5+Selenium+PhantomJSの組み合わせの特徴

スクレイピングにあたり、Node.jsを使ったり、
PhantomJSじゃなくてFireFoxでとかあると思うのですが、
以下の組み合わせをオススメします!
・Python3.5
・Selenium
・PhantomJS

理由としては・・・
①インストールが簡単
②当然、データベースへも接続できる
③ヘッドレスブラウザのPhantomJSを使うため、バックグラウンドで動作させられる
④Javascriptを記述して実行できる

などなど、他と比較したときに良いなっと思ったところになります

Python3.5、Selenium、PhantomJSのインストール方法

1、Python3.5

本体のダウンロード

事前に必要となるパッケージをインストール

本体のインストール

シンボリックリンクを作成

パッケージのアップグレード等

インストールされているかチェック

2、Selenium

これだけ

3、PhantomJS

本体のダウンロード

本体のインストール

パスの設定

インストールされているかチェック

最後に

サーバサイドからのスクレイピングの第一回目として、
Python3.5、Selenium、PhantomJSのインストール方法をご紹介しました。

色々な組み合わせを試してきたのですが、
これが一番楽にできたという印象です。

次回は、コードの例をあげて、スクレイピングしてみます!

関連記事

コメントは利用できません。

ピックアップ記事

  1. スクリーンショット 2015-07-12 4.38.30
  2. bsSHI86_akaibara1342
  3. 上島珈琲店2
  4. 10687112_879702202053511_2748636795163219253_n
  5. ブログ用画像
  6. l7utqWYYzOSwACRcpY2KlFfPJWqRpbmuXVOMmr4yg80
  7. スターウォーズ1
  8. スクリーンショット 2015-10-04 17.30.03
  9. 142765177-komodo-dragon-in-flores-indonesia-gettyimages
  10. Apple Music6

ピックアップ記事

  1. joyanabe

    2016-11-1

    【レシピ付き】簡単おいしい♪1人でも毎日食べたくなる最近話題の「常夜鍋」特集!

    出典:常夜鍋【E・レシピ】料理のプロが作る簡単レシピ 急に冷え込んできた今日このごろ、鍋が恋し…

ピックアップ記事

  1. 01ed8f2b9bd22f25f9b4ea14adcf3568_m

    2016-11-8

    女性に嬉しい♪冷え性、生理痛にも効く、万能乾燥生姜の効果と簡単レシピ

    生姜好きガンボです!! でも生姜って買っても1個使い切るのに時間がかかりませんか? 特に1人暮ら…

ピックアップ記事

  1. IMG_3517

    2016-7-17

    京都ダリ展に行って来ました

    7/1(金)から京都市美術館で開催している、 ダリ展に行ってきました。【過去のダリ展記事】 [blo…
ページ上部へ戻る
Top