Python3.5+Selenium+PhantomJSでサーバサイドでスクレイピング①

1 Python3.5、Selenium、PhantomJSのインストール編

Python3.5、Selenium、PhantomJSのインストール編

Javascriptがガシガシ動いているWebページだったり、
ログインが必要なサイトを
サーバサイドからスクレイピングをしたいときってありますよね！？

そんなの思ったこともないあなた！！
スクレイピングで、データを引っ張ってきてほしいというようなニーズは
意外と結構あるので、のぞくだけのぞいていってくださいm(_ _)m

Python3.5+Selenium+PhantomJSの組み合わせの特徴

スクレイピングにあたり、Node.jsを使ったり、
PhantomJSじゃなくてFireFoxでとかあると思うのですが、
以下の組み合わせをオススメします！
・Python3.5
・Selenium
・PhantomJS

理由としては・・・
①インストールが簡単
②当然、データベースへも接続できる
③ヘッドレスブラウザのPhantomJSを使うため、バックグラウンドで動作させられる
④Javascriptを記述して実行できる

などなど、他と比較したときに良いなっと思ったところになります

Python3.5、Selenium、PhantomJSのインストール方法

１、Python3.5

本体のダウンロード

cd /usr/local/src/
wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

1 2	cd /usr/local/src/ wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

事前に必要となるパッケージをインストール

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel

yum install gcc gcc-c++ make flex bison gperf ruby \
  openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \
  libpng-devel libjpeg-devel

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel

yum install gcc gcc-c++ make flex bison gperf ruby \

openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \

libpng-devel libjpeg-devel

本体のインストール

tar zxvf Python-3.5.1.tgz

cd Python-3.5.1

./configure --prefix=/usr/local/python

make && make install

tar zxvf Python-3.5.1.tgz

cd Python-3.5.1

./configure --prefix=/usr/local/python

make && make install

シンボリックリンクを作成

ln -s /usr/local/python/bin/python3 /usr/local/bin/python
ln -s /usr/local/python/bin/pip3.5 /usr/local/bin/pip
ln -s /usr/local/python/bin/pip3 /usr/local/bin/pip3
ln -s /usr/local/python/bin/2to3 /usr/local/bin/2to3

ln -s /usr/local/python/bin/python3 /usr/local/bin/python

ln -s /usr/local/python/bin/pip3.5 /usr/local/bin/pip

ln -s /usr/local/python/bin/pip3 /usr/local/bin/pip3

ln -s /usr/local/python/bin/2to3 /usr/local/bin/2to3

パッケージのアップグレード等

pip install --upgrade pip
pip install --upgrade setuptools
pip install requests
pip install lxml

pip install --upgrade pip

pip install --upgrade setuptools

pip install requests

pip install lxml

インストールされているかチェック

python -V

以下が表示されればオッケー
Python 3.5.1

python -V

以下が表示されればオッケー

Python 3.5.1

2、Selenium

pip3 install selenium

1	pip3 install selenium

これだけ

３、PhantomJS

本体のダウンロード

cd /usr/local/src
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

1 2	cd /usr/local/src wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

本体のインストール

tar jxf /usr/local/src/phantomjs-2.1.1-linux-x86_64.tar.bz2
mv phantomjs-2.1.1-linux-x86_64 phantomjs
mv phantomjs /usr/local/

tar jxf /usr/local/src/phantomjs-2.1.1-linux-x86_64.tar.bz2

mv phantomjs-2.1.1-linux-x86_64 phantomjs

mv phantomjs /usr/local/

パスの設定

ln -s /usr/local/phantomjs/bin/phantomjs /usr/local/bin/phantomjs

1	ln -s /usr/local/phantomjs/bin/phantomjs /usr/local/bin/phantomjs

インストールされているかチェック

phantomjs -v

以下が表示されればオッケー
2.1.1

phantomjs -v

以下が表示されればオッケー

2.1.1

最後に

サーバサイドからのスクレイピングの第一回目として、
Python3.5、Selenium、PhantomJSのインストール方法をご紹介しました。

色々な組み合わせを試してきたのですが、
これが一番楽にできたという印象です。

次回は、コードの例をあげて、スクレイピングしてみます！

この記事を書いた人
最新の記事

デミ

Z or R Twice で検索すると…