PhantomJS(Python3.5、Selenium)でリダイレクトのトラッキング-Browsermob-proxyのインストール編-

Browsermob-proxyのインストール編

PhantomJSは、Webkitベースのヘッドレスブラウザです。
JavaScriptの解析エンジンが搭載されていて、
JavaScriptのレンダリングが必要なWebサイトのスクレイピングができます!
なので、meta要素やJavaScriptによるクライアントサイドでの
リダイレクトにも対応できるという優れものです!

それで、これからの内容ですが、
PhantomJSでリダイレクトがかかるWebサイトをスクレイピングするのですが、
その際に、リダイレクトのログを追いたい、ネットワークをトラッキングしたい
ということです。

このトラッキング、
PhantomJS単体でもやろうと思えばやれるのですが、PhantomJS単体だと
・データベースへの接続をどうしよう
・HTMLの解析をどうしよう

などなど、どうしてもその他の問題が出てきます。

なので、やはり、
以下の組み合わせで実装します!
・Python3.5
・Selenium
・PhantomJS

※インストール方法は、こちらから

今回は、ネットワークログ、リダイレクトのトラッキング
を観測するプロキシサーバの
Browsermob-proxyのインストール方法をご紹介します!

概要

SeleniumでPhantomJSを操作するのですが、
そのコードをPythonで記述します。
そして、プロキシサーバのBrowsermob-proxyで
ネットワークログ、リダイレクトのトラッキングを観測します。

Browsermob-proxyのインストール方法

※CentOS7.1環境下で行ってます

・本体のインストール

・Javaのインストール

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlより

・シェルファイルの設定

ログインし直せば、設定は反映されます!

確認した結果

最後に

スクレイピングでネットワークログであったり、
トラッキングを観測したいというのは、
だいぶコアな悩みだと思います。

だから、ほんとに情報見つけるの大変でした。。。。

今回は、Browsermob-proxyのインストール方法でしたが、
次回は、使い方をご紹介します!

関連記事

コメントは利用できません。

ピックアップ記事

ピックアップ記事

  1. 2016-11-8

    女性に嬉しい♪冷え性、生理痛にも効く、万能乾燥生姜の効果と簡単レシピ

    生姜好きガンボです!! でも生姜って買っても1個使い切るのに時間がかかりませんか? 特に1人暮ら…

ピックアップ記事

  1. 2016-12-8

    岩井俊二の伝説的ドラマ『打ち上げ花火、下から見るか?横から見るか?』大根仁×新房昭之でアニメ映画化!声優には宮野真守、広瀬すず、菅田将暉…

    岩井俊二監督の伝説的ドラマ、「打ち上げ花火、下から見るか?横から見るか?」が、脚本・大根仁(「モテキ…

ピックアップ記事

  1. 2016-6-28

    【売れっ子への道渋滞中】若手芸人高齢化について考える。其の一

    若手といえば何才くらい?テレビで体を張って笑いを取る若手芸人たち。「若手」という言葉を聞けば、誰もが…
ページ上部へ戻る
Top