PhantomJS(Python3.5、Selenium)でリダイレクトのトラッキング-Browsermob-proxyの使い方編-

1 Browsermob-proxyの使い方編

Browsermob-proxyの使い方編

PhantomJS、Python3.5、Seleniumの組み合わせで
リダイレクトのログを追う、
ネットワークをトラッキングする、
ということで
前回は、Browsermob-proxyのインストール方法をご紹介しました。

※インストール方法は、こちらから

それで、今回は、Browsermob-proxyの
使い方を簡単なコードと共にお伝えしたいと思います！

概要

まず、Browsermob-proxyサーバを立ち上げます。
それから、PhantomJSを操作すれば、
ネットワークログの観測や、
トラッキングが行えます。

Browsermob-proxyの使い方

from selenium import webdriver
from browsermobproxy import Server

def main():


	# browsermob-proxyのインストール先を設定
	BROWSERMOB_PROXY_PATH = '/usr/local/browsermob-proxy/bin/browsermob-proxy'

	# browsermob-proxyの起動
	server = Server(BROWSERMOB_PROXY_PATH)
	server.start()
	proxy = server.create_proxy()
	proxy_address = "--proxy=127.0.0.1:%s" % proxy.port


	# phantom.jsのユーザエージェントの設定
	USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
	# phantom.jsの言語の設定
	Language = "ja,en-US";

	# phantom.jsのログの吐き出しパスを設定
	log_path = '/var/log/phantomjs.log'

	# seleniumの設定
	# ここでは、ログの吐き出しレベルとsslのエラーを無視するように設定
	service_args = ["--webdriver-loglevel=INFO" , '--ignore-ssl-errors=yes',]

	# phantomjsの起動
	driver = webdriver.PhantomJS(
		desired_capabilities={
			   'phantomjs.page.settings.userAgent': USER_AGENT,
			   'phantomjs.page.customHeaders.Accept-Language' : Language,
			},
		service_log_path=log_path,service_args=service_args
	)

	# ネットワークのトラッキング開始
	proxy.new_har()

	# URLにアクセス
	driver.get("http://macbeese.com/")

	# トラッキング情報の取得
	all_requests = [entry['request']['url'] for entry in proxy.har['log']['entries']]

	# トラッキング情報の表示
	print(all_requests)


	# phantomjsの終了
	driver.quit()

	# browsermob-proxyの終了
	server.stop()


if __name__ == "__main__":
	main()