PhantomJS(Python3.5、Selenium)でリダイレクトのトラッキング-Browsermob-proxyの使い方編-

1 Browsermob-proxyの使い方編

Browsermob-proxyの使い方編

PhantomJS、Python3.5、Seleniumの組み合わせで
リダイレクトのログを追う、
ネットワークをトラッキングする、
ということで
前回は、Browsermob-proxyのインストール方法をご紹介しました。

※インストール方法は、こちらから

それで、今回は、Browsermob-proxyの
使い方を簡単なコードと共にお伝えしたいと思います！

概要

まず、Browsermob-proxyサーバを立ち上げます。
それから、PhantomJSを操作すれば、
ネットワークログの観測や、
トラッキングが行えます。

Browsermob-proxyの使い方

from selenium import webdriver
from browsermobproxy import Server

def main():


	# browsermob-proxyのインストール先を設定
	BROWSERMOB_PROXY_PATH = '/usr/local/browsermob-proxy/bin/browsermob-proxy'

	# browsermob-proxyの起動
	server = Server(BROWSERMOB_PROXY_PATH)
	server.start()
	proxy = server.create_proxy()
	proxy_address = "--proxy=127.0.0.1:%s" % proxy.port


	# phantom.jsのユーザエージェントの設定
	USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
	# phantom.jsの言語の設定
	Language = "ja,en-US";

	# phantom.jsのログの吐き出しパスを設定
	log_path = '/var/log/phantomjs.log'

	# seleniumの設定
	# ここでは、ログの吐き出しレベルとsslのエラーを無視するように設定
	service_args = ["--webdriver-loglevel=INFO" , '--ignore-ssl-errors=yes',]

	# phantomjsの起動
	driver = webdriver.PhantomJS(
		desired_capabilities={
			   'phantomjs.page.settings.userAgent': USER_AGENT,
			   'phantomjs.page.customHeaders.Accept-Language' : Language,
			},
		service_log_path=log_path,service_args=service_args
	)

	# ネットワークのトラッキング開始
	proxy.new_har()

	# URLにアクセス
	driver.get("http://macbeese.com/")

	# トラッキング情報の取得
	all_requests = [entry['request']['url'] for entry in proxy.har['log']['entries']]

	# トラッキング情報の表示
	print(all_requests)


	# phantomjsの終了
	driver.quit()

	# browsermob-proxyの終了
	server.stop()


if __name__ == "__main__":
	main()

from selenium import webdriver

from browsermobproxy import Server

def main():

# browsermob-proxyのインストール先を設定

BROWSERMOB_PROXY_PATH = '/usr/local/browsermob-proxy/bin/browsermob-proxy'

# browsermob-proxyの起動

server = Server(BROWSERMOB_PROXY_PATH)

server.start()

proxy = server.create_proxy()

proxy_address = "--proxy=127.0.0.1:%s" % proxy.port

# phantom.jsのユーザエージェントの設定

USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"

# phantom.jsの言語の設定

Language = "ja,en-US";

# phantom.jsのログの吐き出しパスを設定

log_path = '/var/log/phantomjs.log'

# seleniumの設定

# ここでは、ログの吐き出しレベルとsslのエラーを無視するように設定

service_args = ["--webdriver-loglevel=INFO" , '--ignore-ssl-errors=yes',]

# phantomjsの起動

driver = webdriver.PhantomJS(

desired_capabilities={

'phantomjs.page.settings.userAgent': USER_AGENT,

'phantomjs.page.customHeaders.Accept-Language' : Language,

service_log_path=log_path,service_args=service_args

)

# ネットワークのトラッキング開始

proxy.new_har()

# URLにアクセス

driver.get("http://macbeese.com/")

# トラッキング情報の取得

all_requests = [entry['request']['url'] for entry in proxy.har['log']['entries']]

# トラッキング情報の表示

print(all_requests)

# phantomjsの終了

driver.quit()

# browsermob-proxyの終了

server.stop()

if __name__ == "__main__":

main()

最後に

Browsermob-proxyの使い方を簡単なコード例で、
ご紹介しました。

ここらあたりは、英語の文献ばかりだったので、
メモがてらに記載しておきます。

著者が実践中の英語学習方法も今度かきたいと思います。

この記事を書いた人
最新の記事

デミ

Z or R Twice で検索すると…