筆記：小型 Web Crawler/Automator 個人工具箱

許多 (browser) automation 的工具都用「鬼」命名 XDDDD
phantomjs, slimerjs, casperjs, ghost.py ...
圖片來自：手滑背單字 的懶惰鬼

＃以下為我撰寫小型 web crawler / automator 時常使用的工具與思路

觀察 & 分析

釐清要什麼以後，宜先人工操作網頁，並透過以下方式進行初步觀察：

• chrome 開發人員工具 => network => 勾選 preserve log => 進行操作
• 觀察 http 封包的發送
• chrome 開發人員工具 => 點選左上角搜尋圖示 => 直接點擊欲觀察的網頁元素
• 在該網頁元素的程式碼部分，可以使用右鍵直接取得 xpath / csspath 的資訊
• 使用 visual event 觀察頁面上 javascript event 與 UI 的 binding 情況

個人工具箱

我慣用的工具有：（程式執行成本由低到高）

• requests 函式庫，從 http 的層級解決問題
• 執行效率最佳
• 雖然位於底層，但最後不一定會是最繁雜的 solution
• 可無視許多 application UI 的操作邏輯
• 若上層的 application 過於複雜，會難以找出合法 http request 的格式
• 要處理的參數過多會導致需要花費很多時間測試
• 參數值越依賴 application  的運算，越難生成
• 隨著頁面跳轉、ajax 呼叫 ... 複雜度會上升
• 需要自行維持  headers / cookies 的值 ... 手動模仿部分瀏覽器行為
• mechanize / twill / mechanicalSoup 之類的函式庫，用精簡版的瀏覽器解決問題
• 執行效率次佳
• 部分瀏覽器的功能已經被實作，能帶來很大的方便
• 但是不能執行 javascript ，使得適用範圍小很多
• 函式庫會附帶一些便捷的 API ，協助填寫表單、點擊連結 ...
• 適合拿來跑簡單的 functional testing
• 至少可以不用擔心如何維持瀏覽器的狀態
• 拿來測 API 也並無不可
• 使用 phantomjs 等等內嵌 webkit 的工具，透過無視窗介面的瀏覽器解決問題
• 執行效率欠佳
• 能執行 javascript ，可高度模擬使用真實瀏覽器的情境
• 有廣大的社群以此為基礎，開發相關的 testing / automation ... tools
• casperjs 是高階，極為好用的封裝
• resurrectio 提供了 chrome plugin，可以人工錄製欲自動化的步驟以後，自動生成以 casperjs 寫的測試程式碼
• 還在開發初期，頗有機會測試程式碼會出錯，需要人工修改
• ghost.py 是 python 版本仿 casperjs 的函式庫
• 依賴 pySlide or pyQT ... 安裝得花功夫
• 能夠使用的 API 仍比 casperjs 少很多，文件亦不足
• 優點為：使用 python 寫出的程式碼架構，可讀性比 js 版本高非常多
• 使用 selenium 驅動瀏覽器，直接人工錄製欲自動化的步驟或進而匯出程式碼
• 執行效率欠佳，且大都需要視窗環境
• 驅動真實瀏覽器時，會顯示出視窗，好處是較容易除錯
• 亦可驅動以 phantomjs 為核心的 ghostdriver，不需顯示出視窗
• Selenium 的 Python 及各語言 binding，能夠讓開發者在習慣的環境下開發程式
• 直接使用錄製功能時，記錄下來的動作不一定具備正確重現性
• 亦即播放時仍可能出錯

使用策略、心得

對於簡單的網頁，特別是無須登入那種，requests 可以說是最佳解
甚至直接使用 pyquery 就能快速完成 crawling + parsing 的工作

但是對於較複雜的網頁，常常會陷入 requests vs. casperjs 的抉擇
當評估用 requests 實作要太多時間，而能接受較慢的執行速度時
casperjs 算是一個比較快速的解法

換言之，以下可能是不錯的使用策略：

• 需要執行頻率高的 crawling 時，推薦用 requests 
• 需要執行頻率低或有複雜 application 操作的 automation 時，推薦用 casperjs

實務上，要使用 requests 自幹時
千萬記得到 google / github 找找看有沒有人有做過同樣的事情
即便語言不同，只要能夠看懂 http 相關的操作
也很容易可以寫出自己的版本


反之，即便要走 casperjs 路線
也並不代表會一路順遂，因為仍然有一定的學習成本

• 高階的 resurrectio 能夠自動產生 casperjs  的  code ，但是不一定 work
• casperjs 有乍看醜醜，但是其實蠻完善的文件（建議讀完他）
• 分享幾個使用上的經驗：
• 網頁會有 popup 視窗的行為，要特別注意
• 使用 evaluate API 之前，盡可能看看其他 API 是否有提供包好的功能
• 可以關掉讀取圖片的功能，大幅加速程式速度
• 我個人會透過擷取圖片功能，事後看各個步驟的執行結果

原本我以為若使用casperjs ，就可以在幾個小時之內馬上完成工作
結果一邊撞 javascript / casperjs 的牆，一邊讀文件後
最後還是花費了超過一天才完成工作 ...
當然，熟悉這個工具以後，會認為付出是划算的

歡迎補完

本文沒有探討 parsing 或是  crawling 的深入議題，僅只是介紹寫寫小 scripts 時的工具
若有朋友知道有什麼好物，請推薦給我啊啊啊！

活動：Tainan.py x MOSUT 2014 7 月聚會

Tainan.py x MOSUT 2014 7 月聚會 - kuku

Tainan.py x MOSUT 2014 7 月聚會 - jserv

因為走錯路而遲到，在緊張的心情下（人好多）
我拿出輸出 VGA 有點接觸不良的 ipad 開始了這次的聚會 ... Orz

開場：新 Logo + 把玩 supervisord + Python 報報

（此次開場試用  evernote 簡報功能，開場簡報下載）

活動開始後我先投稿做好許久，但是忘了拿出來的 MOSUT Logo ...

原圖下載 （svg）designed by nao

接著怕整場活動 Python 太少
所以快速介紹一下一個用 python 寫的好用程序管理工具：supervisord

• 筆記在此

接下來我進行簡短的 Python 工商服務後，就是講者的分享時間了！

跟大師學習：講講瀏覽器渲染 - 當內容遇上裝置

Guides To Analyzing WebKit Performance from Jim Huang

等等，第一位上場的講者難道不是 kuku 嗎？
怎麼投影片是第二位講者 jim Huang (jserv) 的？


是的，這就是 kuku 的「跟大師學習」系列演講，詳情請見下圖：

圖片來自 仁傑

以下為 Isrlab 對當天分享的補充：

昨天 Tainan.py X MOSUT，我們分享了最近研究的課題，主標題是 "向大師學習 - 講講瀏覽器渲染"，副標題是 "當數位內容遇上裝置"。
這是一個有趣的年代，數位內容的生產者必須多方考慮眾多裝置差異及各家瀏覽器的渲染能力，我們正在嘗試幫數位內容的開發工具，加一些獨家功能，像是 Flash 編譯器的修改；也考慮深度挖掘瀏覽器的優化可能性，像是 Firefox Gecko 層的擴展。
分享給前端工程師，瀏覽器工程師，系統工程師。

kuku 使用的第二份投影片：Rendering Performance Case Studies （強力推薦一看）

一定會扯到 Python 的「情感運算學習網」上線

第二位講者小均這次為我們介紹 情感運算學習網
並且 demo 一個 辨識情感的小程式 （by python）
（ jserv 已玩過改過，且說明其辨識能力不佳）


身為「我要征服台南牛肉湯」的作者，小均「順便」分享一下最近做的研究：

點此觀看研究報告

偷渡一下牛肉湯回報：
民生路那間無名牛肉湯，老闆每天都是自己到善化屠宰場選肉再拿回店面 ... 推！

Build A Lightweight Hypervisor for Realtime Linux

伴隨著隔壁在換招牌的陣陣轟聲
jserv 帥（爆）氣登場，為我們介紹 realtime linux：

Making Linux do Hard Real-time from Jim Huang

工商服務

PyConAPAC 後，各地 Python 社群蓬勃揪團，依開台順序排序：

• 新竹使用者群組 (PyHUG)「活動於新竹周邊的 Python 程式員。非常歡迎你加入我們的聚會！」
• 台北使用者群組 (Taipei.py)「活動於台北周邊的 Python 玩家，歡迎來玩！」
• 台南使用者群組 (Tainan.py)「活動於台南周邊的 Python 人客，歡迎來吃！」 
• PyLadies @ Taiwan!「專屬於女生的 Python 愛好者聚會，專供喜歡 Python 的女生、想學 Python 的女生、想瞭解 Python 的女生，彼此交流、交換心得，聊天認識朋友的地方。」
• Kaohsiung Python User Group 「高雄地區 Python 使用者的交流園地」
• 花蓮使用者群組 (花蓮.py)「活動於花蓮周邊的 Python 玩家，歡迎來花蓮玩！」 花蓮.py 的 hackpad
• 台中使用者群組 (Taichung.py)「 Python台中聚會，歡迎大家來玩！Have Fun！」
• 以上皆非？現在就來在當地聚辦一個！我們歡迎在地的使用者開始進行聚會，可參考如何進行在地 Python 使用者聚會。

More info: 

Python 台灣使用者群組 

http://wiki.python.org.tw/

Or

Python Taiwan @ Facebook 
https://www.facebook.com/groups/pythontw/

筆記：把玩 supervisord

本文是從 evernote 筆記中轉存出來的文章，分享於 Tainan.py x MOSUT 2014.07 

# 看完了 wen 分享的文章以後 …




＃ 也來試看看用 python 寫的 [老字號] supervisor 吧 （推薦用來管理自己的 process）

＃ 安裝（盡量在 virtualenv 之外裝） 
pip install supervisor --pre


＃ 建立 config sample file

echo_supervisord_conf  >  /etc/supervisord.conf


＃ 修改 config file

[program:foo]
command=/bin/cat


＃ 建議啟動時讀取自己的 config file

supervisord -c supervisord.conf


＃ 使用 supervisorctl 來管理自己的 process （使用範例）

[tainanpy etc]$ supervisorctl

backup                           RUNNING    pid 26703, uptime 26 days, 18:18:33
main                               RUNNING    pid 26702, uptime 26 days, 18:18:33
sentry-web                    RUNNING    pid 26701, uptime 26 days, 18:18:33



supervisor> ?

default commands (type help <topic>):
=====================================
add    clear  fg        open  quit    remove  restart   start   stop  update
avail  exit   maintail  pid   reload  reread  shutdown  status  tail  version



supervisor> restart sentry-web

sentry-web: stopped
sentry-web: started



supervisor> status main

main                             RUNNING    pid 26702, uptime 26 days, 18:19:42
supervisor>


＃ 其實啟動時可以帶很多參數，config 檔支援 *更多* 設置方式

-c FILE, --configuration=FILE
	The path to a supervisord configuration file.
-n, --nodaemon	Run supervisord in the foreground.
-h, --help	Show supervisord command help.
-u USER, --user=USER
	UNIX username or numeric user id. If supervisord is started as the root user, setuid to this user as soon as possible during startup.
-m OCTAL, --umask=OCTAL
	Octal number (e.g. 022) representing the umask that should be used by supervisord after it starts.
-d PATH, --directory=PATH
	When supervisord is run as a daemon, cd to this directory before daemonizing.
-l FILE, --logfile=FILE
	Filename path to use as the supervisord activity log.
-y BYTES, --logfile_maxbytes=BYTES
	Max size of the supervisord activity log file before a rotation occurs. The value is suffix-multiplied, e.g “1” is one byte, “1MB” is 1 megabyte, “1GB” is 1 gigabyte.
-y NUM, --logfile_backups=NUM
	Number of backup copies of the supervisord activity log to keep around. Each logfile will be of size logfile_maxbytes.
-e LEVEL, --loglevel=LEVEL
	The logging level at which supervisor should write to the activity log. Valid levels are trace, debug, info, warn, error, and critical.
-j FILE, --pidfile=FILE
	The filename to which supervisord should write its pid file.
-i STRING, --identifier=STRING
	Arbitrary string identifier exposed by various client UIs for this instance of supervisor.
-q PATH, --childlogdir=PATH
	A path to a directory (it must already exist) where supervisor will write its AUTO -mode child process logs.
-k, --nocleanup
	Prevent supervisord from performing cleanup (removal of old AUTO process log files) at startup.
-a NUM, --minfds=NUM
	The minimum number of file descriptors that must be available to the supervisord process before it will start successfully.
-t, --strip_ansi
	Strip ANSI escape sequences from all child log process.
-v, --version	Print the supervisord version number out to stdout and exit.
--profile_options=LIST
	Comma-separated options list for profiling. Causes supervisord to run under a profiler, and output results based on the options, which is a comma-separated list of the following: cumulative, calls, callers. E.g. cumulative,callers.
--minprocs=NUM	The minimum number of OS process slots that must be available to the supervisord process before it will start successfully.

supervisorctl Command-Line Options

-c, --configuration
	Configuration file path (default /etc/supervisord.conf)
-h, --help	Print usage message and exit
-i, --interactive
	Start an interactive shell after executing commands
-s, --serverurl URL
	URL on which supervisord server is listening (default “http://localhost:9001”).
-u, --username	Username to use for authentication with server
-p, --password	Password to use for authentication with server
-r, --history-file
	Keep a readline history (if readline is available)

autorestart
May be one of false, unexpected, or true. If false, the process will never be autorestarted. Ifunexpected, the process will be restart when the program exits with an exit code that is not one of the exit codes associated with this process’ configuration (see exitcodes). If true, the process will be unconditionally restarted when it exits, without regard to its exit code.
Default: unexpected
Required: No.
Introduced: 3.0


＃ 官網

http://supervisord.org/index.html

Try it !

（文件 Host 在 Readthedocs <- 三月份若渴：來分享的外國朋友創辦的服務）