David Ko的學習之旅

GUI測試自動化不是小孩子的玩具

GUI test automation is not child's play
http://blogs.msdn.com/imtesty/archive/2009/03/12/gui-test-automation-is-not-child-s-play.aspx

March 12, 2009
Posted by Bj Rollison
Published in I. M. Testy

作者認為UI Automation會失敗的原因, 是缺乏對受測系統的了解, 因此在一開始的時候, 就做了不正確的設計, 導致測試結果沒有達到預期的效果.

尤其是當測試人員在以下狀況時, 這問題特別明顯:
(1) may have specialized business knowledge
(2) but lack a in-depth understanding of the systems they are working on (non-technical testers)

因為在這狀況之下, 大多數的人都只是利用 record/playback, 或是建立一些固定動作的script, 去驅動所謂的keyboard driven的架構. 因此這樣的測試, 除了模仿測試人員的操作行為, 並沒有更多的東西出現

事實上, 這樣是把測試自動化過度簡化.

如果只是固定的測試流程, 測試資料, 你把它一run再run, 你認為會得什麼結果嗎? 我想答案只有==> 測試自動化是一點效果都沒有的

所以作者講出:
When you automate poorly designed tests, you simply get poorly designed automated tests!
Simple automation is simply automated simplicity.

也就是說你必須要好好設計test atuomation, 你才會得到好的結果.

有些好的設計, 它不但會可configure test data, 甚至會自動產生test data,並計算expected result; 此外, 有些還會自動變化test scenario, 使你的測試程式更有價值.

人和程式不同的地方, 是人會思考, 所以manual testing不可取代的地方, 是人永遠會想出不同的東西出來. 但是不是代表你測試程式就是要一成不變, 只是紀錄keyboard 和mouse的動作, 那這樣做可能只比亂按強而已.