David Ko的學習之旅

測試自動化的策略

What's your test automation strategy?
http://blogs.msdn.com/imtesty/archive/2006/05/08/593395.aspx

通常我們都誤解test automation要越高越好, 100%自動化是最佳狀態. 但是不管做什麼事, 投資報酬率是最重要的考量. 千萬不要是為了做automation而automation. 因此每次在test automation, 策略是一件很重要的事, 要決定什麼該做, 什麼不該做, 我們的方向是什麼.

作者首先提出什麼是 test automation的strategy:

 A practical test automation strategy is one that
- provides a pragmatic solution
- to address specific business needs
- with well-defined, measurable goals based upon realistic expectations.

首先在businees need方面, 不外乎就是減少測試時間. 像BVT (Build Verification Test), 它是用來verify new build是否ready for testing, 可以避免大家花太多時間在不合適的build上面, 讓QA可以減少不必要的浪費. 所以非常適合進行自動化.

另外大家要對test automation有比較正確的期望, test automation不是用來找"new" bug. 當然啦, 不是說test automation不會找到bug. 而是通常這些bug在automation剛完成的時候, 應該大部分都會被highlight出來. 接著在做regression時, 已經大多不會有新的bug出現, 大多只是舊的問題再次出現而已.

所以什麼是合理的expectation呢? 作者認為test automation比較適合運用在BVT, load/stress testing和 regression test上, 用來確認一些baseline的虛求是否滿足.

最後作者談到measurable goals. 需要有measurable goal, 大家才能檢驗自己是否已經做的很好. 但是可惜的是大部分的人想到的都是: 達到n%的cases被automated. 因為作者覺得這是一個移動的目標, 通常你一定根據你目前測試的狀況, 來update 或是新增test cases. 所以total的test cases number不是一個固定的值. 此外他也認為也不是所有test cases都應該被自動化, 像有些測試只有被執行一次或數次的價值, 這種cases就沒有必要去自動化它

作者在這裡列出了一些measurable goal
(1) Short term goal:
might be 100% automation of the BVT suite within 1 week after the first build drop.
(2) Long term goal:
might include design elements and processes to transfer automation to sustained engineering or maintenance teams
100% language neutral automation that will execute on any localized (or pseudo localized) language version.

Test Automation是件昂貴的投資, 千萬要三思而後行