David Ko的學習之旅

測試個案 80 % 被自動化? 續篇
有人問我, 如果這個 team 是一個模組的開發團隊, 是否和有 UI 的產品,對這句話有著不同的解釋.
是的, 兩者有著不同性質, 因此會有不同處理方式.
如果你是有 UI 的產品, 那 "80% 測試個案被自動化", 其實代表只是你有 80% 的case 被自動化, 跟品質好不好, 以及你是否涵蓋大多 scenario 沒有關係.
如果你是開發沒有 UI 的模組, 那你只有一種方式測試受測軟體: 寫測試程式. 在這種狀況下"測試個案 80 % 被自動化", 個人認為是
1. 以測試自動化為主力去做測試, 有少部分需要手動測試
2. 應該不只只有主要功能是自動化, 有些細部應該也是自動化測試
但 是要記得殺蟲劑謬論(pesticide paradox), 你若是一再使用相同的殺蟲劑, 來消滅家中的害蟲. 時間一久, 蟲子就會有抗藥性, 之後對它們再也沒有用處了. 測試也是這樣, 如果一直執行相同的個案, 你會誤以為程式都沒有 bug, 一切都很完美.
其實不管是 自動化或手動, 殺蟲劑謬論都是要注意的狀況. 這也是為什麼會有 exploratory testing的出現, 當你執行完自動化測試後, 快速利用exploratory testing 來補足前者的不足. 千萬不要認為測試自動化是萬能的, 否則你只是自己欺騙自己

測試個案 80 % 被自動化?
最近有位經理跟我提說, 某個團隊自動化做得很好, 有 80% 被自動化, 所以一下就可以確認產品有沒有問題, 測試完之後就可以出貨了
這是值得恭喜的一件事情. 他們做了不少自動化, 可以很快地確認某些功能是否正常.
但是讓我們進一步思考一下, "80% 被自動化" 這句話代表甚麼意思呢? 我個人認為應該是這樣:
1. 80% 測試個案被自動化
註: 如果你開的個案越少, 那代表其實也沒多少東西被自動化
2. 有些test scenario 有被測過
但是他並不代表
1. 他建立很超多測試個案, 並且有80 % 測試個案
2. 所有鉅細靡遺的 scenario 都被測到
3. 這 80% 的測試個案目前都可以運作(如果沒有天天執行的話)
4. 受測產品的品質很好
所以聽到 80 % 被自動化, 不用想得太多, 並且太多意義在這件事情上面.
註: 我並不否定開發這些測試自動化的辛苦, 這些都要花很多時間和精力去做. 只是經理們不要把這句話想得太多

測試人員須要會寫程式嗎?

Do Testers Have to Write Code?
http://testobsessed.com/2010/10/20/testers-code/

作者常常被人家問到, 測試人員需不需要會寫程式. 他認為若是你的工作是做測試自動化的話, 自然是需要會寫程式; 可是若是只做手動測試, 會不會寫程式並不適那麼重要.

但是, 他也很積極地去做了調查, 看看市面上是否需要測試人員懂得寫code.

因此從2010年八月二十五日到2010年十月十六日, 在美國187職缺廣告中, (要找 Software testers 或是 QA), 作者整理出以下結果:

(1) 187個工作中, 有112個工作指出必需要某些程式撰寫的技巧, 39個工作說這是 nice to have, 所以約有80%以上是有提到要程式撰寫技巧

那廣告中那些程式技巧被提到呢?
- SQL or relational database skills (84)
- Java, including J2EE and EJBs (52)
- Perl (44)
- Python (39)
- C/C++ (30)
- Shell Scripting (27) note: an additional 4 mentioned batch files.
- JavaScript (24)
- C# (23)
- .NET including VB.NET and ASP.NET but not C# (19)
- Ruby (9)

看起來SQL是非常重要的一個項目.

有些雖然跟程式寫作無關, 但是也常被提到的技術有
- XML (31)
- HTTP/HTTPS, HTML, CSS, and XPATH (28)
- SOAP and XSL/XSLT (17)

此外常被提到的自動化工具如下:
- Selenium, including SeleniumRC (31)
- QTP (19)
- XUnit frameworks such as JUnit, NUnit, TestNG, etc. (14)
- LoadRunner (11)
- JMeter (7)
- Winrunner (7)
- SilkTest (6)
- SilkPerformer (4)
- Visual Studio/TFS (4)
- Watir or Watin (4)
- Eggplant (2)
- Fitnesse (2)

有一半以上是 open source 或是免錢的工具, 所以工具廠商可能需要好好檢討一下. 另外一個令作者驚訝的是 WinRunner, 因為它是一個沒有在賣的產品(http://support.openview.hp.com/encore/wr.jsp), 可是仍然有許多公司還在用它.

其中 55 個工作有提到 agile. 在這 55 工作中, 有 49 個要測試自動化, 看起來 agile 團隊要自動化的比例是還蠻高的

最後作者還附上原始資料, 有興趣的可以看看
http://testobsessed.com/wp-content/uploads/2010/10/newjobdata1.txt

Google如何改進測試方法
Improving testing practices at Google
http://gojko.net/2009/12/07/improving-testing-practices-at-google/

Google中的SET都在做些什麼?
Google is hiring SETs
http://googletesting.blogspot.com/2010/03/google-is-hiring-sets.html

Google Test Automation Conference 2008
GTAC Videos and Slides Available
http://googletesting.blogspot.com/2008/12/posted-by-lydia-ash-gtac-conference.html

為什麼傳統的測試自動化工具無法滿足agile的團隊
Agile-Friendly Test Automation Tools/Frameworks
http://testobsessed.com/2008/04/29/agile-friendly-test-automation-toolsframeworks/

Build Verification Test實施的重點
摘錄至"How we test software at Microsoft"
Chapter 12 Other Tools

測試自動化的時機
Test Automation ROI (Part II)
http://blogs.msdn.com/imtesty/archive/2009/09/02/test-automation-roi-part-ii.aspx
Posted by Bj Rollison
Posted in I. M. Testy

UI自動化測試不要走火入魔
UI Automation Out of Control
http://blogs.msdn.com/imtesty/archive/2009/08/01/automation.aspx