David Ko的學習之旅

何時測試可以停止

每次新版本要出貨時, 常常被詢問是否測試結束了? 品質是否有信心? 你依據的標準是甚麼? 

我想很多人都會覺得很難回答這個問題. 基本上, 可以根據以下五種狀況, 來決定是否測試可以結束.

1. 老闆說了算
基本上, 老闆是無敵的. 他說甚麼時候就是甚麼時候. 我想大家不會, 也不敢不同意. XD

2. 團隊有共識要停止
如果團隊討論完後, 決定要何時停止測試, 這樣也是可以結束

3. 當代價太高
如果要找到下一個 bug 的代價, 會超過這個 bug 所帶來的損失, 那確實沒有必要再測下去, 是可以即刻結束

4. 如果 bug 被發現的比例下降到預期的目標
有時候你會觀察每一段時間內找到多少 bug, 如果你發現它一直在下降, 並且低於你所定的目標, 這時候你就可以出貨. 像是低於5 個 bugs/per day, 並且這些 bugs 都不是嚴重的 bugs

5. 如果已經達到預期的測試涵蓋率目標
如何你會度量你的測試個案, 已經涵蓋了多少東西, 便可以知道你的測試範圍夠不夠. 像是 90 % line coverage, 75% branch coverage 等等. 當達到設定的目標, 自然你也可以說測試可以結束了.

目前看起來只有後面兩個, 比較有數據來參考, 前面三個比較是自由心證. 事實上, 這些都是心安的說法. 因為只要給妳時間和資源, 其實都還是可以找到 bugs的.

因為, < 1 bugs/per day 或是 100% line/branch coverage, 其實都沒有保證甚麼. 最多只是帳面上給你信心. 出貨後被抓到問題, QA 還是等著被罵沒有做好. 不公平, 但是是事實. XD