測試個案 80 % 被自動化? 續篇
有人問我, 如果這個 team 是一個模組的開發團隊, 是否和有 UI 的產品,對這句話有著不同的解釋.
是的, 兩者有著不同性質, 因此會有不同處理方式.
如果你是有 UI 的產品, 那 "80% 測試個案被自動化", 其實代表只是你有 80% 的case 被自動化, 跟品質好不好, 以及你是否涵蓋大多 scenario 沒有關係.
如果你是開發沒有 UI 的模組, 那你只有一種方式測試受測軟體: 寫測試程式. 在這種狀況下"測試個案 80 % 被自動化", 個人認為是
1. 以測試自動化為主力去做測試, 有少部分需要手動測試
2. 應該不只只有主要功能是自動化, 有些細部應該也是自動化測試
但 是要記得殺蟲劑謬論(pesticide paradox), 你若是一再使用相同的殺蟲劑, 來消滅家中的害蟲. 時間一久, 蟲子就會有抗藥性, 之後對它們再也沒有用處了. 測試也是這樣, 如果一直執行相同的個案, 你會誤以為程式都沒有 bug, 一切都很完美.
其實不管是 自動化或手動, 殺蟲劑謬論都是要注意的狀況. 這也是為什麼會有 exploratory testing的出現, 當你執行完自動化測試後, 快速利用exploratory testing 來補足前者的不足. 千萬不要認為測試自動化是萬能的, 否則你只是自己欺騙自己
有人問我, 如果這個 team 是一個模組的開發團隊, 是否和有 UI 的產品,對這句話有著不同的解釋.
是的, 兩者有著不同性質, 因此會有不同處理方式.
如果你是有 UI 的產品, 那 "80% 測試個案被自動化", 其實代表只是你有 80% 的case 被自動化, 跟品質好不好, 以及你是否涵蓋大多 scenario 沒有關係.
如果你是開發沒有 UI 的模組, 那你只有一種方式測試受測軟體: 寫測試程式. 在這種狀況下"測試個案 80 % 被自動化", 個人認為是
1. 以測試自動化為主力去做測試, 有少部分需要手動測試
2. 應該不只只有主要功能是自動化, 有些細部應該也是自動化測試
但 是要記得殺蟲劑謬論(pesticide paradox), 你若是一再使用相同的殺蟲劑, 來消滅家中的害蟲. 時間一久, 蟲子就會有抗藥性, 之後對它們再也沒有用處了. 測試也是這樣, 如果一直執行相同的個案, 你會誤以為程式都沒有 bug, 一切都很完美.
其實不管是 自動化或手動, 殺蟲劑謬論都是要注意的狀況. 這也是為什麼會有 exploratory testing的出現, 當你執行完自動化測試後, 快速利用exploratory testing 來補足前者的不足. 千萬不要認為測試自動化是萬能的, 否則你只是自己欺騙自己
全站熱搜
留言列表
