Build Verification Test在做些什麼?
What Tests Belong in the BVTs?
http://blogs.msdn.com/steverowe/archive/2008/03/05/what-tests-belong-in-the-bvts.aspx
之前我提到在開測試個案時, 要分成不同的purpose之後, 在一個個針對它做處理.所以現在我最痛苦的工作就是在定義那些purpose, 要有明確的定義才能知道我們鎖定的範圍為何.
其中有一項就是Build Verification Test (BVT). 以前我在做這一項時,我都很貪心, 想把所有測試程式都拿來run. 因為cases 太多, 再加上測試程式的限制, 結果一run就快一天, 大家都覺得很不耐煩. 再加上若是有錯誤時, QA 也要花很久的時間才查的出來. (當然這也是我們要改進的地方, 錯誤結果不易顯示或查詢出來). 總覺得該找一個時間來檢討一下.
這篇文章基本上它認為BVT應該要包含下面以下測試
* Test major scenarios not minor ones.
If major features are failing, they will be fixed right away. If a minor feature is failing, it should be noted, but may have to wait until later to be fixed.
* Test majority use cases, not corner cases.
Tests for the interaction of 3 parts shouldn't be in the BVTs.
Tests outside most user scenarios shouldn't be in the BVTs.
While every book on testing says to test the boundary conditions, the BVTs may not be the place to do that.
Instead, pick the most likely to be used values and scenarios.
* Run "positive" not "negative" tests.
Don't send out-of-bounds conditions or invalid values.
簡單說就是要確定build 是否ready for testing, 如果這些基本的東西不行, 那根本就不該拿出來作測試, QA 就不用再對它做進一步的處理.
當然, 也不是要求每個build都要過BVT. 在早期時可能一週有一個good build就可以. 但是隨著時間的增加, 或是有milestone的接近, BVT的pass就變的重要. 若是常常不過, 就是品質很不穩定的重要訊息了
留言列表
