David Ko的學習之旅

Build Verification Test實施的重點

摘錄至"How we test software at Microsoft"
Chapter 12 Other Tools

作者提到在實施Build Verification Test時, 有那些事情需要注意:

1. Automate Everything
- 因為每個build都要執行, 因此全程都要自動化

2. Test A little
- 並不是所有的功能組合都要測試, 只測試基本的功能
- BVT的目標是要確認這個build已經ready for testing

3. Test Fast
- 要幾分鐘內結束, 而不是幾小時
- 越快速的回覆, 才能讓你立即知道這個build是否有問題

4. Fail Perfectly
- 若是BVT失敗, 通常代表這個build 有嚴重問題, 無法繼續測試, RD需要立即去修復它

5. Test Broadly - Not deeply
- 要涵蓋各種基本功能, 但是不是很深入的功能或是用法

6. Debuggable and maintainable
- 要能方便和快速地指出問題在哪些
- 也就是發現BVT失敗到解決他所產生的問題, 這之間的時間越短越好
- 通常BVT有自我診斷的功能, 會自動把錯誤原因印出到output string中

7. Trustworthly
- BVT的結果要能值得信賴
- 也就是BVT說通過, 那就是代表這個build已經可以開始對它進行測試
- 如果他說有問題, 那就一定是很嚴重的問題

8. Critical
- 要能做到以上所講的事情並不容易, 需要小心思考和製作才能達到這些目標
- 你必須要找好的工程師(包括RD和QA)才能做出可信賴的BVT