目前分類:Regression Test (6)

瀏覽方式: 標題列表 簡短摘要

回歸測試的作法

The Minefield Myth (Part 2) – The value of regression testing
http://blogs.msdn.com/imtesty/archive/2009/01/30/the-minefield-myth-part-2-the-value-of-regression-testing.aspx

January 30, 2009
Posted by Bj Rollison

kojenchieh 發表在 痞客邦 PIXNET 留言(0) 人氣()

Pesticide Paradox (殺蟲劑詭論)


第一次看到Pesticide Paradox這個term, 覺得很陌生, 總覺得怎麼可能他和software testing有關, 但是我卻從來沒聽過. 後來上網查了一下, 才知道它出自於Boris Beizer的大作. 在1990, Boris Beizer在Software Testing Techniques, Second Edition一書中, 第1.7小節中提到

1.7 Pesticide Paradox and the Complexity Barrier

.......
First Law: The Pesticide Paradox - Every method you use to prevent or find bugs leaves a residue of subtler bugs against which those methods are ineffectual.

你Run你的測試越多次, 受測軟體就越有免疫力. 也就是說相同的測試個案在重複執行後, 能夠再找到bug的機率會越來越低

因為為了克服Pesticide Paradox的現象, QA 必須要不斷開立新的測試個案, 來驗證受測軟體, 以期待找出不同的bug.

同樣地, 在test automation上, 也是會有同樣的現象. 就像James Bach說的
Highly repeatable testing can actually minimize the chance of discovering all the important problems, for the same reason that stepping in someone else’s footprints minimizes the chance of being blown up by a land mine.

所以不是你把所有測試個案自動化, 世界就太平了, 最多只是這些個案的形很快, 不需要人介入, 但是也是非常的一成不變. 這是另一個test automation的迷思, 也是upper manager最誤會的地方.


Reference
1. Pesticide Paradox
http://blogs.msdn.com/nihitk/articles/185836.aspx

2. Software Testing Techniques, Second Edition, Boris Beizer
這本書應該是絕版了, 目前在Amazon好像是買不到, 我有的也是翻印的版本. 它是所有white box testing的bible. 幾乎沒有書寫的這麼詳盡, 不過也相對的很難看, 實在是太硬了. 慶幸的是我在研究所看過後, 確實幫我打下很好的基礎.

kojenchieh 發表在 痞客邦 PIXNET 留言(0) 人氣()

How to conduct regression tests
- by Mike Kelly
http://www.michaeldkelly.com/blog/archives/201

當你要做regression testing時, 你需要考慮以下事情   

1. 這個測試的目的是什麼?
這可以幫助你了解你需要解決risk的種類有什麼? 以及你需要coverage多少?

kojenchieh 發表在 痞客邦 PIXNET 留言(0) 人氣()


Regression testing strategy  - test suite maintenance

I also found some articles that they suggests we can review our test cases frequently. Then the number or correctness of test cases can controlled. It's also useful for regression test because about 30% useless test cases can be removed.

Test Suite Maintenance
(1) After several release cycles, a regression test suite can become quite large.

(2) Some test cases can be discarded

kojenchieh 發表在 痞客邦 PIXNET 留言(0) 人氣()

B. Retest Changed Segments
(1) Intent
    Use code change analysis to select a partial regression test suite.

(2) Context
    The available time, personnel or equipment is not sufficient for a full regression run.

kojenchieh 發表在 痞客邦 PIXNET 留言(0) 人氣()

Regression Testing Strategy (1)

Regression Testing是測試人員心中最大的痛, 因為這時間通常要花很多(因為test case實在太多了), 而且次數也不會只有一次. 因此好的regression testing strategy是非常重要的 

我從"Testing Object-Oriented System" 中survey一些方法, 希望能對大家有幫助

kojenchieh 發表在 痞客邦 PIXNET 留言(0) 人氣()

找更多相關文章與討論

您尚未登入,將以訪客身份留言。亦可以上方服務帳號登入留言

請輸入暱稱 ( 最多顯示 6 個中文字元 )

請輸入標題 ( 最多顯示 9 個中文字元 )

請輸入內容 ( 最多 140 個中文字元 )

請輸入左方認證碼:

看不懂,換張圖

請輸入驗證碼