David Ko的學習之旅

Compatibility Testing

最近在測試時遭遇到一個問題:

當使用者在執行我們的產品, 同時也在執行其他軟體, 像是ftp, 聽音樂, 上網, 燒片子, 用MS Office, MSN, facebook...等等, 可能會造成系統緩慢或是不正常.

我們的QA大部分時間都在執行funcational testing, 也就是確認我們系統的功能是否正確, 因此在他們執行過程中不會去執行其他軟體, 因此也就沒有遇到這種狀況.

或許有些QA會想說要做相容性測試(compatibility testing), 但是大多只是把一些常用的軟體裝上去, 簡單看一下我們的受測程式是否大致正常, 這樣就結束了. 所以可想而知應該是抓不到什麼問題.

在wiki中有提到相容性測試要做哪些事情:
Wiki - Compatibility testing
http://en.wikipedia.org/wiki/Compatibility_testing

Compatibility testing, part of software non-functional tests, is testing conducted on the application to evaluate the application's compatibility with the computing environment. Computing environment may contain some or all of the below mentioned elements:

Computing capacity of Hardware Platform (IBM 360, HP 9000, etc.)..
Bandwidth handling capacity of networking hardware
Compatibility of peripherals (Printer, DVD drive, etc.)
Operating systems (MVS, UNIX, Windows, etc.)
Database (Oracle, Sybase, DB2, etc.)
Other System Software (Web server, networking/ messaging tool, etc.)
Browser compatibility (Firefox, Netscape, Internet Explorer, Safari, etc.)

看起來要做的事情很多, 如果再加上他們的coombination, 我想要測試的狀況應該也是天文數字. 雖說測試是一種sampling的工作, 可是在使用者的行為真的是大不相同的狀況下, 我實在很難決定哪些事情是我們一定要處理的......不知大家有什麼好建議沒有?