Principles of Effective Reporting
from Performance Testing Guidance for Web Applications
Chapter 16 – Performance Test Reporting Fundamentals
產生一份好的rerpot, 是performance testing重要的事情. 因為即使你前面做的再好, 若是在report上失敗了, 大家還是無法容易recognize 你的功勞, 所謂佛要金裝, 人要衣裝. 若是沒無法適時包裝你的功勞, 很多時候會容易讓自己frustrated
這本書的作者介紹了一些在做report時所要注意的事情, 我想很值得大家去看看.
‧Report early, report often
‧Report visually
‧Report intuitively
‧Use the right statistics
‧Consolidate data correctly
‧Summarize data effectively
‧Customize reports for the intended audience
‧Use concise verbal summaries
‧Make the data available
1. Report Early, Report Often
持續分享資訊和資料, 是確保performance testing project成功和有效率的關鍵動作. 但是不是代表所有資訊和資料, 全部要用很formal或是semiformal的形式呈現.
一種有效率的方法是, 利用e-mail的方式, 傳送一些summary charts 和tables, 以及簡要的結論或敘述, 可能一天一次或兩次, 送給相關的stakeholders.
當stakeholders 提供feedback 或是提出一些問題時, 你便可以適時修正, 把它加入你下一次的測試中
2. Report Visually
以圖形方式來呈現資料會比較容易讓人們了解. 尤其performance testing的資料量非常大, 通常我們都需要從中找出一些會有問題的pattern. 因此你要不斷來回地在表格上搜尋, 並加上一些複雜的公式來輔助, 所以用人的眼睛要去找, 真的是不容易也不太可能.
當你一但找到後, 建議是用圖形方式呈現來強調它, 並且把其他部分(noise)排除, 以避免受不必要干擾, 使得你要表達的意念更清楚.
3. Report Intuitively
不管是正式或是非正式的report, report要能夠完整清楚表達它所想要表達的意思. 如果看完report後, 讀者還問說這些資料為什麼重要, 那這份report就是失敗了
Report的內容不一定要以很有效的方式呈現, 但是一定要夠直覺, 夠清楚. 有個方法可以很快確認你的report是否夠直覺, 那就是把所有的label 或是identifier從charts 或是graphs中移走, 這時候若是還是能清楚的讓人知道你要表達的意思, 那你就成功了.
4. Use the Right Statistics
大部分的RD, QA 和manager都 沒有統計的背景, 因此這種狀況下, 還是尋求援助會比較好
5. Consolidate Data Correctly
雖然consolidate 結果不是絕對必要的, 但是它往往更容易顯示出執行結果的pattern. 在一兩個圖表中顯示出執行結果, 一定比一兩十個圖表好很多.
不過重要的是要記住, 只有結果相同的測試執行狀況, 才可以合併成相同的執行報告和圖表。
為了使成果可以被consolidated, 無論是試驗和測試環境必須相同, 這樣測試結果才能被合併. 但是為了要使測試結果要能被consolidated, 至少要被執行五次以上, 並且要考慮以下規則: (以避免你把不正確的的資料給consolidate進來)
‧If more than 20 percent (or one out of five) of the test execution results appear not to be similar to the rest, something is generally wrong with the test environment, the application, or the test itself.
‧If a 95th percentile value for any test execution is greater than the maximum or less than the minimum value for any of the other test executions, it is not statistically similar.
‧If every page/timer result in a test execution is noticeably higher or lower on the chart than the results of all the rest of the test executions, it is not statistically similar.
‧If a single page/timer result in a test execution is noticeably higher or lower on the chart than all the rest of the test execution results, but the results for all the rest of the pages/timers in that test execution are not, the test executions are probably statistically similar.
6. Summarize Data Effectively
Summarize過後的結果, 會更容易顯示出有意義的規律的測試結果. 通常 summary 的圖表和表格的數據會同時顯示, 這樣會使測試結果的trend和pattern更容易識別.
此外以下這些項目也是考量的重點
‧Use charts and tables that make your findings clear.
‧Use text to supplement tables and charts, not the other way around.
‧If a chart or table is confusing to the reader, don’t use it.
7. Customize Reports for the Intended Audience
那些人會看Performance Test的結果呢? 最常見的三種觀眾是: 技術小組成員(technical team members), 非技術團隊成員(non-technical team memebers), 和核心小組以外的stakeholders.
這三個觀眾通常著重的重點是非常不同的, 並且喜歡的介紹方法是也不同的. 所以報告的時候, 一定要確定你的觀眾是誰和他們期望為何, 才能決定出如何呈現出你的結果.
8. Use Concise Verbal Summaries
結果要簡單扼要, 並且要與stakeholder有關. 若是能以書面的形式單獨提出, 這樣會更容易幫助了解.
9. Make the Data Available
通常大家會擔心, 認為Performance testing(或其他測試)的數據不應該以raw data的方式來做分享, 讀者可能會對數據做不當使用或分析.
數據對不同的人在不同的時間, 會提供不同的價值. 因此讓數據能獲得最大效果的唯一的辦法, 是使數據不斷地提供給所有人。
此外，有的人因為不懂所用的tools和processes, 所以可能會擔心受到這些東西的欺騙或是誤解. 因此讓data 可以available, 可以減少這些情況的發生.
留言列表
