如何產生好的performance test report

Performance Testing Guidance for Web Applications
Chapter 16 – Performance Test Reporting Fundamentals

在教同事performance testing時, 我和他們說了一件事: 或許你無法記住我們教的流程, 或許你無法很早開始進行測試, 或許你無法自動化, 但是你一定要記得如何產生好的report.

我看到很多同事在交report時, 整份report都是數字或是大量的圖表, 整份report只有他看的懂的東西, 而且也沒有任何summary 或是結論. 我想結果一定沒有人欣賞你的努力, 因為你自己也不被自己的東西感動.

這裡是書上所寫的基本準則
1. Report early, report often
很多時候很多人會誤解report只要最後交一份就可以, 事實上不是這樣的. 平時有一點progress就要送mail給相關的stakeholder. 這樣可以讓人家知道你有在工作, 並且他們也可以及時的feedback, 讓你知道是否有什麼地方要做修正. 這樣最後你出來的結果, 也會讓比較多人認同, 你也會比較有成就感

2. Report visually
通常大家都是附上好幾個大的數字表格, 來顯示執行的結果. 但是這樣的內容, 相信不會看的機率很大. 所以整理一些, 轉換成圖表, 讓這些數字表格放在最後附錄會體較好

3. Report intuitively
一張圖表最好只表達一種概念, 不要嘗試把多種結果或是概念放在同一張圖表內, 大這樣才會明顯易懂.

然後要一開始就把重點講出來,不要看到最後而不知道你要做什麼.

我曾經遇到一份report, 它就寫的不錯:
一開頭就說明主要的發現, 結論是什麼.所以upper mansgers看完第一頁, 就可以收工了

接著他再列出次要或是較詳細的summary, 讓tech lead 或是想要知道更多的人, 可以掌握進一步的訊息

最後他才開始介紹每個測試的scenario. 不過每個testing scenario它也是有寫結論是什麼, 讓你不過看完整的scenario的資料後, 才知道發生什麼事情.

4. Use the right statistics
這裡就是比較難的地方. 你沒有懂統計, 你常常會誤用不正確的分析數據. 這裡我們下次再談.

5. Consolidate data correctly
6. Summarize data effectively

7. Customize reports for the intended audience
這裡提到一個重點: 要見人說人話, 見鬼說鬼話. 也就是說不同的stakeholder你比需要寫不同的內容, 以滿足他們不同的需要. 所以先問問他們要的重點是什麼, 這樣你在測試時就把這些information給記錄下來, 以免事後你又要重做.

8. Use concise verbal summaries
這可能是要經過訓練,不過至少照前面 item 3的範例, 應該就可以讓很多人容易了解

9. Make the data available


arrow
arrow
    全站熱搜

    kojenchieh 發表在 痞客邦 留言(0) 人氣()