3. 數據和sample的產生

　　這個和工具有一定的關系，但是我還是想把它單獨列出來，因為這是一個不一樣的挑戰(zhàn)，這個和系統(tǒng)的需求和應用有關。關于這一部分，做過性能測試的應該都比較清楚，問題和方法也比較類似，只是這里有個規(guī)模的問題。

　　4. 監(jiān)控

　　前面也提到這個問題，或者換個角度是如何知道有沒有出問題，哪里出了問題。前面提到的一個業(yè)界廣為使用的監(jiān)控平臺也可以使用，但是可能還不夠，因為那些默認的都是從系統(tǒng)的層面來看有沒有問題。而后跑的都是應用，有意義的也是應用，所以也需要從應用的角度來看問題。比如系統(tǒng)的資源應用到一定的程度后，應用（比如web service）看到的響應時間很長，或者有很多的time out error，甚至去不到正確的數據，這些如果只是監(jiān)控機器有沒有掛掉，資源使用率是不是正常是很難看出來的。

　　引申來看，這個和前面兩點也有關系，如果我們從應用層面，而不是純粹的跑CPU和IO stress tool，能發(fā)現(xiàn)這方面的問題。

　　從上面?zhèn)人的體會你會發(fā)現(xiàn)，其實這些也不是全新的東西，只是老問題在新的環(huán)境下的展現(xiàn)，因為某些方面被放大而使得問題凸顯。

　　下面我想從另外兩個角度來說說自己的一些看法，個人觀點。

　　對測試工具廠商而言，也是一種挑戰(zhàn)。

　　從上面的分析和我的體會，我覺得對于這樣的系統(tǒng)，哪怕只是穩(wěn)定性測試，需要的不只是一套工具，而是一種咨詢＋實施的整套服務，而傳統(tǒng)意義上，測試工具廠商們提供的都是一個工具和簡單的培訓。比如提供Loadrunner，SilkPerformer等傳統(tǒng)的應用層測試工具的廠商，還有 Spirent，IXIA，BreakingPoint等以硬件設備為主的廠商。他們的工具可以提供很多協(xié)議流量的模擬，但這只是一部分，如何部署，如何擴展，如何監(jiān)控，都不是單純靠這些工具能完成的。

　　另一方面，他們也會面臨開源測試工具的挑戰(zhàn)。在云計算系統(tǒng)快速發(fā)展的過程中，相應的測試工具也在跟著發(fā)展，像JMeter和apache一起成長的故事一樣。這樣的測試工具如果伴隨著云計算的平臺一起成長，那么在很多方面會更加適合云計算的特性，不如分布式和可擴展，以及多個工具的松耦合。希望會有越來越多的這樣的工具出現(xiàn)。

　　對測試人員的挑戰(zhàn)和機會

　　挑戰(zhàn)是需要更深入的了解系統(tǒng)的運作，否則根本無法進行測試。而且要測得比較深入的話，需要對相關的技術有一定深度的了解。以前也需要了解，但是在了解不多的情況下也可以進行測試，拿出看起來還可以的測試結果，但是對于云計算的系統(tǒng)，如果不深入的了解根本沒法進行測試。

　　因為很多時候需要的是一整套方案，一個project，包含資源的組織，測試項目的協(xié)調，而不是一個工具和一個設計文檔。

　　如果說到機會的話簡單來說那是測試會變成一個更需要專業(yè)技能和更有value的工作。

　　后我在想一個問題，在這樣的需要一整套方案的情況下，會不會有專業(yè)的測試服務作為獨立的business model產生？國外其實不少，很多測試大牛們同時也在開公司，提供咨詢和測試服務。國內似乎目前還很少。