沒有關系這都不再是問題,繼2015年《中國公有云用戶體驗報告》后,聽云又一重磅報告《2016第一期云評測報告》正式發布。此次報告是聽云iDaaS中心利用自主研發的聽云Network產品,從模擬真實用戶的角度對不同云服務的使用效果進行對比,同時結合聽云Server、聽云Sys產品進行測試,實現端到端的評測效果, 從首屏時間、總下載時間、首包時間、建連時間、Apdex等幾個維度對國內13家云服務提供商進行測試評分,并在業界公開基于用戶體驗感知的公有云評測。
點擊鏈接,下載報告原文:http://bbs.tingyun.com/forum.php?mod=viewthread&tid=138&page=1&extra=#pid400報告中的評測對象?
本報告選擇了13家在國內具有代表性的云服務供應商,他們分別是AWS、阿里云、騰訊云、百度開放云、青云、UCloud、UnitedStack、華為云、移動云、聯通沃云、天翼云。
這份報告給誰看?
本報告意在為中小企業DevOps對云技術選型時提供技術參考。
或許可以幫你
在選擇云服務時,本報告具有有一定的參考意義;另一方面隨著CDN逐漸云化,本報告可以從技術層面指導用戶對云服務產品進行選擇,為你在評估云廠商性能時提供技術指標。
首先,讓我們從整體上看一下此次報告中各家云整體情況。

1、阿里云、騰訊云、UCloud在技術與服務綜合評分下,表現突出據聽云iDaaS中心對13家云服務提供商就技術、服務兩項進行綜合評價:
阿里云、騰訊云、UCloud、AWS-China、金山云在技術性能上表現突出阿里云、UCloud、騰訊云、青云、百度開放云、 UnitedStack、華為云在服務易用性上略勝一籌
2、4家云服務提供商在性能指標排名靠前
2、4家云服務提供商在性能指標排名靠前

阿里云、騰訊云、AWS-China、UCloud在總下載時間、首屏時間、建連時間、首包時間、Apdex值等性能指標方面領先于其他云服務提供商注:技術總得分按照各個指標排名次序計算,最后一名得1分,倒數第二名得2分,依次累加得分。 排名指標參考客戶端指標和服務器端Apdex。
3、5家云在服務易用性上并駕齊驅
青云、百度開放云、阿里云、UnitedStack、UCloud在是否支持網絡自助購買、購買方式、是否支持自主開票、賬戶操作易用性上并駕齊驅,領先于其他云服務提供商注:支持自助購買得5分,不支持得3分; 可自主獲取××得5分,不支持得3分; 賬戶易用得5分,一般得4分,不易用得2分。
上面的介紹大家對各家云都有了一定的了解吧,更多細節請看以下《2016第一期云測評報告》詳細內容:
4、用戶體驗關鍵指標對比
通過模擬用戶訪問網絡應用,基于每個模擬用戶的訪問指標進行測試。結合用戶訪問部署在 13家云上的同一類型網絡應用,進行用戶發起 訪問的效果對比。
評測指標:建連時間、首包時間、首屏時間、總下載時間建連時間:10家云服務在均值以上

注:瀏覽器與Web服務器建立TCP/IP連接的消耗時間,TCP/IP連接三次握手的前兩次握手的時間建連時間的長短是網絡效果和服務器效應快慢的基礎指標。根據各家建連時間平均計算,建連時間均值為0.076秒。在該指標上,除聯通沃云、UnitedStack、移動云外,其余10家云服務均處于平均值以上,其中阿里云、金山云、華為云表現最為優異。
首包時間:AWS-China、華為云表現最優

注:IE瀏覽器發送HTTP請求結束開始,到收到Web服務器返回的第一個數據包的消耗時間。此指標包含了發送HTTP請 求時最后一個數據包在網絡上的傳輸時間、服務器響應此請求的時間和服務器回應的第一個數據包在網絡上面的傳輸時間。
首包時間可以反映網絡傳輸快慢。在首包時間指標上整體均值為0.277秒,AWS-China、華為云表現最優,超過均值0.08秒。移動云、聯通沃云、微軟云、UnitedStack、天翼云在該項需提高。
首屏時間:多家運營商云未超過平均標準

注:首屏時間是基調網絡首創的評測網站用戶體驗的一個重要指標。它是指一個網站被瀏覽器如IE窗口上部1024*768的區域 被充滿所需時間,反映了用戶在打開網站第一時間的感覺性能。
首屏時間是評測網站用戶體驗的重要指標,此項以平均值1.96秒衡量,騰訊云表現最為優異,而移動云、華為云、聯通沃云、天翼云表現未超過平均標準。
總下載時間:各家云表現整體差異不大

注:總下載時間是監測一個頁面總的消耗時間,即從開始監測到監測結束的時間。
在總下載時間指標上,整體差異不大,13家云均值為12.188秒。騰訊云拔得頭籌,華為云、聯通沃云、移動云、天翼云、UnitedStack在該項指標上需再提高。
5、后臺關鍵指標對比
通過聽云Network模擬用戶對同一應用在13個不同云環境的訪問,可以直觀的看到用戶的訪問效果。同時在應用后臺方面基于聽云Server 和聽云Sys兩個后臺診斷產品,同樣可以看出同一應用后臺程序在不同云環境下的差異。
后臺關鍵指標:應用服務器響應時間、應用CPU使用率、數據庫調用時間、Apdex、服務器CPU使用率、服務器Stolen-CPU、服務器內存占用、服務器磁盤IO、服務器網絡IO應用服務器響應時間:各家差異大


注:應用服務器響應時間:應用服務器從收到請求到返回響應的時間在應用服務器響應時間指標中,各家云相差較大,就平均值351.95毫秒而言,將近一半的云服務提供商均未達到平均值。其中,移動云、聯通沃云高出平均值超過30%;而AWS-China、騰訊云、阿里云低于平均值40%。
同時,各家云測試周期內的波動情況差異較大。其中,聯通沃云、移動云、天翼云波動較大,其他家相對平穩。
應用CPU使用率:整體使用率較低,但不同公有云服務提供商差別明顯注:應用占用 CPU的波動情況。
應用CPU使用率是指CPU資源的占用情況。在該項指標上,13家云表現出兩級分化的狀態,以平均值0.39%為限,AWS-China、騰訊云、阿里云、華為云、百度開放云、UCloud、金山云表現優異。本次測試屬于輕量級應用測試,雖然13家公有云表現整體使用率較低,但不同公有云服務提供商差別明顯,以此推斷如果進行重量級別測試,那么不同公有云表現差別會更加顯著,有可能對應用產生比較大的影響。
數據庫調用時間:各家表現差異極大

注:數據庫調用時間是指網頁訪問時后臺數據調用的時間。
數據庫調用時間可以反映出各家公有云對于數據庫的匹配情況。在數據庫調用時間走勢上,聯通沃云與最低值相差162倍,呈現出明顯高于其他云服務商的現象。以平均值0.82毫秒計算,聯通沃云、 微軟云、移動云均低于數據庫調用時間整體水平。
Apdex分值:除個別外,整體用戶體驗良好
注:Apdex值是指根據對應用設定的T值計算得出的應用響應分數。Apdex指數 =(1 ×滿意數量+ 0.5 ×可容忍數量)/ 總樣本數,0代表沒 有滿意用戶,1則代表所有用戶都滿意。 此處T設置為500ms。
根據規則,分值越接近1,則代表所有用戶都滿意,在該項指標上只有移動云、聯通沃云低于平均值0.9669,其余云服務均達到平均值以上。其中,AWS-China、阿里云、騰訊云、UnitedStack、UCloud居于用戶滿意前5位。
服務器CPU使用率:主要由用戶CPU利用率、系統CPU利用率、IO Wait組成,各指標下各家云優勢不同? 在用戶CPU利用率指標下,各家云呈現出明顯分層。
? 在系統CPU利用率指標下,青云與騰訊云相對其他家占用率較高。
? 在IO Wait指標下,微軟云較其他家占用率較明顯且波動較大。
服務器Stolen-CPU比例:聯通沃云Stolen-CPU情況明顯注:服務器Stolen-CPU比例一般認為是存在CPU泄漏的情況。
對于此指標,在測試期間內聯通沃云每日均出現CPU泄漏情況,而其他家云均不存在此問題。
服務器內存占用:出現兩家獨小的情況
注:服務器內存占用是指對內存硬件的消耗情況。
該項指標下,除了UnitedStack、聯通沃云在 2000MB內,其他11家云服務均處于2500MB-4000MB之間。
服務器IO Wait比例:微軟云、金山云波動明顯,其他家相對穩定注:服務器磁盤IO是指磁盤的讀寫速度
服務器網絡IO:發送速率上各家基本一致,接收速率上差別明顯注:是指網絡發送速率及網絡接收速率。
? 接收速率:UnitedStack波動明顯,高于其他家接收速率,說明與其他家相比存在異常。
? 發送速率:各家表現一致。
建議
1、不同云廠商在各個指標上均呈現出不同的優勢,因此不同的用戶需要根據自身特點進行選擇。
2、本次測試的樣本訪問數量是6480UV,本次測試主要體現了一般中小企業在購買云服務的基本情況,更高端的企業用戶僅供參考。
3、通過測試后我們對云廠商進行了詳細的調研,我們了解到如下情況:華為云正處于產品新舊版本更新期,UCloud針對這種中小企業規模的云服務還有很多不同場景的服務策略,AWS自身更是有很多針對用戶購買云服務后的性能優化策略,而對于本次測試中新增的運營商云,其主要延續國企的辦事體制,易用性和商用化程度都需提高,另外云對于運營商來說現階段并不是業務重點,在運營商中電信的天翼云走的相對靠前,已經慢慢和移動云和聯通沃云拉開距離。