Úvod do srovnávacího testu virtualizace

Testovací metoda

Použijeme dvě různé, oblíbené, multiplatformní testovací sady. První, CineBench 10, provádí reálný test CPU počítače a schopnosti jeho grafické karty vykreslovat obrázky. První test využívá CPU k vykreslení fotorealistického obrazu pomocí CPU náročných výpočtů k vykreslení odrazů, okolního zákrytu, plošného osvětlení a stínování a dalších. Test se provádí s jedním CPU nebo jádrem a poté se opakuje s použitím všech dostupných CPU a jader. Výsledkem je referenční výkonnostní stupeň pro počítač používající jeden procesor, stupeň pro všechna CPU a jádra a údaj o tom, jak dobře více jader nebo se používají CPU.

Druhý test CineBench hodnotí výkon grafické karty počítače pomocí OpenGL k vykreslení 3D scény, zatímco se kamera ve scéně pohybuje. Tento test určuje, jak rychle může grafická karta fungovat a přitom stále přesně vykreslovat scénu.

Druhá testovací sada je GeekBench 2.1.4, která testuje výkon procesoru v celém čísle a s plovoucí desetinnou čárkou, testuje paměť pomocí jednoduchého testu výkonu pro čtení/zápis a provádí test streamů, který měří trvalou šířku pásma paměti. Výsledky sady testů se spojí a vytvoří jediné skóre GeekBench. Také rozebereme čtyři základní testovací sady (Integer Performance, Floating-Point Performance, Memory Performance a Stream Performance), takže můžeme vidět silné a slabé stránky každého virtuálního životní prostředí.

GeekBench používá referenční systém založený na PowerMac G5 @1,6 GHz. Skóre GeekBench pro referenční systémy jsou normalizovány na 1000. Jakékoli skóre vyšší než 1000 znamená, že počítač funguje lépe než referenční systém.

Protože výsledky obou benchmarkových sad jsou poněkud abstraktní, začneme definováním referenčního systému. V tomto případě bude referenčním systémem hostitelský Mac používaný ke spuštění tří virtuálních prostředí (Parallels Desktop pro Mac, VMWare Fusiona Sun Virtual Box). Obě sady benchmarků spustíme na referenčním systému a použijeme toto číslo k porovnání výkonu virtuálních prostředí.

Veškeré testování bude provedeno po novém spuštění hostitelského systému i virtuálního prostředí. V hostitelském i virtuálním prostředí budou deaktivovány všechny antimalwarové a antivirové aplikace. Všechna virtuální prostředí poběží ve standardním okně OS X, protože jde o nejběžnější metodu používanou ve všech třech prostředích. V případě virtuálních prostředí nepoběží žádná uživatelská aplikace kromě benchmarků. Na hostitelském systému, s výjimkou virtuálního prostředí, nebudou spuštěny žádné uživatelské aplikace kromě textového editoru, který by si dělal poznámky před a po testování, ale nikdy během samotného testovacího procesu.

Výsledky srovnání pro hostitelský systém Mac Pro

Systém, který bude hostovat tři virtuální prostředí (Parallels Desktop pro Mac, VMWare Fusion a Sun VirtualBox) je vydáním z roku 2006. Mac Pro:

Mac Pro (2006)

• Dva dvoujádrové procesory 5160 Zeon (celkem 4 jádra) @ 3,00 GHz
• 4 MB na jádro L2 cache RAM (celkem 16 MB)
• 6 GB RAM se skládá ze čtyř 1 GB modulů a čtyř 512 MB modulů. Všechny moduly jsou spárované páry.
• Přední sběrnice 1,33 GHz
• Grafická karta NVIDIA GeForce 7300 GT
• Dva 500GB pevné disky Samsung řady F1. OS X a virtualizační software jsou rezidentní na spouštěcí jednotce; hostující OS jsou uloženy na druhém disku. Každý disk má svůj vlastní nezávislý kanál SATA 2.

Výsledky testů GeekBench a CineBench na hostitelském Macu Pro by měly poskytnout praktickou horní hranici výkonu, kterou bychom měli vidět z jakéhokoli virtuálního prostředí. Jak již bylo řečeno, chceme zdůraznit, že je možné, aby virtuální prostředí překonalo výkon hostitele v každém jednotlivém testu. Virtuální prostředí může mít přístup k základnímu hardwaru a obejít některé vrstvy OS X. Je také možné, že srovnávací testovací sady budou oklamány systémem ukládání do mezipaměti výkonu zabudovány do virtuálních prostředí a produkovat výsledky, které zcela přesahují potenciál výkon.

Srovnávací skóre

GeekBench 2.1.4

• Skóre GeekBench: 6830
• Celé číslo: 6799
• Plovoucí desetinná čárka: 10786
• Paměť: 2349
• Stream: 2057

CineBench R10

• Vykreslování, jeden CPU: 3248
• Vykreslování, 4 CPU: 10470
• Efektivní zrychlení z jednoho na všechny procesory: 3.22
• Stínování (OpenGL): 3249

Podrobné výsledky benchmarkových testů jsou k dispozici v galerii Virtualization Benchmark Test.

Srovnávací výsledky pro Parallels Desktop pro Mac 5

Použili jsme nejnovější verzi Parallels (Parallels Desktop pro Mac 5.0). Nainstalovali jsme nové kopie Parallels, Windows XP SP3, a Windows 7. Tyto dva operační systémy Windows jsme vybrali pro testování, protože si myslíme Windows XP představuje drtivou většinu současných instalací Windows na OS X a že v budoucnu bude Windows 7 nejběžnějším hostujícím OS běžícím na Macu.

Před zahájením testování jsme zkontrolovali a nainstalovali všechny dostupné aktualizace jak pro virtuální prostředí, tak pro dva operační systémy Windows. Jakmile bylo vše aktuální, nakonfigurovali jsme virtuální stroje Windows tak, aby používaly jeden procesor a 1 GB paměti. Vypnuli jsme Parallels a deaktivovali Time Machine a všechny spouštěcí položky na Macu Pro, které nejsou potřeba pro testování. Poté jsme restartovali Mac Pro, spustili Parallels, spustili jedno z prostředí Windows a provedli dvě sady benchmarkových testů. Jakmile byly testy dokončeny, zkopírovali jsme výsledky do Macu pro pozdější použití.

Poté jsme restartování a spuštění Parallels zopakovali pro benchmarkové testy druhého OS Windows.

Nakonec jsme výše uvedenou sekvenci zopakovali s hostujícím OS nastaveným na použití 2 a poté 4 CPU.

Srovnávací skóre

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
• Windows 7 (1,2,4 CPU): 2223, 2980, 4560

CineBench R10

• Windows XP SP3
• Vykreslování (1,2,4 CPU): 2724, 5441, 9644
• Stínování (OpenGL) (1,2,4 CPU): 1317, 1317, 1320

CineBench R10

• Windows 7
• Vykreslování (1,2,4 CPU): 2835, 5389, 9508
• Stínování (OpenGL) (1,2,4 CPU): 1335, 1333, 1375

Parallels Desktop pro Mac 5.0 dokončil všechny srovnávací testy. GeekBench viděl pouze malé rozdíly ve výkonu mezi Windows XP a Windows 7, což jsme očekávali. GeekBench se soustředí na testování výkonu procesoru a paměti, takže očekáváme, že to bude dobrý ukazatel základní výkon virtuálního prostředí a jak dobře zpřístupňuje hostovi hardware hostitelského Macu Pro OS.

Test vykreslování CineBench rovněž ukázal konzistenci mezi dvěma operačními systémy Windows. Opět se to dá očekávat, protože test vykreslování široce využívá procesory a šířku pásma paměti, jak je vidět na hostujících OS. Test stínování je dobrým indikátorem toho, jak dobře každé virtuální prostředí implementovalo svůj ovladač videa. Na rozdíl od zbytku hardwaru Macu není grafická karta zpřístupněna přímo virtuálním prostředím. Je to proto, že grafická karta se musí neustále starat o zobrazení hostitelského prostředí a nelze ji přesměrovat na zobrazení pouze prostředí hosta. To platí i v případě, že virtuální prostředí nabízí možnost zobrazení na celou obrazovku.

Podrobné výsledky benchmarkových testů jsou k dispozici v galerii Virtualization Benchmark Test.

Výsledky benchmarku pro VMWare Fusion 3.0

Použili jsme nejnovější verzi VMWare Fusion (Fusion 3.0). Nainstalovali jsme nové kopie Fusion, Windows XP SP3 a Windows 7. Pro testování jsme vybrali tyto dva operační systémy Windows, protože si myslíme, že Windows XP představují drtivou většinu současných Instalace Windows na OS X a že v budoucnu bude Windows 7 nejběžnějším hostujícím OS běžícím na Mac.

Před zahájením testování jsme zkontrolovali a nainstalovali všechny dostupné aktualizace jak pro virtuální prostředí, tak pro dva operační systémy Windows. Jakmile bylo vše aktuální, nakonfigurovali jsme virtuální stroje Windows tak, aby používaly jeden procesor a 1 GB paměti. Vypnuli jsme Fusion a deaktivovali Time Machine a všechny spouštěcí položky na Macu Pro, které nejsou potřeba pro testování. Poté jsme restartovali Mac Pro, spustili Fusion, spustili jedno z prostředí Windows a provedli dvě sady benchmarkových testů. Jakmile byly testy dokončeny, zkopírovali jsme výsledky do Macu pro pozdější použití.

Poté jsme zopakovali restart a spuštění Fusion pro benchmarkové testy druhého OS Windows.

Nakonec jsme výše uvedenou sekvenci zopakovali s hostujícím OS nastaveným na použití 2 a poté 4 CPU.

Srovnávací skóre

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
• Windows 7 (1,2,4 CPU): 2388, 3174, 4679

CineBench R10

• Windows XP SP3
• Vykreslování (1,2,4 CPU): 2825, 5449, 9941
• Stínování (OpenGL) (1,2,4 CPU): 821, 821, 827

CineBench R10

• Windows 7
• Vykreslování (1,2,4 CPU): 2843, 5408, 9657
• Stínování (OpenGL) (1,2,4 CPU): 130, 130, 124

Narazili jsme na problémy s Fusion a srovnávacími testy. V případě Windows XP s jedním procesorem GeekBench hlásil výkon toku paměti rychlostí lepší než 25krát vyšší než rychlost hostitelského Macu Pro. Tento neobvyklý výsledek paměti zvýšil skóre GeekBench pro verzi Windows XP s jedním procesorem na 8148. Po mnohanásobném opakování testu a získání podobných výsledků jsme se rozhodli test označit jako neplatný a považovat jej za problém interakce mezi srovnávacím testem, Fusion a Windows XP. Jak nejlépe můžeme říci, pro konfiguraci jednoho CPU Fusion nehlásil správnou konfiguraci hardwaru do aplikace GeekBench. GeekBench a Windows XP však fungovaly bezchybně se dvěma nebo více vybranými CPU.

Měli jsme také problém s Fusion, Windows 7 a CineBench. Když jsme spustili CineBench pod Windows 7, hlásilo to obecnou grafickou kartu jako jediný dostupný grafický hardware. Zatímco generická grafická karta byla schopna spouštět OpenGL, dělala to propastnou rychlostí. Mohlo to být důsledkem toho, že hostitelský Mac Pro měl starou grafickou kartu NVIDIA GeForce 7300. Systémové požadavky Fusion naznačují modernější grafickou kartu. Zajímavé však bylo, že pod Windows XP proběhl test stínování CineBench bez problémů.

Kromě dvou výše zmíněných vtípků byl výkon Fusion na stejné úrovni s tím, co jsme očekávali od dobře navrženého virtuálního prostředí.

Podrobné výsledky benchmarkových testů jsou k dispozici v galerii Virtualization Benchmark Test.

Srovnávací výsledky pro Sun VirtualBox

Použili jsme nejnovější verzi Sun VirtualBox (VirtualBox 3.0). Nainstalovali jsme nové kopie VirtualBoxu, Windows XP SP3 a Windows 7. Pro testování jsme vybrali tyto dva operační systémy Windows, protože si myslíme, že Windows XP představují drtivou většinu současných Instalace Windows na OS X a že v budoucnu bude Windows 7 nejběžnějším hostujícím OS běžícím na Mac.

Před zahájením testování jsme zkontrolovali a nainstalovali všechny dostupné aktualizace jak pro virtuální prostředí, tak pro dva operační systémy Windows. Jakmile bylo vše aktuální, nakonfigurovali jsme virtuální stroje Windows tak, aby používaly jeden procesor a 1 GB paměti. Vypnuli jsme VirtualBox a deaktivovali Time Machine a všechny položky při spuštění na Macu Pro, které nejsou potřeba pro testování. Poté jsme restartovali Mac Pro, spustili VirtualBox, spustili jedno z prostředí Windows a provedli dvě sady benchmarkových testů. Jakmile byly testy dokončeny, zkopírovali jsme výsledky do Macu pro pozdější použití.

Poté jsme zopakovali restart a spuštění Fusion pro benchmarkové testy druhého OS Windows.

Nakonec jsme výše uvedenou sekvenci zopakovali s hostujícím OS nastaveným na použití 2 a poté 4 CPU.

Srovnávací skóre

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2345, *, *
• Windows 7 (1,2,4 CPU): 2255, 2936, 3926

CineBench R10

• Windows XP SP3
• Vykreslování (1,2,4 CPU): 7001, *, *
• Stínování (OpenGL) (1,2,4 CPU): 1025, *, *

CineBench R10

• Windows 7
• Vykreslování (1,2,4 CPU): 2570, 6863, 13344
• Stínování (OpenGL) (1,2,4 CPU): 711, 710, 1034

Sun VirtualBox a naše testovací aplikace narazily na a problém s Windows XP. Konkrétně GeekBench i CineBench nebyly schopny vidět více než jeden CPU, bez ohledu na to, jak jsme nakonfigurovali hostující OS.

Když jsme testovali Windows 7 pomocí GeekBench, všimli jsme si, že využití více procesorů bylo nedostatečné, což vedlo k nejnižším skóre pro konfigurace 2 a 4 CPU. Výkon jednoho procesoru se zdál být srovnatelný s ostatními virtuálními prostředími.

CineBench také nebyl schopen vidět více než jeden procesor při spuštění Windows XP. Také test vykreslování pro verzi Windows XP s jedním procesorem přinesl jeden z nejrychlejších výsledků, dokonce předčil i samotný Mac Pro. Pokusili jsme se test několikrát zopakovat; všechny výsledky byly ve stejném rozmezí. Myslíme si, že je bezpečné připsat výsledky vykreslování na jednom CPU ve Windows XP na problém s VirtualBoxem a tím, jak využívá CPU.

Také jsme viděli zvláštní nárůst výsledků vykreslování pro 2 a 4 testy CPU s Windows 7 a v každém případě se rychlost vykreslování při přechodu z 1 na 2 zdvojnásobila. CPU a od 2 do 4 CPU. Tento typ zvýšení výkonu je nepravděpodobný a znovu jej přiřadíme implementaci více CPU ve VirtualBoxu. Podpěra, podpora.

Se všemi problémy se srovnávacím testováním VirtualBoxu mohou být jedinými platnými výsledky testu výsledky pro jeden procesor pod Windows 7.

Podrobné výsledky benchmarkových testů jsou k dispozici v galerii Virtualization Benchmark Test.

Výsledky

Po provedení všech srovnávacích testů je čas vrátit se k naší původní otázce.

Splňují tři hlavní hráči ve virtualizaci na Macu (Parallels Desktop pro Mac, VMWare Fusion a Sun VirtualBox) slib téměř přirozeného výkonu?

Odpověď je smíšená taška. Žádný z kandidátů na virtualizaci v našich testech GeekBench nebyl schopen měřit výkon hostitelského Macu Pro. Nejlepší výsledek zaznamenal Fusion, který dokázal dosáhnout téměř 68,5 % výkonu hostitele. Parallels byly těsně pozadu s 66,7 %. Vzadu se umístil VirtualBox s 57,4 %.

Když jsme se podívali na výsledky CineBench, který používá reálnější test pro vykreslování obrázků, byly velmi blízko skóre hostitele. Fusion byl opět na vrcholu testů vykreslování a dosáhl 94,9 % výkonu hostitele. Následovaly paralely na 92,1 %. VirtualBox nemohl spolehlivě dokončit test vykreslování, což ho vyřadilo ze sporu. V jedné iteraci testu vykreslování VirtualBox uvedl, že fungoval o 127,4 % lépe než hostitel, zatímco v jiných nebyl schopen spustit ani dokončit.

Test stínování, který zjišťuje, jak dobře si grafická karta vede s OpenGL, dopadl ze všech virtuálních prostředí nejhůře. Nejlépe si vedl Parallels, který dosáhl 42,3 % schopností hostitele. VirtualBox byl druhý s 31,5 %; Fusion se umístil na třetím místě s 25,4 %.

Výběr celkového vítěze je něco, co necháme na koncovém uživateli. Každý produkt má své plusy a mínusy a v mnoha případech jsou čísla benchmarků tak blízko, že opakování testů by mohlo změnit pořadí.

Výsledky srovnávacích testů ukazují, že obecně schopnost využívat grafickou kartu je to, co brání virtuálnímu prostředí stát se plnou náhradou za vyhrazený počítač. Jak již bylo řečeno, modernější grafická karta, než máme zde, by mohla produkovat vyšší výkon test stínování, zejména pro Fusion, jehož vývojář navrhuje pro nejlepší výkon grafické karty s vyšším výkonem Výsledek.

Všimnete si, že některé kombinace testů (virtuální prostředí, verze Windows a srovnávací test) vykazovaly problémy, buď nerealistické výsledky, nebo nedokončení testu. Tyto typy výsledků by neměly být používány jako indikátory problémů s virtuálním prostředím. Benchmark testy jsou neobvyklé aplikace, které se snaží spustit ve virtuálním prostředí. Jsou určeny k měření výkonu fyzických zařízení, ke kterým jim virtuální prostředí nemusí umožnit přístup. Nejedná se o selhání virtuálního prostředí a při reálném použití jsme nezaznamenali problémy s drtivou většinou Windows aplikací běžících pod virtuálním systémem.

Všechna virtuální prostředí, která jsme testovali (Parallels Desktop pro Mac 5.0, VMWare Fusion 3.0 a Sun VirtualBox 3.0), poskytují vynikající výkon a stabilita při každodenním používání a měl by být schopen sloužit jako primární prostředí Windows po většinu dne aplikací.