Úvod do porovnávacieho testu virtualizácie

Testovacia metóda

Použijeme dve rôzne populárne testovacie súpravy pre rôzne platformy. Prvý, CineBench 10, vykonáva skutočný test procesora počítača a schopnosti jeho grafickej karty vykresľovať obrázky. Prvý test využíva CPU na vykreslenie fotorealistického obrazu pomocou výpočtov náročných na CPU na vykreslenie odrazov, zatemnenia okolia, osvetlenia a tieňovania oblasti a ďalších. Test sa vykonáva s jedným CPU alebo jadrom a potom sa opakuje s použitím všetkých dostupných CPU a jadier. Výsledkom je referenčný stupeň výkonu pre počítač s jedným procesorom, stupeň všetkých procesorov a jadier a údaj o tom, ako dobre viac jadier alebo sa využívajú CPU.

Druhý test CineBench hodnotí výkon grafickej karty počítača pomocou OpenGL na vykreslenie 3D scény, zatiaľ čo sa v scéne pohybuje kamera. Tento test určuje, ako rýchlo dokáže grafická karta fungovať pri stále presnom vykreslení scény.

Druhá testovacia sada je GeekBench 2.1.4, ktorá testuje výkon procesora v celom čísle a s pohyblivou rádovou čiarkou, testuje pamäť pomocou jednoduchého testu výkonu pri čítaní/zápise a vykonáva test streamov, ktorý meria trvalú šírku pásma pamäte. Výsledky sady testov sa skombinujú, aby sa vytvorilo jediné skóre GeekBench. Taktiež rozoberieme štyri základné testovacie sady (Integer Performance, Floating-Point Performance, Memory Performance a Stream Performance), takže môžeme vidieť silné a slabé stránky každého virtuálneho životné prostredie.

GeekBench používa referenčný systém založený na PowerMac G5 @1,6 GHz. Skóre GeekBench pre referenčné systémy sú normalizované na 1000. Akékoľvek skóre vyššie ako 1 000 znamená, že počítač funguje lepšie ako referenčný systém.

Keďže výsledky oboch benchmarkových balíkov sú do istej miery abstraktné, začneme definovaním referenčného systému. V tomto prípade bude referenčným systémom hostiteľský Mac, ktorý sa používa na spustenie troch virtuálnych prostredí (Parallels Desktop pre Mac, VMWare Fusiona Sun Virtual Box). Spustíme obe sady benchmarkov na referenčnom systéme a použijeme tento údaj na porovnanie výkonnosti virtuálnych prostredí.

Všetky testy budú vykonané po novom spustení hostiteľského systému aj virtuálneho prostredia. V hostiteľskom aj virtuálnom prostredí budú všetky antimalvérové ​​a antivírusové aplikácie zakázané. Všetky virtuálne prostredia budú spustené v štandardnom okne OS X, pretože ide o najbežnejšiu metódu používanú vo všetkých troch prostrediach. V prípade virtuálnych prostredí nebudú spustené žiadne iné používateľské aplikácie okrem benchmarkov. Na hostiteľskom systéme, s výnimkou virtuálneho prostredia, nebudú spustené žiadne používateľské aplikácie okrem textového editora na zapisovanie poznámok pred a po testovaní, ale nikdy počas samotného testovacieho procesu.

Výsledky porovnávania pre hostiteľský systém Mac Pro

Systém, ktorý bude hosťovať tri virtuálne prostredia (Parallels Desktop pre Mac, VMWare Fusion a Sun VirtualBox) je vydaním z roku 2006 Mac Pro:

Mac Pro (2006)

• Dva dvojjadrové procesory 5160 Zeon (celkom 4 jadrá) @ 3,00 GHz
• 4 MB na jadro L2 cache RAM (celkovo 16 MB)
• 6 GB RAM pozostávajúca zo štyroch 1 GB modulov a štyroch 512 MB modulov. Všetky moduly sú spárované páry.
• Predná zbernica 1,33 GHz
• Grafická karta NVIDIA GeForce 7300 GT
• Dva 500 GB pevné disky Samsung F1 Series. OS X a virtualizačný softvér sú umiestnené na spúšťacej jednotke; hosťujúce OS sú uložené na druhej jednotke. Každý disk má svoj nezávislý kanál SATA 2.

Výsledky testov GeekBench a CineBench na hostiteľskom Macu Pro by mali poskytnúť praktickú hornú hranicu výkonu, ktorú by sme mali vidieť z ktoréhokoľvek z virtuálnych prostredí. Ako už bolo povedané, chceme zdôrazniť, že je možné, aby virtuálne prostredie prekonalo výkon hostiteľa v akomkoľvek jednom teste. Virtuálne prostredie môže mať prístup k základnému hardvéru a obísť niektoré vrstvy OS X. Je tiež možné, že sady benchmarkových testov budú oklamané systémom ukladania výkonu do vyrovnávacej pamäte zabudované do virtuálnych prostredí a prinášajú výsledky, ktoré sú úplne mimo možností výkon.

Porovnávacie skóre

GeekBench 2.1.4

• Skóre GeekBench: 6830
• Celé číslo: 6799
• Plávajúca bodka: 10786
• Pamäť: 2349
• Stream: 2057

CineBench R10

• Vykresľovanie, jeden procesor: 3248
• Vykresľovanie, 4 CPU: 10470
• Efektívne zrýchlenie z jedného na všetky procesory: 3,22
• Tieňovanie (OpenGL): 3249

Podrobné výsledky benchmarkových testov sú dostupné v galérii Virtualization Benchmark Test.

Výsledky porovnania pre Parallels Desktop pre Mac 5

Použili sme najnovšiu verziu Parallels (Parallels Desktop pre Mac 5.0). Nainštalovali sme nové kópie Parallels, Windows XP SP3a Windows 7. Na testovanie sme si vybrali tieto dva operačné systémy Windows, pretože si myslíme Windows XP predstavuje veľkú väčšinu súčasných inštalácií Windows na OS X a že v budúcnosti bude Windows 7 najbežnejším hosťujúcim OS bežiacim na Macu.

Pred začatím testovania sme skontrolovali a nainštalovali všetky dostupné aktualizácie pre virtuálne prostredie aj pre dva operačné systémy Windows. Keď bolo všetko aktuálne, nakonfigurovali sme virtuálne stroje Windows tak, aby používali jeden procesor a 1 GB pamäte. Vypli sme Parallels a deaktivovali Time Machine a všetky spúšťacie položky na Macu Pro, ktoré nie sú potrebné na testovanie. Potom sme reštartovali Mac Pro, spustili Parallels, spustili jedno z prostredí Windows a vykonali sme dve sady benchmarkových testov. Po dokončení testov sme výsledky skopírovali do počítača Mac pre neskoršie použitie.

Potom sme zopakovali reštart a spustenie Parallels pre benchmarkové testy druhého OS Windows.

Nakoniec sme zopakovali vyššie uvedenú sekvenciu s hosťujúcim OS nastaveným na použitie 2 a potom 4 CPU.

Porovnávacie skóre

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
• Windows 7 (1,2,4 CPU): 2223, 2980, 4560

CineBench R10

• Windows XP SP3
• Vykresľovanie (1,2,4 CPU): 2724, 5441, 9644
• Tieňovanie (OpenGL) (1,2,4 CPU): 1317, 1317, 1320

CineBench R10

• Windows 7
• Vykresľovanie (1,2,4 CPU): 2835, 5389, 9508
• Tieňovanie (OpenGL) (1,2,4 CPU): 1335, 1333, 1375

Parallels Desktop pre Mac 5.0 dokončil všetky benchmarkové testy. GeekBench zaznamenal iba malé rozdiely vo výkone medzi Windows XP a Windows 7, čo sme očakávali. GeekBench sa sústreďuje na testovanie výkonu procesora a pamäte, takže očakávame, že to bude dobrý ukazovateľ základný výkon virtuálneho prostredia a ako dobre sprístupňuje hosťom hardvér hostiteľského Macu Pro OS.

Test vykresľovania CineBench tiež ukázal konzistentnosť medzi dvoma operačnými systémami Windows. Opäť sa to dá očakávať, pretože test vykresľovania značne využíva procesory a šírku pásma pamäte, ako to vidia hosťujúce OS. Test tieňovania je dobrým indikátorom toho, ako dobre každé virtuálne prostredie implementovalo svoj ovládač videa. Na rozdiel od zvyšku hardvéru Macu nie je grafická karta sprístupnená priamo virtuálnym prostrediam. Je to preto, že grafická karta sa musí nepretržite starať o zobrazenie pre hostiteľské prostredie a nemôže byť presmerovaná tak, aby zobrazovala iba hosťovské prostredie. To platí aj vtedy, ak virtuálne prostredie ponúka možnosť zobrazenia na celú obrazovku.

Podrobné výsledky benchmarkových testov sú dostupné v galérii Virtualization Benchmark Test.

Výsledky benchmarku pre VMWare Fusion 3.0

Použili sme najnovšiu verziu VMWare Fusion (Fusion 3.0). Nainštalovali sme nové kópie Fusion, Windows XP SP3 a Windows 7. Na testovanie sme si vybrali tieto dva operačné systémy Windows, pretože si myslíme, že Windows XP predstavuje prevažnú väčšinu súčasných Inštalácie Windows na OS X a že v budúcnosti bude Windows 7 najbežnejším hosťujúcim OS bežiacim na Mac.

Pred začatím testovania sme skontrolovali a nainštalovali všetky dostupné aktualizácie pre virtuálne prostredie aj pre dva operačné systémy Windows. Keď bolo všetko aktuálne, nakonfigurovali sme virtuálne stroje Windows tak, aby používali jeden procesor a 1 GB pamäte. Vypli sme Fusion a zakázali Time Machine a všetky spúšťacie položky na Macu Pro, ktoré nie sú potrebné na testovanie. Potom sme reštartovali Mac Pro, spustili Fusion, spustili jedno z prostredí Windows a vykonali sme dve sady benchmarkových testov. Po dokončení testov sme výsledky skopírovali do Macu na neskoršie použitie.

Potom sme zopakovali reštart a spustenie Fusion pre benchmarkové testy druhého OS Windows.

Nakoniec sme zopakovali vyššie uvedenú sekvenciu s hosťujúcim OS nastaveným na použitie 2 a potom 4 CPU.

Porovnávacie skóre

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
• Windows 7 (1,2,4 CPU): 2388, 3174, 4679

CineBench R10

• Windows XP SP3
• Vykresľovanie (1,2,4 CPU): 2825, 5449, 9941
• Tieňovanie (OpenGL) (1,2,4 CPU): 821, 821, 827

CineBench R10

• Windows 7
• Vykresľovanie (1,2,4 CPU): 2843, 5408, 9657
• Tieňovanie (OpenGL) (1,2,4 CPU): 130, 130, 124

Narazili sme na problémy s Fusion a benchmarkovými testami. V prípade Windows XP s jedným procesorom GeekBench hlásil výkon toku pamäte rýchlosťou vyššou ako 25-násobok rýchlosti hostiteľského Macu Pro. Tento nezvyčajný výsledok pamäte zvýšil skóre GeekBench pre verziu Windows XP s jedným procesorom na 8148. Po mnohonásobnom opakovaní testu a získaní podobných výsledkov sme sa rozhodli test označiť ako neplatný a považovať ho za problém interakcie medzi benchmarkovým testom, Fusion a Windows XP. Najlepšie, ako vieme, pre konfiguráciu jedného CPU Fusion nenahlásil správnu hardvérovú konfiguráciu aplikácii GeekBench. GeekBench a Windows XP však fungovali bezchybne s dvomi alebo viacerými vybranými CPU.

Problém sme mali aj s Fusion, Windows 7 a CineBench. Keď sme spustili CineBench pod Windowsom 7, hlásilo to generickú grafickú kartu ako jediný dostupný grafický hardvér. Aj keď generická grafická karta bola schopná spustiť OpenGL, robila to závratnou rýchlosťou. Môže to byť dôsledok toho, že hostiteľský Mac Pro má starú grafickú kartu NVIDIA GeForce 7300. Systémové požiadavky Fusion naznačujú modernejšiu grafickú kartu. Zaujímavé však bolo, že pod Windows XP prebehol test tieňovania CineBench bez problémov.

Okrem dvoch vyššie uvedených vtipov bol výkon Fusion na rovnakej úrovni s tým, čo sme očakávali od dobre navrhnutého virtuálneho prostredia.

Podrobné výsledky benchmarkových testov sú dostupné v galérii Virtualization Benchmark Test.

Porovnanie výsledkov pre Sun VirtualBox

Použili sme najnovšiu verziu Sun VirtualBox (VirtualBox 3.0). Nainštalovali sme nové kópie VirtualBox, Windows XP SP3 a Windows 7. Na testovanie sme si vybrali tieto dva operačné systémy Windows, pretože si myslíme, že Windows XP predstavuje prevažnú väčšinu súčasných Inštalácie Windows na OS X a že v budúcnosti bude Windows 7 najbežnejším hosťujúcim OS bežiacim na Mac.

Pred začatím testovania sme skontrolovali a nainštalovali všetky dostupné aktualizácie pre virtuálne prostredie aj pre dva operačné systémy Windows. Keď bolo všetko aktuálne, nakonfigurovali sme virtuálne stroje Windows tak, aby používali jeden procesor a 1 GB pamäte. Vypli sme VirtualBox a zakázali Time Machine a všetky spúšťacie položky na Macu Pro, ktoré nie sú potrebné na testovanie. Potom sme reštartovali Mac Pro, spustili VirtualBox, spustili jedno z prostredí Windowsu a vykonali dve sady benchmarkových testov. Po dokončení testov sme výsledky skopírovali do Macu na neskoršie použitie.

Potom sme zopakovali reštart a spustenie Fusion pre benchmarkové testy druhého OS Windows.

Nakoniec sme zopakovali vyššie uvedenú sekvenciu s hosťujúcim OS nastaveným na použitie 2 a potom 4 CPU.

Porovnávacie skóre

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2345, *, *
• Windows 7 (1,2,4 CPU): 2255, 2936, 3926

CineBench R10

• Windows XP SP3
• Vykresľovanie (1,2,4 CPU): 7001, *, *
• Tieňovanie (OpenGL) (1,2,4 CPU): 1025, *, *

CineBench R10

• Windows 7
• Vykresľovanie (1,2,4 CPU): 2570, 6863, 13344
• Tieňovanie (OpenGL) (1,2,4 CPU): 711, 710, 1034

Sun VirtualBox a naše bench testovacie aplikácie narazili na a problém s Windows XP. Konkrétne, GeekBench aj CineBench nedokázali vidieť viac ako jeden procesor bez ohľadu na to, ako sme nakonfigurovali hosťujúci OS.

Keď sme testovali Windows 7 pomocou GeekBench, všimli sme si, že využitie viacerých procesorov bolo nedostatočné, čo viedlo k najnižším skóre pre konfigurácie 2 a 4 CPU. Výkon jedného procesora sa zdal byť na úrovni ostatných virtuálnych prostredí.

CineBench tiež nedokázal vidieť viac ako jeden procesor pri spustení systému Windows XP. Test vykresľovania pre verziu Windows XP s jedným procesorom priniesol jeden z najrýchlejších výsledkov, ktorý prekonal aj samotný Mac Pro. Skúsili sme test zopakovať niekoľkokrát; všetky výsledky boli v rovnakom rozmedzí. Myslíme si, že je bezpečné pripísať výsledky vykresľovania na jednom CPU v systéme Windows XP na problém s VirtualBoxom a tým, ako využíva CPU.

Tiež sme zaznamenali zvláštny nárast výsledkov vykresľovania pre 2 a 4 testy CPU so systémom Windows 7 a v každom prípade sa rýchlosť vykresľovania pri prechode z 1 na 2 zdvojnásobila. CPU a od 2 do 4 CPU. Tento typ zvýšenia výkonu je nepravdepodobný a ešte raz to pripíšeme implementácii viacerých CPU od VirtualBoxu. podpora.

Pri všetkých problémoch s benchmarkovým testovaním VirtualBoxu môžu byť jedinými platnými výsledkami testu výsledky pre jeden procesor pod Windowsom 7.

Podrobné výsledky benchmarkových testov sú dostupné v galérii Virtualization Benchmark Test.

Výsledky

Po vykonaní všetkých referenčných testov je čas vrátiť sa k našej pôvodnej otázke.

Spĺňajú traja hlavní hráči vo virtualizácii na počítačoch Mac (Parallels Desktop pre Mac, VMWare Fusion a Sun VirtualBox) prísľub takmer prirodzeného výkonu?

Odpoveďou je zmiešaná taška. Žiadny z kandidátov na virtualizáciu v našich testoch GeekBench nedokázal zmerať výkon hostiteľského Macu Pro. Najlepší výsledok zaznamenal Fusion, ktorý dokázal dosiahnuť takmer 68,5 % výkonu hostiteľa. Parallels tesne zaostali na úrovni 66,7 %. Vzadu bol VirtualBox s 57,4 %.

Keď sme sa pozreli na výsledky CineBench, ktorý používa test v reálnom svete na vykresľovanie obrázkov, boli veľmi blízko skóre hostiteľa. Fusion bol opäť na vrchole testov vykresľovania a dosiahol 94,9% výkonu hostiteľa. Nasledovali paralely na 92,1 %. VirtualBox nedokázal spoľahlivo dokončiť test vykresľovania, čím ho vyradil z sporu. V jednej iterácii testu vykresľovania VirtualBox uviedol, že fungoval o 127,4 % lepšie ako hostiteľ, zatiaľ čo v iných sa nedokázal spustiť ani dokončiť.

Najhoršie spomedzi všetkých virtuálnych prostredí dopadol test tieňovania, ktorý zisťuje, ako dobre funguje grafická karta pomocou OpenGL. Najlepšie sa darilo Parallels, ktoré dosiahli 42,3 % schopností hostiteľa. VirtualBox bol druhý s 31,5 %; Fusion sa umiestnil na treťom mieste s 25,4 %.

Výber celkového víťaza je niečo, čo necháme na koncového užívateľa. Každý produkt má svoje plusy a mínusy a v mnohých prípadoch sú referenčné čísla tak blízko, že opakovanie testov by mohlo zmeniť poradie.

Výsledky benchmarkových testov ukazujú, že všeobecne platí, že schopnosť využívať grafickú kartu je to, čo bráni virtuálnemu prostrediu, aby bolo úplnou náhradou za vyhradený počítač. Ako už bolo povedané, modernejšia grafická karta, ako máme tu, by mohla produkovať vyššie hodnoty výkonu test tieňovania, najmä pre Fusion, ktorého vývojár najlepšie navrhuje výkonnejšie grafické karty výsledky.

Všimnete si, že niektoré kombinácie testov (virtuálne prostredie, verzia Windows a benchmarkový test) zobrazovali problémy, buď nerealistické výsledky, alebo neúspešné dokončenie testu. Tieto typy výsledkov by sa nemali používať ako indikátory problémov s virtuálnym prostredím. Benchmark testy sú neobvyklé aplikácie, ktoré sa pokúšajú spustiť vo virtuálnom prostredí. Sú určené na meranie výkonu fyzických zariadení, ku ktorým im virtuálne prostredie nemusí umožniť prístup. Nejde o zlyhanie virtuálneho prostredia a pri reálnom používaní sme nezaznamenali problémy s veľkou väčšinou Windows aplikácií, ktoré bežia pod virtuálnym systémom.

Všetky virtuálne prostredia, ktoré sme testovali (Parallels Desktop pre Mac 5.0, VMWare Fusion 3.0 a Sun VirtualBox 3.0), poskytujú vynikajúce výkon a stabilitu pri každodennom používaní a mal by byť schopný slúžiť ako vaše primárne prostredie Windows po väčšinu dňa aplikácie.