Johdatus virtualisoinnin vertailutestiin

Testausmenetelmä

Aiomme käyttää kahta erilaista, suosittua, monialustaista vertailutestipakettia. Ensimmäinen, CineBench 10, suorittaa todellisen testin tietokoneen suorittimesta ja sen näytönohjaimen kyvystä renderöidä kuvia. Ensimmäisessä testissä käytetään prosessoria renderöimään fotorealistinen kuva ja prosessoriintensiivisiä laskelmia heijastusten, ympäristön peittämisen, alueen valaistuksen ja varjostuksen ja muiden hahmontamiseen. Testi suoritetaan yhdellä prosessorilla tai ytimellä ja toistetaan sitten käyttämällä kaikkia saatavilla olevia suorittimia ja ytimiä. Tulos tuottaa vertailusuorituskyvyn yhtä prosessoria käyttävälle tietokoneelle, arvosanan kaikille prosessoreille ja ytimille sekä osoituksen siitä, kuinka hyvin useita ytimiä tai prosessoreita käytetään.

Toinen CineBench-testi arvioi tietokoneen näytönohjaimen suorituskyvyn käyttämällä OpenGL: ää renderöimään 3D-näkymän kameran liikkuessa kohtauksen sisällä. Tämä testi määrittää, kuinka nopeasti näytönohjain voi toimia samalla, kun se renderöi näkymän tarkasti.

Toinen testisarja on GeekBench 2.1.4, joka testaa prosessorin kokonaislukujen ja liukulukujen suorituskykyä, testaa muistia yksinkertaisella luku-/kirjoitussuorituskykytestillä ja suorittaa suoratoistotestin, joka mittaa jatkuvaa muistin kaistanleveyttä. Testisarjan tulokset yhdistetään yhdeksi GeekBench-pisteeksi. Jaamme myös neljä perustestisarjaa (kokonaislukujen suorituskyky, liukulukujen suorituskyky, muisti Performance ja Stream Performance), jotta voimme nähdä jokaisen virtuaalisen vahvuudet ja heikkoudet ympäristöön.

GeekBench käyttää referenssijärjestelmää, joka perustuu PowerMac G5:een @1,6 GHz. Referenssijärjestelmien GeekBench-pisteet normalisoidaan 1000:een. Kaikki yli 1000 pisteet osoittavat, että tietokone toimii paremmin kuin vertailujärjestelmä.

Koska kummankin benchmark-sarjan tulokset ovat jokseenkin abstrakteja, aloitamme määrittämällä vertailujärjestelmän. Tässä tapauksessa viitejärjestelmä on isäntä-Mac, jota käytetään kolmen virtuaaliympäristön (Parallels Desktop for Mac, VMWare Fusionja Sun Virtual Box). Suoritamme molemmat benchmark-sarjat viitejärjestelmässä ja käytämme tätä lukua virtuaaliympäristöjen suorituskyvyn vertaamiseen.

Kaikki testit suoritetaan sekä isäntäjärjestelmän että virtuaaliympäristön uudelleenkäynnistyksen jälkeen. Sekä isäntä- että virtuaaliympäristöissä kaikki haittaohjelmien ja virustentorjuntasovellukset on poistettu käytöstä. Kaikki virtuaaliympäristöt ajetaan tavallisessa OS X -ikkunassa, koska tämä on yleisin käytetty menetelmä kaikissa kolmessa ympäristössä. Virtuaaliympäristöissä ei ole käynnissä muita käyttäjäsovelluksia kuin vertailuarvot. Isäntäjärjestelmässä, paitsi virtuaaliympäristössä, muut käyttäjäsovellukset eivät ole käynnissä kuin tekstieditori muistiinpanojen tekemiseksi ennen testausta ja sen jälkeen, mutta ei koskaan varsinaisen testausprosessin aikana.

Vertailutulokset isäntäjärjestelmälle Mac Pro

Järjestelmä, joka isännöi kolmea virtuaaliympäristöä (Parallels Desktop for Mac, VMWare Fusion ja Sun VirtualBox), on vuoden 2006 versio Mac Pro:

Mac Pro (2006)

• Kaksi kaksiytimistä 5160 Zeon -prosessoria (yhteensä 4 ydintä) @ 3,00 GHz
• 4 Mt per ydin L2-välimuisti (yhteensä 16 Mt)
• 6 Gt RAM, joka koostuu neljästä 1 Gt: n moduulista ja neljästä 512 Mt: n moduulista. Kaikki moduulit ovat yhteensopivia pareja.
• 1,33 GHz: n etupuolen väylä
• NVIDIA GeForce 7300 GT -näytönohjain
• Kaksi 500 Gt: n Samsung F1 Series -kiintolevyä. OS X ja virtualisointiohjelmisto sijaitsevat käynnistysasemassa; vieraskäyttöjärjestelmät on tallennettu toiselle asemalle. Jokaisella asemalla on oma itsenäinen SATA 2 -kanava.

Isäntä Mac Pron GeekBench- ja CineBench-testien tulosten pitäisi tarjota käytännöllinen suorituskyvyn yläraja, joka meidän pitäisi nähdä missä tahansa virtuaaliympäristössä. Haluamme kuitenkin huomauttaa, että virtuaaliympäristö voi ylittää isännän suorituskyvyn missä tahansa yksittäisessä testissä. Virtuaalinen ympäristö saattaa päästä käsiksi taustalla olevaan laitteistoon ja ohittaa jotkin OS X: n käyttöjärjestelmäkerrokset. On myös mahdollista, että suorituskyvyn välimuistijärjestelmä huijaa benchmark-testisarjat rakennettu virtuaaliympäristöihin ja tuottaa tuloksia, jotka ylittävät mahdollisuudet esitys.

Vertailupisteet

GeekBench 2.1.4

• GeekBenchin pisteet: 6830
• Kokonaisluku: 6799
• Liukuluku: 10786
• Muisti: 2349
• Suoratoisto: 2057

CineBench R10

• Renderöinti, yksi prosessori: 3248
• Renderöinti, 4 CPU: 10470
• Tehokas nopeus yhdestä kaikkiin prosessoreihin: 3.22
• Varjostus (OpenGL): 3249

Vertailutestien yksityiskohtaiset tulokset ovat saatavilla Virtualization Benchmark Test -galleriassa.

Parallels Desktop for Mac 5:n vertailutulokset

Käytimme Parallelsin (Parallels Desktop for Mac 5.0) uusinta versiota. Asensimme tuoreet kopiot Parallelsista, Windows XP SP3, ja Windows 7. Valitsimme nämä kaksi Windows-käyttöjärjestelmää testattavaksi, koska ajattelemme Windows XP edustaa suurinta osaa nykyisistä Windows-asennuksista OS X: ssä ja että tulevaisuudessa Windows 7 on yleisin Macissa käytettävä vieraskäyttöjärjestelmä.

Ennen testauksen aloittamista tarkistimme ja asensimme kaikki saatavilla olevat päivitykset sekä virtuaaliympäristöön että kahteen Windows-käyttöjärjestelmään. Kun kaikki oli ajan tasalla, määritimme Windows-virtuaalikoneet käyttämään yhtä prosessoria ja 1 Gt muistia. Suljimme Parallels-sovelluksen ja poistimme Time Machinen ja kaikki Mac Pron käynnistyskohteet, joita ei tarvita testaukseen. Sitten käynnistimme Mac Pron uudelleen, käynnistimme Parallels-sovelluksen, käynnistimme yhden Windows-ympäristöistä ja suoritimme kaksi vertailutestisarjaa. Kun testit oli suoritettu, kopioimme tulokset Macille myöhempää käyttöä varten.

Toistimme sitten Parallelsin uudelleenkäynnistyksen ja käynnistämisen toisen Windows-käyttöjärjestelmän vertailutestejä varten.

Lopuksi toistimme yllä olevan sekvenssin vieraskäyttöjärjestelmän ollessa asetettu käyttämään 2 ja sitten 4 prosessoria.

Vertailupisteet

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
• Windows 7 (1,2,4 CPU): 2223, 2980, 4560

CineBench R10

• Windows XP SP3
• Renderöinti (1,2,4 CPU): 2724, 5441, 9644
• Varjostus (OpenGL) (1,2,4 CPU): 1317, 1317, 1320

CineBench R10

• Windows 7
• Renderöinti (1,2,4 CPU): 2835, 5389, 9508
• Varjostus (OpenGL) (1,2,4 CPU): 1335, 1333, 1375

Parallels Desktop for Mac 5.0 suoritti kaikki vertailutestit. GeekBench havaitsi vain pieniä eroja suorituskyvyssä Windows XP: n ja Windows 7:n välillä, mitä odotimme. GeekBench keskittyy testausprosessorin ja muistin suorituskykyyn, joten odotamme sen olevan hyvä indikaattori virtuaaliympäristön taustalla oleva suorituskyky ja kuinka hyvin se tuo isäntä-Mac Pron laitteiston vieraan saataville käyttöjärjestelmät.

CineBenchin renderöintitesti osoitti myös johdonmukaisuuden kahdessa Windows-käyttöjärjestelmässä. Tämä on jälleen kerran odotettavissa, koska renderöintitestissä käytetään laajasti prosessoreita ja muistin kaistanleveyttä vieraskäyttöjärjestelmien näkemänä. Varjostustesti on hyvä indikaattori siitä, kuinka hyvin kukin virtuaaliympäristö on toteuttanut videoohjaimensa. Toisin kuin muu Macin laitteisto, näytönohjain ei ole suoraan virtuaaliympäristöjen käytettävissä. Tämä johtuu siitä, että näytönohjaimen on jatkuvasti huolehdittava isäntäympäristön näytöstä, eikä sitä voida ohjata näyttämään vain vierasympäristöä. Tämä on totta, vaikka virtuaaliympäristö tarjoaa koko näytön näyttövaihtoehdon.

Vertailutestien yksityiskohtaiset tulokset ovat saatavilla Virtualization Benchmark Test -galleriassa.

VMWare Fusion 3.0:n benchmark-tulokset

Käytimme VMWare Fusionin uusinta versiota (Fusion 3.0). Asensimme uudet kopiot Fusionista, Windows XP SP3:sta ja Windows 7:stä. Valitsimme nämä kaksi Windows-käyttöjärjestelmää testattavaksi, koska uskomme, että Windows XP edustaa suurinta osaa nykyisestä Windows-asennukset OS X: lle ja että tulevaisuudessa Windows 7 on yleisin vieraileva käyttöjärjestelmä, joka toimii OS X: ssä Mac.

Ennen testauksen aloittamista tarkistimme ja asensimme saatavilla olevat päivitykset sekä virtuaaliympäristölle että kahdelle Windows-käyttöjärjestelmälle. Kun kaikki oli ajan tasalla, määritimme Windows-virtuaalikoneet käyttämään yhtä prosessoria ja 1 Gt muistia. Suljimme Fusionin ja poistimme Time Machinen ja kaikki Mac Pron käynnistyskohteet, joita ei tarvita testaukseen. Sitten käynnistimme Mac Pron uudelleen, käynnistimme Fusionin, käynnistimme yhden Windows-ympäristöistä ja suoritimme kaksi testisarjaa. Kun testit oli suoritettu, kopioimme tulokset Macille myöhempää käyttöä varten.

Toistimme sitten Fusionin uudelleenkäynnistyksen ja käynnistämisen toisen Windows-käyttöjärjestelmän vertailutestejä varten.

Lopuksi toistimme yllä olevan sekvenssin vieraskäyttöjärjestelmän ollessa asetettu käyttämään 2 ja sitten 4 prosessoria.

Vertailupisteet

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
• Windows 7 (1,2,4 CPU): 2388, 3174, 4679

CineBench R10

• Windows XP SP3
• Renderöinti (1,2,4 CPU): 2825, 5449, 9941
• Varjostus (OpenGL) (1,2,4 CPU): 821, 821, 827

CineBench R10

• Windows 7
• Renderöinti (1,2,4 CPU): 2843, 5408, 9657
• Varjostus (OpenGL) (1,2,4 CPU): 130, 130, 124

Törmäsimme ongelmiin Fusionin ja vertailutestien kanssa. Kun kyseessä on Windows XP, jossa on yksi prosessori, GeekBench raportoi muistivirran suorituskyvyn nopeudella, joka on parempi kuin 25 kertaa isäntä Mac Pron nopeus. Tämä epätavallinen muistitulos nosti Windows XP: n yhden suorittimen version GeekBench-pisteet 8148:aan. Toistettuamme testin monta kertaa ja saatuamme samanlaisia ​​tuloksia, päätimme merkitä testin virheelliseksi ja pitää sitä vertailutestin, Fusionin ja Windows XP: n välisenä vuorovaikutusongelmana. Kuten voimme kertoa, yhden CPU-kokoonpanon osalta Fusion ei raportoinut oikeaa laitteistokokoonpanoa GeekBench-sovellukselle. GeekBench ja Windows XP toimivat kuitenkin virheettömästi kahdella tai useammalla suorittimella.

Meillä oli myös ongelma Fusionin, Windows 7:n ja CineBenchin kanssa. Kun suoritimme CineBenchiä Windows 7 -käyttöjärjestelmässä, se raportoi yleisen näytönohjaimen ainoaksi käytettävissä olevaksi grafiikkalaitteistoksi. Vaikka yleinen näytönohjain pystyi ajamaan OpenGL: ää, se teki sen järjettömällä nopeudella. Tämä saattoi johtua siitä, että isäntä Mac Prolla oli vanha NVIDIA GeForce 7300 -näytönohjain. Fusionin järjestelmävaatimukset ehdottavat nykyaikaisempaa näytönohjainta. Mielestämme oli kuitenkin mielenkiintoista, että Windows XP: ssä CineBenchin varjostustesti sujui ilman ongelmia.

Muut kuin kaksi yllä mainittua omituisuutta, Fusionin suorituskyky vastasi sitä, mitä odotimme hyvin suunnitellulta virtuaaliympäristöltä.

Vertailutestien yksityiskohtaiset tulokset ovat saatavilla Virtualization Benchmark Test -galleriassa.

Sun VirtualBoxin vertailutulokset

Käytimme Sun VirtualBoxin uusinta versiota (VirtualBox 3.0). Asensimme uudet kopiot VirtualBoxista, Windows XP SP3:sta ja Windows 7:stä. Valitsimme nämä kaksi Windows-käyttöjärjestelmää testattavaksi, koska uskomme, että Windows XP edustaa suurinta osaa nykyisestä Windows-asennukset OS X: lle ja että tulevaisuudessa Windows 7 on yleisin vieraileva käyttöjärjestelmä, joka toimii OS X: ssä Mac.

Ennen testauksen aloittamista tarkistimme ja asensimme saatavilla olevat päivitykset sekä virtuaaliympäristölle että kahdelle Windows-käyttöjärjestelmälle. Kun kaikki oli ajan tasalla, määritimme Windows-virtuaalikoneet käyttämään yhtä prosessoria ja 1 Gt muistia. Suljimme VirtualBoxin ja poistimme Time Machinen ja kaikki Mac Pron käynnistyskohteet, joita ei tarvita testaukseen. Sitten käynnistimme Mac Pron uudelleen, käynnistimme VirtualBoxin, käynnistimme yhden Windows-ympäristöistä ja suoritimme kaksi testisarjaa. Kun testit oli suoritettu, kopioimme tulokset Macille myöhempää käyttöä varten.

Toistimme sitten Fusionin uudelleenkäynnistyksen ja käynnistämisen toisen Windows-käyttöjärjestelmän vertailutestejä varten.

Lopuksi toistimme yllä olevan sekvenssin vieraskäyttöjärjestelmän ollessa asetettu käyttämään 2 ja sitten 4 prosessoria.

Vertailupisteet

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2345, *, *
• Windows 7 (1,2,4 CPU): 2255, 2936, 3926

CineBench R10

• Windows XP SP3
• Renderöinti (1,2,4 CPU): 7001, *, *
• Varjostus (OpenGL) (1,2,4 CPU): 1025, *, *

CineBench R10

• Windows 7
• Renderöinti (1,2,4 CPU): 2570, 6863, 13344
• Varjostus (OpenGL) (1,2,4 CPU): 711, 710, 1034

Sun VirtualBox ja penkkitestisovelluksemme törmäsivät a ongelma Windows XP: n kanssa. Tarkemmin sanottuna sekä GeekBench että CineBench eivät pystyneet näkemään enempää kuin yhtä CPU: ta riippumatta siitä, miten vierailijakäyttöjärjestelmä määritimme.

Kun testasimme Windows 7:ää GeekBenchin kanssa, huomasimme, että usean prosessorin käyttöaste oli riittämätön, mikä johti alhaisimpiin pisteisiin 2 ja 4 CPU-kokoonpanoissa. Yhden prosessorin suorituskyky näytti olevan muiden virtuaaliympäristöjen tasolla.

CineBench ei myöskään pystynyt näkemään enempää kuin yhtä prosessoria Windows XP: n aikana. Myös Windows XP: n yhden prosessorin version renderöintitesti tuotti yhden nopeimmista tuloksista, ylittäen jopa itse Mac Pron. Yritimme suorittaa testin uudelleen muutaman kerran; kaikki tulokset olivat samalla alueella. Mielestämme on turvallista liittää Windows XP: n yhden suorittimen renderöintitulokset VirtualBoxin ongelmaan ja siihen, miten se käyttää suorittimia.

Näimme myös oudon kolauksen hahmonnustuloksissa 2 ja 4 suorittimen testien tuloksissa Windows 7:llä, ja jokaisessa tapauksessa renderöinnin nopeus yli kaksinkertaistui 1:stä 2:een Prosessorit ja 2-4 CPU: ta. Tämän tyyppinen suorituskyvyn kasvu on epätodennäköistä, ja jälleen kerran laskemme sen VirtualBoxin usean suorittimen toteuttamiseen. tuki.

Kaikista VirtualBox-benchmark-testaukseen liittyvistä ongelmista huolimatta ainoat kelvolliset testitulokset voivat olla yksittäisen Windows 7:n suorittimen tulokset.

Vertailutestien yksityiskohtaiset tulokset ovat saatavilla Virtualization Benchmark Test -galleriassa.

Tulokset

Kun kaikki vertailutestit on tehty, on aika palata alkuperäiseen kysymykseen.

Täyttävätkö kolme Macin virtualisoinnin päätoimijaa (Parallels Desktop for Mac, VMWare Fusion ja Sun VirtualBox) lupauksensa lähes luonnollisesta suorituskyvystä?

Vastaus on sekalainen laukku. Yksikään virtualisointiehdokkaista GeekBench-testeissämme ei pystynyt mittaamaan isäntä Mac Pron suorituskykyä. Parhaan tuloksen kirjasi Fusion, joka pystyi saavuttamaan lähes 68,5 % isännän suorituksesta. Rinnakkaiset olivat lähellä 66,7 %:a. Takaosan nosti VirtualBox, 57,4%.

Kun tarkastelimme CineBenchin tuloksia, joka käyttää todellisempaa testiä kuvien renderöimiseen, ne olivat hyvin lähellä isännän tulosta. Fusion oli jälleen kerran renderöintitestien huipulla ja saavutti 94,9 % isännän suorituskyvystä. Rinnakkaiset seurasivat 92,1 %:lla. VirtualBox ei voinut luotettavasti suorittaa renderöintitestiä, mikä pudotti sen kilpailusta. Yhdessä renderöintitestin iteraatiossa VirtualBox ilmoitti, että se suoriutui 127,4 % paremmin kuin isäntä, kun taas toisissa se ei pystynyt aloittamaan tai lopettamaan.

Varjostustesti, jossa tarkastellaan, kuinka hyvin näytönohjain toimii OpenGL: n avulla, menestyi kaikista virtuaaliympäristöistä huonoimmin. Parhaiten suoriutui Parallels, joka saavutti 42,3 % isännän kyvyistä. VirtualBox oli toinen 31,5 %:lla; Fusion sijoittui kolmanneksi 25,4 prosentilla.

Kokonaisvoittajan valitseminen on asia, jonka jätämme loppukäyttäjälle. Jokaisella tuotteella on plussansa ja miinuksensa, ja monissa tapauksissa vertailuluvut ovat niin lähellä, että testien toistaminen voi muuttaa sijoituksia.

Vertailutestin tulokset osoittavat, että yleisesti ottaen kyky hyödyntää näytönohjainta estää virtuaaliympäristöä olemasta täysin korvaava tietokoneelle. Tästä huolimatta nykyaikaisempi näytönohjain kuin meillä täällä voisi tuottaa parempia suorituskykylukuja varjostustesti, erityisesti Fusionille, jonka kehittäjä ehdottaa tehokkaampia näytönohjainkortteja parhaaksi tuloksia.

Huomaat, että joissakin testiyhdistelmissä (virtuaaliympäristö, Windows-versio ja vertailutesti) ilmeni ongelmia, joko epärealistisia tuloksia tai testin suorittamisen epäonnistumista. Tämän tyyppisiä tuloksia ei pidä käyttää virtuaaliympäristön ongelmien indikaattoreina. Vertailutestit ovat epätavallisia sovelluksia, joita yritetään ajaa virtuaaliympäristössä. Ne on suunniteltu mittaamaan fyysisten laitteiden suorituskykyä, joita virtuaaliympäristö ei välttämättä salli niiden pääsyä. Tämä ei ole virtuaaliympäristön vika, ja todellisessa käytössä emme ole kokeneet ongelmia suurimman osan virtuaalijärjestelmän alla toimivista Windows-sovelluksista.

Kaikki testaamamme virtuaaliympäristöt (Parallels Desktop for Mac 5.0, VMWare Fusion 3.0 ja Sun VirtualBox 3.0) tarjoavat erinomaisia suorituskykyä ja vakautta päivittäisessä käytössä, ja sen pitäisi pystyä toimimaan ensisijaisena Windows-ympäristönä useimmissa päivittäisessä käytössä sovellukset.