Въведение в теста за сравнителен тест за виртуализация

Метод за тестване

Ще използваме два различни, популярни комплекта за сравнителни тестове за различни платформи. Първият, CineBench 10, извършва тест в реалния свят на процесора на компютъра и способността на неговата графична карта да изобразява изображения. Първият тест използва процесора за изобразяване на фотореалистично изображение, като използва интензивни от процесора изчисления за изобразяване на отражения, затъмняване на околната среда, осветление и засенчване на зоната и др. Тестът се извършва с един процесор или ядро ​​и след това се повтаря с всички налични процесори и ядра. Резултатът дава референтна оценка на производителността за компютъра, използващ един процесор, оценка за всички процесори и ядра и индикация за това колко добре множество ядра или се използват процесори.

Вторият тест на CineBench оценява производителността на графичната карта на компютъра с помощта на OpenGL за изобразяване на 3D сцена, докато камерата се движи в сцената. Този тест определя колко бързо може да работи графичната карта, докато все още прецизно изобразява сцената.

Вторият тестов пакет е GeekBench 2.1.4, който тества целочислената и с плаваща запетая производителност на процесора, тества паметта с помощта на обикновен тест за производителност за четене/запис и извършва тест за потоци, който измерва устойчивата честотна лента на паметта. Резултатите от набора от тестове се комбинират, за да се получи един резултат GeekBench. Ще разбием и четирите основни тестови набора (Цялочислена производителност, производителност с плаваща запетая, памет Производителност и производителност на потока), така че можем да видим силните и слабите страни на всеки виртуал заобикаляща среда.

GeekBench използва референтна система, базирана на PowerMac G5 @1,6 GHz. Резултатите от GeekBench за референтните системи се нормализират до 1000. Всеки резултат по-висок от 1000 показва компютър, който работи по-добре от референтната система.

Тъй като резултатите от двата бенчмарк пакета са донякъде абстрактни, ще започнем с дефиниране на референтна система. В този случай референтната система ще бъде хостът Mac, който се използва за стартиране на трите виртуални среди (Parallels Desktop за Mac, VMWare Fusionи Sun Virtual Box). Ще стартираме и двата бенчмарк пакета на референтната система и ще използваме тази цифра, за да сравним колко добре се представят виртуалните среди.

Всички тестове ще бъдат извършени след ново стартиране както на хост системата, така и на виртуалната среда. Както хостът, така и виртуалната среда ще имат деактивирани всички анти-зловреден софтуер и антивирусни приложения. Всички виртуални среди ще се изпълняват в рамките на стандартен прозорец на OS X, тъй като това е най-често срещаният метод, използван и в трите среди. В случай на виртуални среди няма да се изпълняват никакви потребителски приложения, освен еталонните. В хост системата, с изключение на виртуалната среда, няма да се изпълняват никакви потребителски приложения, освен текстов редактор, който да води бележки преди и след тестване, но никога по време на действителния тестов процес.

Резултати от сравнителния тест за хост система Mac Pro

Системата, която ще хоства трите виртуални среди (Parallels Desktop за Mac, VMWare Fusion и Sun VirtualBox), е издание от 2006 г. Mac Pro:

Mac Pro (2006)

• Два двуядрени процесора 5160 Zeon (общо 4 ядра) @ 3,00 GHz
• 4 MB на ядро ​​L2 кеш RAM (общо 16 MB)
• 6 GB RAM, състояща се от четири модула от 1 GB и четири модула от 512 MB. Всички модули са съвпадащи двойки.
• 1,33 GHz предна странична шина
• Графична карта NVIDIA GeForce 7300 GT
• Два 500 GB твърди диска Samsung F1 Series. OS X и софтуерът за виртуализация са резидентни на стартовото устройство; гост ОС се съхраняват на второто устройство. Всяко устройство има собствен независим SATA 2 канал.

Резултатите от тестовете GeekBench и CineBench на хост Mac Pro трябва да осигурят практическата горна граница на производителност, която трябва да виждаме от всяка от виртуалните среди. Като се има предвид това, искаме да отбележим, че е възможно виртуална среда да надхвърли производителността на хоста във всеки един тест. Виртуалната среда може да има достъп до основния хардуер и да заобиколи някои от операционните слоеве на OS X. Възможно е също така комплектите за тестове за сравнителни тестове да бъдат заблудени от системата за кеширане на производителността вградени във виртуалната среда и дават резултати, които са много извън потенциала производителност.

Референтни резултати

GeekBench 2.1.4

• Резултат от GeekBench: 6830
• Цяло число: 6799
• Плаваща запетая: 10786
• Памет: 2349
• Поток: 2057

CineBench R10

• Изобразяване, единичен процесор: 3248
• Изобразяване, 4 CPU: 10470
• Ефективно ускоряване от единичен до всички процесори: 3.22
• Засенчване (OpenGL): 3249

Подробни резултати от сравнителните тестове са достъпни в галерията за тестове за сравнителни тестове за виртуализация.

Резултати от сравнителния тест за Parallels Desktop за Mac 5

Използвахме най-новата версия на Parallels (Parallels Desktop за Mac 5.0). Инсталирахме нови копия на Parallels, Windows XP SP3, и Windows 7. Избрахме тези две операционни системи Windows за тестване, защото мислим Уиндоус експи представлява по-голямата част от текущите инсталации на Windows на OS X и че в бъдеще Windows 7 ще бъде най-често срещаната гост ОС, работеща на Mac.

Преди да започне тестването, проверихме и инсталирахме всички налични актуализации както за виртуалната среда, така и за двете операционни системи Windows. След като всичко беше актуално, конфигурирахме виртуалните машини на Windows да използват един процесор и 1 GB памет. Изключихме Parallels и деактивирахме Time Machine и всички стартиращи елементи на Mac Pro, които не са необходими за тестването. След това рестартирахме Mac Pro, стартирахме Parallels, стартирахме една от Windows среди и извършихме двата набора от сравнителни тестове. След като тестовете приключихме, копирахме резултатите на Mac за по-късна справка.

След това повторихме рестартирането и стартирането на Parallels за сравнителните тестове на втората ОС Windows.

Накрая повторихме горната последователност с ОС за гости, настроена да използва 2 и след това 4 CPU.

Референтни резултати

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
• Windows 7 (1,2,4 CPU): 2223, 2980, 4560

CineBench R10

• Windows XP SP3
• Изобразяване (1,2,4 CPU): 2724, 5441, 9644
• Засенчване (OpenGL) (1,2,4 CPU): 1317, 1317, 1320

CineBench R10

• Windows 7
• Изобразяване (1,2,4 CPU): 2835, 5389, 9508
• Засенчване (OpenGL) (1,2,4 CPU): 1335, 1333, 1375

Parallels Desktop за Mac 5.0 завърши всички тестове за сравнителен тест. GeekBench видя само малки разлики в производителността между Windows XP и Windows 7, което очаквахме. GeekBench се концентрира върху тестов процесор и производителност на паметта, така че очакваме това да бъде добър индикатор за основната производителност на виртуалната среда и колко добре тя прави хардуера на хост Mac Pro достъпен за госта операционни системи.

Тестът за изобразяване на CineBench също показа последователност в двете операционни системи Windows. Още веднъж, това може да се очаква, тъй като тестът за изобразяване използва широко процесорите и честотната лента на паметта, както се вижда от гост ОС. Тестът за засенчване е добър индикатор за това колко добре всяка виртуална среда е внедрила своя видео драйвер. За разлика от останалия хардуер на Mac, графичната карта не е достъпна директно във виртуалните среди. Това е така, защото графичната карта трябва непрекъснато да се грижи за дисплея за средата на хоста и не може да бъде пренасочена, за да показва само средата за гости. Това е вярно, дори ако виртуалната среда предлага опция за показване на цял екран.

Подробни резултати от сравнителните тестове са достъпни в галерията за тестове за сравнителни тестове за виртуализация.

Резултати от сравнителния анализ за VMWare Fusion 3.0

Използвахме най-новата версия на VMWare Fusion (Fusion 3.0). Инсталирахме нови копия на Fusion, Windows XP SP3 и Windows 7. Избрахме тези две операционни системи Windows за тестване, защото смятаме, че Windows XP представлява огромното мнозинство от текущите Инсталации на Windows на OS X и че в бъдеще Windows 7 ще бъде най-често срещаната гост ОС, работеща на Mac.

Преди да започне тестването, проверихме и инсталирахме всички налични актуализации както за виртуалната среда, така и за двете операционни системи Windows. След като всичко беше актуално, конфигурирахме виртуалните машини на Windows да използват един процесор и 1 GB памет. Изключихме Fusion и деактивирахме Time Machine и всички стартиращи елементи на Mac Pro, които не са необходими за тестването. След това рестартирахме Mac Pro, стартирахме Fusion, стартирахме една от Windows среди и извършихме двата набора от сравнителни тестове. След като тестовете приключихме, копирахме резултатите на Mac за по-нататъшна употреба.

След това повторихме рестартирането и стартирането на Fusion за сравнителните тестове на втората ОС Windows.

Накрая повторихме горната последователност с ОС за гости, настроена да използва 2 и след това 4 CPU.

Референтни резултати

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
• Windows 7 (1,2,4 CPU): 2388, 3174, 4679

CineBench R10

• Windows XP SP3
• Изобразяване (1,2,4 CPU): 2825, 5449, 9941
• Засенчване (OpenGL) (1,2,4 CPU): 821, 821, 827

CineBench R10

• Windows 7
• Изобразяване (1,2,4 CPU): 2843, 5408, 9657
• Засенчване (OpenGL) (1,2,4 CPU): 130, 130, 124

Сблъскахме се с проблеми с Fusion и тестовете за сравнение. В случай на Windows XP с един процесор, GeekBench отчете производителност на потока от памет със скорост, по-добра от 25 пъти скоростта на хост Mac Pro. Този необичаен резултат от паметта повиши резултата на GeekBench за версията с един процесор на Windows XP до 8148. След като повторихме теста многократно и получихме подобни резултати, решихме да отбележим теста като невалиден и да го считаме за проблем с взаимодействието между теста за сравнение, Fusion и Windows XP. Доколкото можем да кажем, за конфигурацията на един процесор Fusion не отчита правилната хардуерна конфигурация на приложението GeekBench. Въпреки това, GeekBench и Windows XP се представиха безупречно с избрани два или повече процесора.

Имахме и проблем с Fusion, Windows 7 и CineBench. Когато стартирахме CineBench под Windows 7, той отчете обща видеокарта като единствения наличен графичен хардуер. Въпреки че генеричната графична карта беше в състояние да стартира OpenGL, тя направи това с ужасна скорост. Това може да е резултат от това, че хостът Mac Pro има стара графична карта NVIDIA GeForce 7300. Системните изисквания на Fusion предполагат по-модерна графична карта. Намирахме за интересно обаче, че под Windows XP тестът за засенчване на CineBench премина без никакви проблеми.

Освен двете странности, споменати по-горе, производителността на Fusion беше наравно с това, което очаквахме от добре проектирана виртуална среда.

Подробни резултати от сравнителните тестове са достъпни в галерията за тестове за сравнителни тестове за виртуализация.

Резултати от сравнителния анализ за Sun VirtualBox

Използвахме най-новата версия на Sun VirtualBox (VirtualBox 3.0). Инсталирахме нови копия на VirtualBox, Windows XP SP3 и Windows 7. Избрахме тези две операционни системи Windows за тестване, защото смятаме, че Windows XP представлява огромното мнозинство от текущите Инсталации на Windows на OS X и че в бъдеще Windows 7 ще бъде най-често срещаната гост ОС, работеща на Mac.

Преди да започне тестването, проверихме и инсталирахме всички налични актуализации както за виртуалната среда, така и за двете операционни системи Windows. След като всичко беше актуално, конфигурирахме виртуалните машини на Windows да използват един процесор и 1 GB памет. Затворихме VirtualBox и деактивирахме Time Machine и всички стартиращи елементи на Mac Pro, които не са необходими за тестването. След това рестартирахме Mac Pro, стартирахме VirtualBox, стартирахме една от средите на Windows и извършихме двата набора от сравнителни тестове. След като тестовете приключихме, копирахме резултатите на Mac за по-нататъшна употреба.

След това повторихме рестартирането и стартирането на Fusion за сравнителните тестове на втората ОС Windows.

Накрая повторихме горната последователност с ОС за гости, настроена да използва 2 и след това 4 CPU.

Референтни резултати

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2345, *, *
• Windows 7 (1,2,4 CPU): 2255, 2936, 3926

CineBench R10

• Windows XP SP3
• Изобразяване (1,2,4 CPU): 7001, *, *
• Засенчване (OpenGL) (1,2,4 CPU): 1025, *, *

CineBench R10

• Windows 7
• Изобразяване (1,2,4 CPU): 2570, 6863, 13344
• Засенчване (OpenGL) (1,2,4 CPU): 711, 710, 1034

Sun VirtualBox и нашите приложения за тест на стенд се натъкнаха на a проблем с Windows XP. По-конкретно, както GeekBench, така и CineBench не можаха да видят повече от един процесор, независимо от това как конфигурирахме гост ОС.

Когато тествахме Windows 7 с GeekBench, забелязахме, че използването на няколко процесора е неадекватно, което води до най-ниските резултати за конфигурации с 2 и 4 процесора. Производителността на един процесор изглежда беше наравно с другите виртуални среди.

CineBench също не успя да види повече от един процесор, когато работи с Windows XP. Също така, тестът за изобразяване за версията на Windows XP с един процесор даде един от най-бързите резултати, надминавайки дори самия Mac Pro. Опитахме се да повторим теста няколко пъти; всички резултати бяха в същия диапазон. Смятаме, че е безопасно резултатите от изобразяването на един процесор в Windows XP да се приписват на проблем с VirtualBox и как той използва процесори.

Също така видяхме странен удар в резултатите от изобразяването за 2 и 4 теста на процесора с Windows 7 и във всеки случай, изобразяването се удвоява повече от два пъти при преминаване от 1 към 2 CPU и от 2 до 4 CPU. Този тип увеличение на производителността е малко вероятно и отново ще го припишем на внедряването на VirtualBox на множество процесори поддържа.

При всички проблеми с тестването за сравнение на VirtualBox, единствените валидни резултати от теста може да са тези за един процесор под Windows 7.

Подробни резултати от сравнителните тестове са достъпни в галерията за тестове за сравнителни тестове за виртуализация.

Резултатите

С всички извършени тестове за сравнение е време да преразгледаме първоначалния си въпрос.

Изпълняват ли трите основни играча във виртуализацията на Mac (Parallels Desktop за Mac, VMWare Fusion и Sun VirtualBox) на обещанието за почти естествена производителност?

Отговорът е смесена торба. Нито един от кандидатите за виртуализация в нашите GeekBench тестове не успя да измери производителността на хост Mac Pro. Най-добрият резултат е регистриран от Fusion, който успя да постигне близо 68,5% от представянето на домакина. Паралелите бяха близо до 66,7%. Отзад беше VirtualBox с 57,4%.

Когато разгледахме резултатите от CineBench, който използва по-реален тест за изобразяване на изображения, те бяха много близки до резултата на хоста. За пореден път Fusion беше на върха на тестовете за изобразяване, постигайки 94,9% от производителността на хоста. Следват паралели при 92,1%. VirtualBox не можа надеждно да завърши теста за изобразяване, като го извади от спора. В една итерация на теста за изобразяване, VirtualBox съобщи, че се представя 127,4% по-добре от хоста, докато в други не е в състояние да започне или завърши.

Тестът за засенчване, който разглежда колко добре се представя графичната карта с OpenGL, се представи най-зле сред всички виртуални среди. Най-добре се представи Parallels, който достигна 42,3% от възможностите на домакина. VirtualBox беше втори с 31,5%; Fusion е на трето място с 25,4%.

Изборът на общ победител е нещо, което ще оставим на крайния потребител. Всеки продукт има своите плюсове и минуси и в много случаи показателите за сравнение са толкова близки, че повтарянето на тестовете може да промени класирането.

Това, което показват резултатите от сравнителния тест, е, че повсеместно възможността за използване на графичната карта е това, което пречи на виртуалната среда да бъде пълна замяна на специален компютър. Като се има предвид това, по-модерна графична карта от тази, която имаме тук, би могла да доведе до по-високи показатели за производителност тест за засенчване, особено за Fusion, чийто разработчик предлага графични карти с по-висока производителност за най-добро резултати.

Ще забележите, че някои тестови комбинации (виртуална среда, версия на Windows и тест за сравнителен тест) показват проблеми, или нереалистични резултати, или неуспех при завършване на тест. Този тип резултати не трябва да се използват като индикатори за проблеми с виртуална среда. Бенчмарк тестовете са необичайни приложения, които се опитват да се изпълняват във виртуална среда. Те са предназначени да измерват производителността на физически устройства, до които виртуалната среда може да не им позволи достъп. Това не е повреда на виртуалната среда и в реална употреба не сме имали проблеми с по-голямата част от приложенията на Windows, работещи под виртуална система.

Всички тествани виртуални среди (Parallels Desktop за Mac 5.0, VMWare Fusion 3.0 и Sun VirtualBox 3.0) осигуряват отлични производителност и стабилност при ежедневна употреба и трябва да може да служи като основна среда на Windows за повечето ежедневни приложения.