Einführung in den Virtualisierungs-Benchmark-Test

Testmethode

Wir werden zwei verschiedene, beliebte, plattformübergreifende Benchmark-Testsuiten verwenden. Der erste, CineBench 10, führt einen realen Test der CPU eines Computers und der Fähigkeit seiner Grafikkarte zum Rendern von Bildern durch. Der erste Test verwendet die CPU, um ein fotorealistisches Bild zu rendern, wobei CPU-intensive Berechnungen verwendet werden, um Reflexionen, Umgebungsverdeckung, Flächenbeleuchtung und Schattierung und mehr zu rendern. Der Test wird mit einer einzelnen CPU oder einem einzelnen Kern durchgeführt und dann mit allen verfügbaren CPUs und Kernen wiederholt. Das Ergebnis liefert eine Referenzleistungsnote für den Computer mit einem einzelnen Prozessor, eine Note für alle CPUs und Kerne und einen Hinweis darauf, wie gut mehrere Kerne oder CPUs verwendet werden.

Der zweite CineBench-Test bewertet die Leistung der Grafikkarte des Computers mithilfe von OpenGL, um eine 3D-Szene zu rendern, während sich eine Kamera innerhalb der Szene bewegt. Dieser Test bestimmt, wie schnell die Grafikkarte arbeiten kann, während die Szene noch genau wiedergegeben wird.

Die zweite Testsuite ist GeekBench 2.1.4, das die Integer- und Gleitkommaleistung des Prozessors testet, den Speicher mit einem einfachen Lese-/Schreibleistungstest testet und einen Streams-Test durchführt, der die anhaltende Speicherbandbreite misst. Die Ergebnisse der Testreihe werden zu einem einzigen GeekBench-Score kombiniert. Wir werden auch die vier grundlegenden Testsätze (Integer Performance, Floating-Point Performance, Memory Performance und Stream Performance), damit wir die Stärken und Schwächen jeder virtuellen Maschine erkennen können Umgebung.

GeekBench verwendet ein Referenzsystem basierend auf einem PowerMac G5 @1.6 GHz. GeekBench-Scores für die Referenzsysteme sind auf 1000 normalisiert. Jeder Punktwert über 1000 weist auf einen Computer hin, der eine bessere Leistung als das Referenzsystem aufweist.

Da die Ergebnisse beider Benchmark-Suiten eher abstrakt sind, definieren wir zunächst ein Referenzsystem. In diesem Fall ist das Referenzsystem der Host-Mac, auf dem die drei virtuellen Umgebungen ausgeführt werden (Parallels Desktop für Mac, VMWare Fusion, und Sun Virtual Box). Wir führen beide Benchmark-Suiten auf dem Referenzsystem aus und verwenden diese Zahl, um die Leistung der virtuellen Umgebungen zu vergleichen.

Alle Tests werden nach einem Neustart des Hostsystems und der virtuellen Umgebung durchgeführt. Sowohl auf dem Host als auch in den virtuellen Umgebungen werden alle Anti-Malware- und Antivirus-Anwendungen deaktiviert. Alle virtuellen Umgebungen werden in einem Standard-OS-X-Fenster ausgeführt, da dies die am häufigsten verwendete Methode in allen drei Umgebungen ist. Im Fall der virtuellen Umgebungen werden außer den Benchmarks keine Benutzeranwendungen ausgeführt. Auf dem Hostsystem werden außer in der virtuellen Umgebung keine Benutzeranwendungen ausgeführt, außer einem Texteditor, der vor und nach dem Test Notizen macht, aber niemals während des eigentlichen Testprozesses.

Benchmark-Ergebnisse für Hostsystem Mac Pro

Das System, auf dem die drei virtuellen Umgebungen (Parallels Desktop für Mac, VMWare Fusion und Sun VirtualBox) gehostet werden, ist eine 2006-Ausgabe von a Mac Pro:

MacPro (2006)

• Zwei Dual-Core-5160-Zeon-Prozessoren (insgesamt 4 Kerne) @ 3,00 GHz
• 4 MB L2-Cache-RAM pro Kern (insgesamt 16 MB)
• 6 GB RAM bestehend aus vier 1 GB Modulen und vier 512 MB Modulen. Alle Module sind gematchte Paare.
• Ein 1,33 GHz Front-Side-Bus
• Eine NVIDIA GeForce 7300 GT Grafikkarte
• Zwei 500-GB-Festplatten der Samsung F1-Serie. OS X und die Virtualisierungssoftware befinden sich auf dem Startlaufwerk; die Gastbetriebssysteme werden auf dem zweiten Laufwerk gespeichert. Jedes Laufwerk hat seinen eigenen unabhängigen SATA 2-Kanal.

Die Ergebnisse der GeekBench- und CineBench-Tests auf dem Host-Mac Pro sollten die praktische Obergrenze der Leistung bieten, die wir in jeder virtuellen Umgebung sehen sollten. Trotzdem möchten wir darauf hinweisen, dass es möglich ist, dass eine virtuelle Umgebung die Leistung des Hosts in jedem einzelnen Test übertrifft. Die virtuelle Umgebung kann möglicherweise auf die zugrunde liegende Hardware zugreifen und einige der Betriebssystemschichten von OS X umgehen. Es ist auch möglich, dass die Benchmark-Testsuiten vom Performance-Caching-System getäuscht werden in die virtuellen Umgebungen integriert und Ergebnisse liefern, die weit über das Potenzial hinausgehen Leistung.

Benchmark-Scores

GeekBench 2.1.4

• GeekBench-Ergebnis: 6830
• Ganzzahl: 6799
• Gleitkomma: 10786
• Speicher: 2349
• Stream: 2057

CineBench R10

• Rendering, Einzel-CPU: 3248
• Rendering, 4 CPU: 10470
• Effektive Geschwindigkeitssteigerung von einzelnen zu allen Prozessoren: 3,22
• Schattierung (OpenGL): 3249

Detaillierte Ergebnisse der Benchmarktests sind in der Virtualization Benchmark Test Gallery verfügbar.

Benchmark-Ergebnisse für Parallels Desktop für Mac 5

Wir haben die neueste Version von Parallels (Parallels Desktop für Mac 5.0) verwendet. Wir haben neue Kopien von Parallels installiert, Windows XP SP3, und Windows 7. Wir haben diese beiden Windows-Betriebssysteme zum Testen ausgewählt, weil wir denken Windows XP die überwiegende Mehrheit der aktuellen Windows-Installationen auf OS X darstellt und dass Windows 7 in Zukunft das am häufigsten auf dem Mac ausgeführte Gastbetriebssystem sein wird.

Vor Testbeginn haben wir alle verfügbaren Updates sowohl für die virtuelle Umgebung als auch für die beiden Windows-Betriebssysteme überprüft und installiert. Nachdem alles auf dem neuesten Stand war, haben wir die virtuellen Windows-Maschinen so konfiguriert, dass sie einen einzigen Prozessor und 1 GB Arbeitsspeicher verwenden. Wir haben Parallels heruntergefahren und Time Machine sowie alle Startobjekte auf dem Mac Pro deaktiviert, die für den Test nicht benötigt werden. Dann starteten wir den Mac Pro neu, starteten Parallels, starteten eine der Windows-Umgebungen und führten die beiden Benchmark-Tests durch. Nachdem die Tests abgeschlossen waren, kopierten wir die Ergebnisse zum späteren Nachschlagen auf den Mac.

Wir haben dann den Neustart und Start von Parallels für die Benchmark-Tests des zweiten Windows-Betriebssystems wiederholt.

Schließlich wiederholten wir die obige Sequenz mit dem Gastbetriebssystem, das auf 2 und dann 4 CPUs eingestellt war.

Benchmark-Scores

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
• Windows 7 (1,2,4 CPU): 2223, 2980, 4560

CineBench R10

• Windows XP SP3
• Rendering (1,2,4 CPU): 2724, 5441, 9644
• Schattierung (OpenGL) (1,2,4 CPU): 1317, 1317, 1320

CineBench R10

• Windows 7
• Rendering (1,2,4 CPU): 2835, 5389, 9508
• Schattierung (OpenGL) (1,2,4 CPU): 1335, 1333, 1375

Parallels Desktop für Mac 5.0 hat alle Benchmark-Tests abgeschlossen. GeekBench sah nur geringfügige Leistungsunterschiede zwischen Windows XP und Windows 7, was wir erwartet hatten. GeekBench konzentriert sich auf das Testen der Prozessor- und Speicherleistung, daher erwarten wir, dass dies ein guter Indikator für die zugrunde liegende Leistung der virtuellen Umgebung und wie gut sie die Hardware des Host-Mac Pro für den Gast verfügbar macht Betriebssysteme.

Der Rendering-Test von CineBench zeigte ebenfalls Konsistenz zwischen den beiden Windows-Betriebssystemen. Dies ist wiederum zu erwarten, da der Rendering-Test die Prozessoren und die Speicherbandbreite aus Sicht der Gastbetriebssysteme stark beansprucht. Der Shading-Test ist ein guter Indikator dafür, wie gut jede virtuelle Umgebung ihren Grafiktreiber implementiert hat. Im Gegensatz zur restlichen Mac-Hardware wird die Grafikkarte den virtuellen Umgebungen nicht direkt zur Verfügung gestellt. Dies liegt daran, dass die Grafikkarte ständig für die Anzeige der Hostumgebung sorgen muss und nicht umgeleitet werden kann, um nur die Gastumgebung anzuzeigen. Dies gilt selbst dann, wenn die virtuelle Umgebung eine Vollbildanzeigeoption bietet.

Detaillierte Ergebnisse der Benchmarktests sind in der Virtualization Benchmark Test Gallery verfügbar.

Benchmark-Ergebnisse für VMWare Fusion 3.0

Wir haben die neueste Version von VMWare Fusion (Fusion 3.0) verwendet. Wir haben neue Kopien von Fusion, Windows XP SP3 und Windows 7 installiert. Wir haben diese beiden Windows-Betriebssysteme zum Testen ausgewählt, da wir der Meinung sind, dass Windows XP die überwiegende Mehrheit der aktuellen Windows-Installationen unter OS X und dass in Zukunft Windows 7 das am häufigsten auf dem Betriebssystem ausgeführte Gastbetriebssystem sein wird Mac.

Vor Beginn der Tests haben wir sowohl für die virtuelle Umgebung als auch für die beiden Windows-Betriebssysteme nach verfügbaren Updates gesucht und diese installiert. Nachdem alles auf dem neuesten Stand war, haben wir die virtuellen Windows-Maschinen so konfiguriert, dass sie einen einzigen Prozessor und 1 GB Arbeitsspeicher verwenden. Wir haben Fusion heruntergefahren und Time Machine sowie alle Startobjekte auf dem Mac Pro deaktiviert, die für den Test nicht benötigt werden. Wir haben dann den Mac Pro neu gestartet, Fusion gestartet, eine der Windows-Umgebungen gestartet und die beiden Benchmark-Tests durchgeführt. Nach Abschluss der Tests haben wir die Ergebnisse zur späteren Verwendung auf den Mac kopiert.

Für die Benchmark-Tests des zweiten Windows-Betriebssystems haben wir dann den Neustart und den Start von Fusion wiederholt.

Schließlich wiederholten wir die obige Sequenz mit dem Gastbetriebssystem, das auf 2 und dann 4 CPUs eingestellt war.

Benchmark-Scores

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
• Windows 7 (1,2,4 CPU): 2388, 3174, 4679

CineBench R10

• Windows XP SP3
• Rendering (1,2,4 CPU): 2825, 5449, 9941
• Schattierung (OpenGL) (1,2,4 CPU): 821, 821, 827

CineBench R10

• Windows 7
• Rendering (1,2,4 CPU): 2843, 5408, 9657
• Schattierung (OpenGL) (1,2,4 CPU): 130, 130, 124

Wir hatten Probleme mit Fusion und den Benchmark-Tests. Im Fall von Windows XP mit einem einzelnen Prozessor meldete GeekBench eine Speicher-Stream-Leistung mit einer Rate von mehr als dem 25-fachen der Rate des Host-Mac Pro. Dieses ungewöhnliche Speicherergebnis erhöhte den GeekBench-Score für die Single-CPU-Version von Windows XP auf 8148. Nachdem wir den Test viele Male wiederholt hatten und ähnliche Ergebnisse erhalten hatten, entschieden wir uns, den Test als ungültig zu markieren und ihn als Interaktionsproblem zwischen dem Benchmark-Test, Fusion und Windows XP zu betrachten. Soweit wir das beurteilen können, hat Fusion für die Einzel-CPU-Konfiguration nicht die richtige Hardwarekonfiguration an die GeekBench-Anwendung gemeldet. GeekBench und Windows XP funktionierten jedoch einwandfrei, wenn zwei oder mehr CPUs ausgewählt waren.

Wir hatten auch ein Problem mit Fusion, Windows 7 und CineBench. Als wir CineBench unter Windows 7 ausgeführt haben, wurde eine generische Grafikkarte als einzige verfügbare Grafikhardware gemeldet. Während die generische Grafikkarte OpenGL ausführen konnte, tat sie dies mit einer miserablen Geschwindigkeit. Dies könnte darauf zurückzuführen sein, dass der Host-Mac Pro eine alte NVIDIA GeForce 7300-Grafikkarte hatte. Die Systemanforderungen von Fusion legen eine modernere Grafikkarte nahe. Interessant fanden wir jedoch, dass der CineBench-Shading-Test unter Windows XP ohne Probleme verlief.

Abgesehen von den beiden oben genannten Macken entsprach die Leistung von Fusion dem, was wir von einer gut gestalteten virtuellen Umgebung erwartet hatten.

Detaillierte Ergebnisse der Benchmarktests sind in der Virtualization Benchmark Test Gallery verfügbar.

Benchmark-Ergebnisse für Sun VirtualBox

Wir haben die neueste Version von Sun VirtualBox (VirtualBox 3.0) verwendet. Wir haben neue Kopien von VirtualBox, Windows XP SP3 und Windows 7 installiert. Wir haben diese beiden Windows-Betriebssysteme zum Testen ausgewählt, da wir der Meinung sind, dass Windows XP die überwiegende Mehrheit der aktuellen Windows-Installationen unter OS X und dass in Zukunft Windows 7 das am häufigsten auf dem Betriebssystem ausgeführte Gastbetriebssystem sein wird Mac.

Vor Beginn der Tests haben wir sowohl für die virtuelle Umgebung als auch für die beiden Windows-Betriebssysteme nach verfügbaren Updates gesucht und diese installiert. Nachdem alles auf dem neuesten Stand war, haben wir die virtuellen Windows-Maschinen so konfiguriert, dass sie einen einzigen Prozessor und 1 GB Arbeitsspeicher verwenden. Wir haben VirtualBox heruntergefahren und Time Machine sowie alle Startobjekte auf dem Mac Pro deaktiviert, die für den Test nicht benötigt werden. Wir haben dann den Mac Pro neu gestartet, VirtualBox gestartet, eine der Windows-Umgebungen gestartet und die beiden Benchmark-Tests durchgeführt. Nach Abschluss der Tests haben wir die Ergebnisse zur späteren Verwendung auf den Mac kopiert.

Für die Benchmark-Tests des zweiten Windows-Betriebssystems haben wir dann den Neustart und den Start von Fusion wiederholt.

Schließlich wiederholten wir die obige Sequenz mit dem Gastbetriebssystem, das auf 2 und dann 4 CPUs eingestellt war.

Benchmark-Scores

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2345, *, *
• Windows 7 (1,2,4 CPU): 2255, 2936, 3926

CineBench R10

• Windows XP SP3
• Rendering (1,2,4 CPU): 7001, *, *
• Schattierung (OpenGL) (1,2,4 CPU): 1025, *, *

CineBench R10

• Windows 7
• Rendering (1,2,4 CPU): 2570, 6863, 13344
• Schattierung (OpenGL) (1,2,4 CPU): 711, 710, 1034

Sun VirtualBox und unsere Bench-Test-Anwendungen stießen auf einen Problem mit Windows XP. Insbesondere konnten sowohl GeekBench als auch CineBench nicht mehr als eine einzelne CPU sehen, unabhängig davon, wie wir das Gastbetriebssystem konfiguriert haben.

Als wir Windows 7 mit GeekBench getestet haben, stellten wir fest, dass die Multiprozessorauslastung unzureichend war, was zu den niedrigsten Werten für 2 und 4 CPU-Konfigurationen führte. Die Einzelprozessorleistung schien mit der anderer virtueller Umgebungen vergleichbar zu sein.

CineBench konnte auch unter Windows XP nicht mehr als einen einzelnen Prozessor sehen. Auch der Rendering-Test für die Single-CPU-Version von Windows XP lieferte eines der schnellsten Ergebnisse und übertraf sogar den Mac Pro selbst. Wir haben den Test einige Male wiederholt; alle Ergebnisse lagen im gleichen Bereich. Wir glauben, dass es sicher ist, die Rendering-Ergebnisse von Windows XP mit einer CPU auf ein Problem mit VirtualBox und der Verwendung von CPUs zurückzuführen.

Wir haben auch einen seltsamen Anstieg bei den Rendering-Ergebnissen für 2 und 4 CPU-Tests mit Windows 7 festgestellt, und in jedem Fall hat sich die Rendering-Geschwindigkeit beim Wechsel von 1 auf 2 mehr als verdoppelt CPUs und 2 bis 4 CPUs. Diese Art von Leistungssteigerung ist unwahrscheinlich, und wir werden sie erneut der Implementierung mehrerer CPUs durch VirtualBox zuschreiben Unterstützung.

Bei all den Problemen mit VirtualBox-Benchmark-Tests können die einzigen gültigen Testergebnisse die für eine einzelne CPU unter Windows 7 sein.

Detaillierte Ergebnisse der Benchmarktests sind in der Virtualization Benchmark Test Gallery verfügbar.

Die Ergebnisse

Nachdem alle Benchmark-Tests abgeschlossen sind, ist es an der Zeit, unsere ursprüngliche Frage erneut zu prüfen.

Halten die drei Hauptakteure der Virtualisierung auf dem Mac (Parallels Desktop für Mac, VMWare Fusion und Sun VirtualBox) das Versprechen einer nahezu natürlichen Leistung ein?

Die Antwort ist eine gemischte Tüte. Keiner der Virtualisierungskandidaten in unseren GeekBench-Tests konnte mit der Leistung des Host-Mac Pro mithalten. Das beste Ergebnis erzielte Fusion, das fast 68,5% der Host-Leistung erreichen konnte. Parallelen lagen mit 66,7% knapp dahinter. Schlusslicht bildete VirtualBox mit 57,4%.

Als wir uns die Ergebnisse von CineBench ansahen, die einen realistischeren Test zum Rendern von Bildern verwenden, lagen sie sehr nahe an der Punktzahl des Hosts. Wieder einmal stand Fusion an der Spitze der Rendering-Tests und erreichte 94,9 % der Host-Leistung. Es folgten Parallelen mit 92,1%. VirtualBox konnte den Rendering-Test nicht zuverlässig abschließen und war damit außer Konkurrenz. In einer Iteration des Rendering-Tests berichtete VirtualBox, dass es 127,4% besser war als der Host, während es in anderen nicht starten oder beenden konnte.

Der Shading-Test, der untersucht, wie gut die Grafikkarte mit OpenGL abschneidet, schneidet unter allen virtuellen Umgebungen am schlechtesten ab. Der beste Performer war Parallels, das 42,3% der Fähigkeiten des Hosts erreichte. VirtualBox war mit 31,5% Zweiter; Fusion kam mit 25,4% an dritter Stelle.

Die Auswahl eines Gesamtsiegers überlassen wir dem Endverbraucher. Jedes Produkt hat seine Vor- und Nachteile, und in vielen Fällen liegen die Benchmark-Zahlen so nah beieinander, dass eine Wiederholung der Tests die Platzierung ändern könnte.

Was die Benchmark-Testergebnisse zeigen, ist, dass die Möglichkeit, die Grafikkarte zu verwenden, die virtuelle Umgebung davon abhält, einen vollständigen Ersatz für einen dedizierten PC zu sein. Allerdings könnte eine modernere Grafikkarte als hier höhere Leistungswerte in der Shading-Test, insbesondere für Fusion, dessen Entwickler am besten leistungsstärkere Grafikkarten empfiehlt Ergebnisse.

Sie werden feststellen, dass einige Testkombinationen (virtuelle Umgebung, Windows-Version und Benchmark-Test) Probleme zeigten, entweder unrealistische Ergebnisse oder das Versäumnis, einen Test abzuschließen. Diese Arten von Ergebnissen sollten nicht als Indikatoren für Probleme mit einer virtuellen Umgebung verwendet werden. Benchmark-Tests sind ungewöhnliche Anwendungen, die in einer virtuellen Umgebung ausgeführt werden sollen. Sie wurden entwickelt, um die Leistung physischer Geräte zu messen, auf die die virtuelle Umgebung möglicherweise keinen Zugriff gewährt. Dies ist kein Fehler der virtuellen Umgebung, und im realen Einsatz haben wir keine Probleme mit der überwiegenden Mehrheit der Windows-Anwendungen, die unter einem virtuellen System ausgeführt werden.

Alle von uns getesteten virtuellen Umgebungen (Parallels Desktop für Mac 5.0, VMWare Fusion 3.0 und Sun VirtualBox 3.0) bieten hervorragende Leistung und Stabilität im täglichen Gebrauch und sollte in der Lage sein, im Alltag für die meisten als Ihre primäre Windows-Umgebung zu dienen Anwendungen.