Introduction au test de référence de la virtualisation

Méthode de test

Nous allons utiliser deux suites de tests de référence différentes, populaires et multiplateformes. Le premier, CineBench 10, effectue un test réel du processeur d'un ordinateur et de la capacité de sa carte graphique à restituer des images. Le premier test utilise le CPU pour restituer une image photoréaliste, en utilisant des calculs gourmands en CPU pour restituer les réflexions, l'occultation ambiante, l'éclairage et l'ombrage de la zone, etc. Le test est effectué avec un seul processeur ou cœur, puis répété en utilisant tous les processeurs et cœurs disponibles. Le résultat produit une note de performance de référence pour l'ordinateur utilisant un seul processeur, une note pour tous les processeurs et cœurs, et une indication de la qualité plusieurs cœurs ou des processeurs sont utilisés.

Le deuxième test CineBench évalue les performances de la carte graphique de l'ordinateur à l'aide d'OpenGL pour restituer une scène 3D pendant qu'une caméra se déplace dans la scène. Ce test détermine la vitesse à laquelle la carte graphique peut fonctionner tout en restituant avec précision la scène.

La deuxième suite de tests est GeekBench 2.1.4, qui teste les performances des nombres entiers et des virgules flottantes du processeur, teste la mémoire à l'aide d'un simple test de performances en lecture/écriture et effectue un test de flux qui mesure la bande passante mémoire soutenue. Les résultats de l'ensemble de tests sont combinés pour produire un seul score GeekBench. Nous allons également détailler les quatre ensembles de tests de base (Performances en nombres entiers, Performances en virgule flottante, Mémoire Performance et Stream Performance), afin que nous puissions voir les forces et les faiblesses de chaque environnement.

GeekBench utilise un système de référence basé sur un PowerMac G5 @1.6 GHz. Les scores GeekBench pour les systèmes de référence sont normalisés à 1000. Tout score supérieur à 1000 indique un ordinateur qui fonctionne mieux que le système de référence.

Étant donné que les résultats des deux suites de référence sont quelque peu abstraits, nous allons commencer par définir un système de référence. Dans ce cas, le système de référence sera le Mac hôte utilisé pour exécuter les trois environnements virtuels (Parallels Desktop pour Mac, Fusion de VMwareet Sun Virtual Box). Nous exécuterons les deux suites de référence sur le système de référence et utiliserons ce chiffre pour comparer les performances des environnements virtuels.

Tous les tests seront effectués après un nouveau démarrage du système hôte et de l'environnement virtuel. L'hôte et les environnements virtuels auront toutes les applications anti-malware et antivirus désactivées. Tous les environnements virtuels seront exécutés dans une fenêtre OS X standard car il s'agit de la méthode la plus couramment utilisée dans les trois environnements. Dans le cas des environnements virtuels, aucune application utilisateur ne sera exécutée autre que les tests de performance. Sur le système hôte, à l'exception de l'environnement virtuel, aucune application utilisateur ne sera exécutée autre qu'un éditeur de texte pour prendre des notes avant et après le test, mais jamais pendant le processus de test réel.

Résultats de référence pour le système hôte Mac Pro

Le système qui hébergera les trois environnements virtuels (Parallels Desktop pour Mac, VMWare Fusion et Sun VirtualBox) est une édition 2006 d'un Mac Pro:

Mac Pro (2006)

• Deux processeurs Dual-core 5160 Zeon (4 cœurs au total) à 3,00 GHz
• 4 Mo par cœur de mémoire cache L2 (16 Mo au total)
• RAM de 6 Go composée de quatre modules de 1 Go et de quatre modules de 512 Mo. Tous les modules sont des paires appariées.
• Un bus frontal 1,33 GHz
• Une carte graphique NVIDIA GeForce 7300 GT
• Deux disques durs Samsung série F1 de 500 Go. OS X et le logiciel de virtualisation résident sur le disque de démarrage; les systèmes d'exploitation invités sont stockés sur le deuxième lecteur. Chaque disque a son propre canal SATA 2 indépendant.

Les résultats des tests GeekBench et CineBench sur l'hôte Mac Pro devraient fournir la limite supérieure pratique de performances que nous devrions voir dans n'importe quel environnement virtuel. Cela étant dit, nous tenons à souligner qu'il est possible qu'un environnement virtuel dépasse les performances de l'hôte lors d'un seul test. L'environnement virtuel peut être en mesure d'accéder au matériel sous-jacent et de contourner certaines des couches du système d'exploitation d'OS X. Il est également possible que les suites de tests de référence soient dupées par le système de mise en cache des performances intégrés aux environnements virtuels et produisent des résultats qui dépassent largement le potentiel performance.

Notes de référence

GeekBench 2.1.4

• Note de GeekBench: 6830
• Entier: 6799
• virgule flottante: 10786
• Mémoire: 2349
• Flux: 2057

CineBench R10

• Rendu, CPU unique: 3248
• Rendu, 4 CPU: 10470
• Accélération effective d'un seul à tous les processeurs: 3,22
• Ombrage (OpenGL): 3249

Les résultats détaillés des tests de référence sont disponibles dans la galerie Virtualization Benchmark Test.

Résultats de référence pour Parallels Desktop pour Mac 5

Nous avons utilisé la dernière version de Parallels (Parallels Desktop pour Mac 5.0). Nous avons installé de nouvelles copies de Parallels, Windows XP SP3, et Windows 7. Nous avons choisi ces deux systèmes d'exploitation Windows pour les tests car nous pensons Windows XP représente la grande majorité des installations Windows actuelles sur OS X et qu'à l'avenir, Windows 7 sera le système d'exploitation invité le plus courant sur Mac.

Avant le début des tests, nous avons vérifié et installé toutes les mises à jour disponibles pour l'environnement virtuel et les deux systèmes d'exploitation Windows. Une fois que tout était à jour, nous avons configuré les machines virtuelles Windows pour utiliser un seul processeur et 1 Go de mémoire. Nous avons fermé Parallels et désactivé Time Machine et tous les éléments de démarrage sur le Mac Pro qui ne sont pas nécessaires pour les tests. Nous avons ensuite redémarré le Mac Pro, lancé Parallels, démarré l'un des environnements Windows et effectué les deux séries de tests de référence. Une fois les tests terminés, nous avons copié les résultats sur le Mac pour référence ultérieure.

Nous avons ensuite répété le redémarrage et le lancement de Parallels pour les tests de référence du deuxième système d'exploitation Windows.

Enfin, nous avons répété la séquence ci-dessus avec le système d'exploitation invité configuré pour utiliser 2 puis 4 processeurs.

Notes de référence

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
• Windows 7 (1,2,4 CPU): 2223, 2980, 4560

CineBench R10

• Windows XP SP3
• Rendu (1,2,4 CPU): 2724, 5441, 9644
• Ombrage (OpenGL) (1,2,4 CPU): 1317, 1317, 1320

CineBench R10

• Windows 7
• Rendu (1,2,4 CPU): 2835, 5389, 9508
• Ombrage (OpenGL) (1,2,4 CPU): 1335, 1333, 1375

Parallels Desktop pour Mac 5.0 a terminé tous les tests de référence. GeekBench n'a constaté que des différences mineures de performances entre Windows XP et Windows 7, ce à quoi nous nous attendions. GeekBench se concentre sur un processeur de test et les performances de la mémoire, nous nous attendons donc à ce qu'il soit un bon indicateur de la performances sous-jacentes de l'environnement virtuel et dans quelle mesure il met le matériel de l'hôte Mac Pro à la disposition de l'invité OS.

Le test de rendu de CineBench a également montré une cohérence entre les deux systèmes d'exploitation Windows. Encore une fois, il fallait s'y attendre puisque le test de rendu fait un usage intensif des processeurs et de la bande passante mémoire comme le voient les OS invités. Le test d'ombrage est un bon indicateur de la façon dont chaque environnement virtuel a implémenté son pilote vidéo. Contrairement au reste du matériel Mac, la carte graphique n'est pas directement disponible pour les environnements virtuels. En effet, la carte graphique doit s'occuper en permanence de l'affichage de l'environnement hôte et ne peut pas être détournée pour afficher uniquement l'environnement invité. Ceci est vrai même si l'environnement virtuel offre une option d'affichage plein écran.

Les résultats détaillés des tests de référence sont disponibles dans la galerie Virtualization Benchmark Test.

Résultats de référence pour VMWare Fusion 3.0

Nous avons utilisé la dernière version de VMWare Fusion (Fusion 3.0). Nous avons installé de nouvelles copies de Fusion, Windows XP SP3 et Windows 7. Nous avons choisi ces deux systèmes d'exploitation Windows pour les tests car nous pensons que Windows XP représente la grande majorité des Les installations de Windows sur OS X et qu'à l'avenir, Windows 7 sera le système d'exploitation invité le plus courant s'exécutant sur le Mac.

Avant le début des tests, nous avons vérifié et installé toutes les mises à jour disponibles pour l'environnement virtuel et les deux systèmes d'exploitation Windows. Une fois que tout était à jour, nous avons configuré les machines virtuelles Windows pour utiliser un seul processeur et 1 Go de mémoire. Nous avons fermé Fusion et désactivé Time Machine et tous les éléments de démarrage sur le Mac Pro qui ne sont pas nécessaires pour les tests. Nous avons ensuite redémarré le Mac Pro, lancé Fusion, démarré l'un des environnements Windows et effectué les deux séries de tests de référence. Une fois les tests terminés, nous avons copié les résultats sur le Mac pour une utilisation ultérieure.

Nous avons ensuite répété le redémarrage et le lancement de Fusion pour les tests de référence du deuxième système d'exploitation Windows.

Enfin, nous avons répété la séquence ci-dessus avec le système d'exploitation invité configuré pour utiliser 2 puis 4 processeurs.

Notes de référence

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
• Windows 7 (1,2,4 CPU): 2388, 3174, 4679

CineBench R10

• Windows XP SP3
• Rendu (1,2,4 CPU): 2825, 5449, 9941
• Ombrage (OpenGL) (1,2,4 CPU): 821, 821, 827

CineBench R10

• Windows 7
• Rendu (1,2,4 CPU): 2843, 5408, 9657
• Ombrage (OpenGL) (1,2,4 CPU): 130, 130, 124

Nous avons rencontré des problèmes avec Fusion et les tests de référence. Dans le cas de Windows XP avec un seul processeur, GeekBench a signalé des performances de flux de mémoire supérieures à 25 fois celles de l'hôte Mac Pro. Ce résultat de mémoire inhabituel a fait passer le score GeekBench pour la version à un seul processeur de Windows XP à 8148. Après avoir répété le test plusieurs fois et obtenu des résultats similaires, nous avons décidé de marquer le test comme non valide et de le considérer comme un problème d'interaction entre le test de référence, Fusion et Windows XP. Pour autant que nous puissions en juger, pour la configuration du processeur unique, Fusion ne signalait pas la configuration matérielle correcte à l'application GeekBench. Cependant, GeekBench et Windows XP ont parfaitement fonctionné avec deux processeurs ou plus sélectionnés.

Nous avons également eu un problème avec Fusion, Windows 7 et CineBench. Lorsque nous avons exécuté CineBench sous Windows 7, il a signalé une carte vidéo générique comme le seul matériel graphique disponible. Alors que la carte graphique générique était capable d'exécuter OpenGL, elle l'a fait à un rythme effroyable. Cela peut être dû au fait que l'hôte Mac Pro avait une ancienne carte graphique NVIDIA GeForce 7300. La configuration système requise pour Fusion suggère une carte graphique plus moderne. Cependant, nous avons trouvé intéressant que sous Windows XP, le test d'ombrage de CineBench se soit déroulé sans aucun problème.

Outre les deux bizarreries mentionnées ci-dessus, les performances de Fusion étaient à la hauteur de ce que nous attendions d'un environnement virtuel bien conçu.

Les résultats détaillés des tests de référence sont disponibles dans la galerie Virtualization Benchmark Test.

Résultats de référence pour Sun VirtualBox

Nous avons utilisé la dernière version de Sun VirtualBox (VirtualBox 3.0). Nous avons installé de nouvelles copies de VirtualBox, Windows XP SP3 et Windows 7. Nous avons choisi ces deux systèmes d'exploitation Windows pour les tests car nous pensons que Windows XP représente la grande majorité des Les installations de Windows sur OS X et qu'à l'avenir, Windows 7 sera le système d'exploitation invité le plus courant s'exécutant sur le Mac.

Avant le début des tests, nous avons vérifié et installé toutes les mises à jour disponibles pour l'environnement virtuel et les deux systèmes d'exploitation Windows. Une fois que tout était à jour, nous avons configuré les machines virtuelles Windows pour utiliser un seul processeur et 1 Go de mémoire. Nous avons fermé VirtualBox et désactivé Time Machine et tous les éléments de démarrage sur le Mac Pro qui ne sont pas nécessaires pour les tests. Nous avons ensuite redémarré le Mac Pro, lancé VirtualBox, démarré l'un des environnements Windows et effectué les deux séries de tests de référence. Une fois les tests terminés, nous avons copié les résultats sur le Mac pour une utilisation ultérieure.

Nous avons ensuite répété le redémarrage et le lancement de Fusion pour les tests de référence du deuxième système d'exploitation Windows.

Enfin, nous avons répété la séquence ci-dessus avec le système d'exploitation invité configuré pour utiliser 2 puis 4 processeurs.

Notes de référence

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2345, *, *
• Windows 7 (1,2,4 CPU): 2255, 2936, 3926

CineBench R10

• Windows XP SP3
• Rendu (1,2,4 CPU): 7001, *, *
• Ombrage (OpenGL) (1,2,4 CPU): 1025, *, *

CineBench R10

• Windows 7
• Rendu (1,2,4 CPU): 2570, 6863, 13344
• Ombrage (OpenGL) (1,2,4 CPU): 711, 710, 1034

Sun VirtualBox et nos applications de test au banc se sont heurtées à un problème avec Windows XP. Plus précisément, GeekBench et CineBench n'ont pas pu voir plus d'un seul processeur, quelle que soit la façon dont nous avons configuré le système d'exploitation invité.

Lorsque nous avons testé Windows 7 avec GeekBench, nous avons remarqué que l'utilisation du multiprocesseur était inadéquate, entraînant les scores les plus bas pour les configurations de processeur 2 et 4. Les performances d'un seul processeur semblaient être comparables à celles des autres environnements virtuels.

CineBench était également incapable de voir plus d'un seul processeur lors de l'exécution de Windows XP. De plus, le test de rendu pour la version monoprocesseur de Windows XP a produit l'un des résultats les plus rapides, dépassant même le Mac Pro lui-même. Nous avons essayé de relancer le test plusieurs fois; tous les résultats étaient dans la même fourchette. Nous pensons qu'il est prudent d'attribuer les résultats de rendu à un seul processeur de Windows XP à un problème avec VirtualBox et à la manière dont il utilise les processeurs.

Nous avons également constaté une étrange augmentation des résultats de rendu pour les tests de processeur 2 et 4 avec Windows 7 et dans chaque cas, la vitesse de rendu a plus que doublé lors du passage de 1 à 2. CPU et de 2 à 4 CPU. Ce type d'augmentation des performances est peu probable, et encore une fois, nous le attribuerons à la mise en œuvre de plusieurs processeurs par VirtualBox. Support.

Avec tous les problèmes avec les tests de référence de VirtualBox, les seuls résultats de test valides peuvent être ceux d'un seul processeur sous Windows 7.

Les résultats détaillés des tests de référence sont disponibles dans la galerie Virtualization Benchmark Test.

Les résultats

Avec tous les tests de référence effectués, il est temps de revoir notre question initiale.

Les trois principaux acteurs de la virtualisation sur Mac (Parallels Desktop pour Mac, VMWare Fusion et Sun VirtualBox) tiennent-ils la promesse de performances quasi naturelles?

La réponse est un sac mélangé. Aucun des candidats à la virtualisation de nos tests GeekBench n'a pu mesurer les performances de l'hôte Mac Pro. Le meilleur résultat a été enregistré par Fusion, qui a pu atteindre près de 68,5% des performances de l'hôte. Les parallèles suivaient de près à 66,7%. Fermant la marche était VirtualBox, à 57,4%.

Lorsque nous avons examiné les résultats de CineBench, qui utilise un test plus réel pour le rendu des images, ils étaient très proches du score de l'hôte. Une fois de plus, Fusion était en tête des tests de rendu, atteignant 94,9% des performances de l'hôte. Les parallèles ont suivi à 92,1 %. VirtualBox n'a pas pu terminer le test de rendu de manière fiable, ce qui l'a mis hors de cause. Dans une itération du test de rendu, VirtualBox a signalé qu'il fonctionnait 127,4% mieux que l'hôte, tandis que dans d'autres, il était incapable de démarrer ou de terminer.

Le test d'ombrage, qui examine les performances de la carte graphique à l'aide d'OpenGL, a obtenu le pire résultat parmi tous les environnements virtuels. Le plus performant était Parallels, qui a atteint 42,3% des capacités de l'hôte. VirtualBox était deuxième à 31,5%; Fusion arrive en troisième position avec 25,4 %.

Choisir un gagnant global est quelque chose que nous laisserons à l'utilisateur final. Chaque produit a ses avantages et ses inconvénients, et dans de nombreux cas, les chiffres de référence sont si proches que la répétition des tests pourrait changer le classement.

Ce que montrent les résultats des tests de référence, c'est qu'universellement, la possibilité d'utiliser la carte graphique est ce qui empêche l'environnement virtuel de remplacer complètement un PC dédié. Cela étant dit, une carte graphique plus moderne que celle que nous avons ici pourrait produire des performances plus élevées dans le test d'ombrage, en particulier pour Fusion, dont le développeur suggère des cartes graphiques plus performantes pour une meilleure résultats.

Vous remarquerez que certaines combinaisons de tests (environnement virtuel, version de Windows et test de référence) ont affiché des problèmes, soit des résultats irréalistes, soit un échec à terminer un test. Ces types de résultats ne doivent pas être utilisés comme indicateurs de problèmes avec un environnement virtuel. Les tests de référence sont des applications inhabituelles à essayer de s'exécuter dans un environnement virtuel. Ils sont conçus pour mesurer les performances des périphériques physiques, auxquels l'environnement virtuel peut ne pas leur permettre d'accéder. Il ne s'agit pas d'un échec de l'environnement virtuel, et dans le monde réel, nous n'avons pas rencontré de problèmes avec la grande majorité des applications Windows exécutées sous un système virtuel.

Tous les environnements virtuels que nous avons testés (Parallels Desktop pour Mac 5.0, VMWare Fusion 3.0 et Sun VirtualBox 3.0) offrent une excellente performances et stabilité dans une utilisation quotidienne et devrait pouvoir servir d'environnement Windows principal pour la plupart des jours applications.