Pengantar Uji Tolok Ukur Virtualisasi

Metode Pengujian

Kami akan menggunakan dua rangkaian uji benchmark lintas platform yang berbeda dan populer. Yang pertama, CineBench 10, melakukan tes dunia nyata dari CPU komputer, dan kemampuan kartu grafisnya untuk merender gambar. Pengujian pertama menggunakan CPU untuk merender gambar fotorealistik, menggunakan komputasi intensif CPU untuk merender pantulan, okultasi ambien, pencahayaan dan bayangan area, dan banyak lagi. Pengujian dilakukan dengan satu CPU atau inti dan kemudian diulang menggunakan semua CPU dan inti yang tersedia. Hasilnya menghasilkan nilai kinerja referensi untuk komputer yang menggunakan prosesor tunggal, nilai untuk semua CPU dan inti, dan indikasi seberapa baik banyak inti atau CPU yang digunakan.

Tes CineBench kedua mengevaluasi kinerja kartu grafis komputer menggunakan OpenGL untuk merender adegan 3D saat kamera bergerak di dalam adegan. Tes ini menentukan seberapa cepat kinerja kartu grafis sambil tetap merender pemandangan secara akurat.

Rangkaian tes kedua adalah GeekBench 2.1.4, yang menguji kinerja integer dan floating-point prosesor, menguji memori menggunakan uji kinerja baca/tulis sederhana, dan melakukan uji aliran yang mengukur bandwidth memori berkelanjutan. Hasil dari serangkaian tes digabungkan untuk menghasilkan skor GeekBench tunggal. Kami juga akan membagi empat set pengujian dasar (Kinerja Bilangan Bulat, Kinerja Titik Mengambang, Memori Performance, dan Stream Performance), sehingga kita dapat melihat kelebihan dan kekurangan masing-masing virtual lingkungan.

GeekBench menggunakan sistem referensi berdasarkan PowerMac G5 @1,6 GHz. Skor GeekBench untuk sistem referensi dinormalisasi menjadi 1000. Skor apa pun yang lebih tinggi dari 1000 menunjukkan komputer yang berkinerja lebih baik daripada sistem referensi.

Karena hasil dari kedua rangkaian benchmark agak abstrak, kita akan mulai dengan mendefinisikan sistem referensi. Dalam hal ini, sistem referensi akan menjadi host Mac yang digunakan untuk menjalankan tiga lingkungan virtual (Desktop Paralel untuk Mac, VMWare Fusion, dan Kotak Virtual Matahari). Kami akan menjalankan kedua rangkaian benchmark pada sistem referensi dan menggunakan angka itu untuk membandingkan seberapa baik kinerja lingkungan virtual.

Semua pengujian akan dilakukan setelah startup baru dari sistem host dan lingkungan virtual. Baik host dan lingkungan virtual akan menonaktifkan semua aplikasi anti-malware dan antivirus. Semua lingkungan virtual akan dijalankan dalam jendela OS X standar karena ini adalah metode yang paling umum digunakan di ketiga lingkungan. Dalam kasus lingkungan virtual, tidak ada aplikasi pengguna yang akan berjalan selain benchmark. Pada sistem host, kecuali lingkungan virtual, tidak ada aplikasi pengguna yang akan berjalan selain editor teks untuk membuat catatan sebelum dan sesudah pengujian, tetapi tidak pernah selama proses pengujian yang sebenarnya.

Hasil Tolok Ukur untuk Sistem Host Mac Pro

Sistem yang akan menampung tiga lingkungan virtual (Parallels Desktop untuk Mac, VMWare Fusion, dan Sun VirtualBox) adalah edisi 2006 dari Mac Pro:

Mac Pro (2006)

• Dua prosesor Dual-core 5160 Zeon (total 4 core) @ 3,00 GHz
• 4 MB per inti L2 cache RAM (total 16 MB)
• RAM 6 GB terdiri dari empat modul 1 GB dan empat modul 512 MB. Semua modul adalah pasangan yang cocok.
• Bus sisi depan 1,33 GHz
• Kartu grafis NVIDIA GeForce 7300 GT
• Dua hard drive Samsung F1 Series 500 GB. OS X dan perangkat lunak virtualisasi ada di drive startup; OS tamu disimpan di drive kedua. Setiap drive memiliki saluran SATA 2 independennya sendiri.

Hasil tes GeekBench dan CineBench pada host Mac Pro harus memberikan batas atas praktis kinerja yang harus kita lihat dari lingkungan virtual mana pun. Karena itu, kami ingin menunjukkan bahwa mungkin saja lingkungan virtual melebihi kinerja host dalam pengujian tunggal apa pun. Lingkungan virtual mungkin dapat mengakses perangkat keras yang mendasarinya dan melewati beberapa lapisan OS OS X. Mungkin juga suite uji benchmark tertipu oleh sistem caching kinerja dibangun ke dalam lingkungan virtual, dan menghasilkan hasil yang sangat di luar potensi pertunjukan.

Skor Tolok Ukur

GeekBench 2.1.4

• Skor GeekBench: 6830
• Bilangan bulat: 6799
• Titik Mengambang: 10786
• Memori: 2349
• Aliran: 2057

CineBench R10

• Render, CPU Tunggal: 3248
• Rendering, 4 CPU: 10470
• Kecepatan efektif dari satu ke semua prosesor: 3,22
• Bayangan (OpenGL): 3249

Hasil mendetail dari tes benchmark tersedia di galeri Virtualization Benchmark Test.

Hasil Tolok Ukur untuk Parallels Desktop untuk Mac 5

Kami menggunakan Parallels versi terbaru (Parallels Desktop untuk Mac 5.0). Kami memasang salinan baru Parallels, Windows XP SP3, dan Windows 7. Kami memilih dua OS Windows ini untuk pengujian karena menurut kami Windows XP mewakili sebagian besar instalasi Windows saat ini di OS X dan bahwa di masa depan, Windows 7 akan menjadi OS tamu paling umum yang berjalan di Mac.

Sebelum pengujian dimulai, kami memeriksa dan menginstal semua pembaruan yang tersedia untuk lingkungan virtual dan dua sistem operasi Windows. Setelah semuanya diperbarui, kami mengonfigurasi mesin virtual Windows untuk menggunakan prosesor tunggal dan memori 1 GB. Kami mematikan Parallels, dan menonaktifkan Time Machine dan item startup apa pun di Mac Pro yang tidak diperlukan untuk pengujian. Kami kemudian memulai ulang Mac Pro, meluncurkan Parallels, memulai salah satu lingkungan Windows, dan melakukan dua set tes benchmark. Setelah tes selesai, kami menyalin hasilnya ke Mac untuk referensi nanti.

Kami kemudian mengulangi restart dan peluncuran Parallels untuk tes benchmark dari OS Windows kedua.

Akhirnya, kami mengulangi urutan di atas dengan OS tamu diatur untuk menggunakan 2 dan kemudian 4 CPU.

Skor Tolok Ukur

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2185, 3072, 4377
• Windows 7 (1,2,4 CPU): 2223, 2980, 4560

CineBench R10

• Windows XP SP3
• Rendering (1,2,4 CPU): 2724, 5441, 9644
• Bayangan (OpenGL) (1,2,4 CPU): 1317, 1317, 1320

CineBench R10

• Windows 7
• Rendering (1,2,4 CPU): 2835, 5389, 9508
• Bayangan (OpenGL) (1,2,4 CPU): 1335, 1333, 1375

Parallels Desktop untuk Mac 5.0 menyelesaikan semua tes benchmark. GeekBench hanya melihat perbedaan kecil dalam kinerja antara Windows XP dan Windows 7, yang kami harapkan. GeekBench berkonsentrasi pada prosesor pengujian dan kinerja memori, jadi kami berharap ini menjadi indikator yang baik dari kinerja yang mendasari lingkungan virtual dan seberapa baik itu membuat perangkat keras host Mac Pro tersedia untuk tamu OS.

Tes rendering CineBench juga menunjukkan konsistensi di kedua OS Windows. Sekali lagi, hal ini diharapkan karena pengujian rendering menggunakan prosesor dan bandwidth memori secara ekstensif seperti yang terlihat oleh OS tamu. Tes bayangan adalah indikator yang baik tentang seberapa baik setiap lingkungan virtual telah mengimplementasikan driver videonya. Tidak seperti perangkat keras Mac lainnya, kartu grafis tidak tersedia langsung ke lingkungan virtual. Ini karena kartu grafis harus terus-menerus menjaga tampilan untuk lingkungan host, dan tidak dapat dialihkan untuk hanya menampilkan lingkungan tamu. Ini benar bahkan jika lingkungan virtual menawarkan opsi tampilan layar penuh.

Hasil mendetail dari tes benchmark tersedia di galeri Virtualization Benchmark Test.

Hasil Tolok Ukur untuk VMWare Fusion 3.0

Kami menggunakan versi terbaru VMWare Fusion (Fusion 3.0). Kami memasang salinan baru Fusion, Windows XP SP3, dan Windows 7. Kami memilih dua OS Windows ini untuk pengujian karena kami pikir Windows XP mewakili sebagian besar saat ini Instalasi Windows pada OS X dan bahwa di masa depan, Windows 7 akan menjadi OS tamu paling umum yang berjalan di Mac.

Sebelum pengujian dimulai, kami memeriksa dan menginstal pembaruan yang tersedia untuk lingkungan virtual dan dua sistem operasi Windows. Setelah semuanya diperbarui, kami mengonfigurasi mesin virtual Windows untuk menggunakan prosesor tunggal dan memori 1 GB. Kami mematikan Fusion, dan menonaktifkan Time Machine dan item startup apa pun di Mac Pro yang tidak diperlukan untuk pengujian. Kami kemudian memulai ulang Mac Pro, meluncurkan Fusion, memulai salah satu lingkungan Windows, dan melakukan dua set tes benchmark. Setelah tes selesai, kami menyalin hasilnya ke Mac untuk digunakan nanti.

Kami kemudian mengulangi restart dan peluncuran Fusion untuk tes benchmark dari OS Windows kedua.

Akhirnya, kami mengulangi urutan di atas dengan OS tamu diatur untuk menggunakan 2 dan kemudian 4 CPU.

Skor Tolok Ukur

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): *, 3252, 4406
• Windows 7 (1,2,4 CPU): 2388, 3174, 4679

CineBench R10

• Windows XP SP3
• Rendering (1,2,4 CPU): 2825, 5449, 9941
• Bayangan (OpenGL) (1,2,4 CPU): 821, 821, 827

CineBench R10

• Windows 7
• Rendering (1,2,4 CPU): 2843, 5408, 9657
• Shading (OpenGL) (1,2,4 CPU): 130, 130, 124

Kami mengalami masalah dengan Fusion dan tes benchmark. Dalam kasus Windows XP dengan prosesor tunggal, GeekBench melaporkan kinerja aliran memori pada tingkat yang lebih baik dari 25 kali tingkat host Mac Pro. Hasil memori yang tidak biasa ini meningkatkan skor GeekBench untuk versi CPU tunggal Windows XP menjadi 8148. Setelah mengulangi pengujian berkali-kali dan mendapatkan hasil yang serupa, kami memutuskan untuk menandai pengujian tersebut sebagai tidak valid dan menganggapnya sebagai masalah interaksi antara uji benchmark, Fusion, dan Windows XP. Sejauh yang kami tahu, untuk konfigurasi CPU tunggal, Fusion tidak melaporkan konfigurasi perangkat keras yang benar ke aplikasi GeekBench. Namun, GeekBench dan Windows XP tampil sempurna dengan dua atau lebih CPU yang dipilih.

Kami juga memiliki masalah dengan Fusion, Windows 7, dan CineBench. Ketika kami menjalankan CineBench di bawah Windows 7, itu melaporkan kartu video generik sebagai satu-satunya perangkat keras grafis yang tersedia. Sementara kartu grafis generik dapat menjalankan OpenGL, ia melakukannya dengan kecepatan yang luar biasa. Ini mungkin hasil dari host Mac Pro yang memiliki kartu grafis NVIDIA GeForce 7300 lama. Persyaratan sistem Fusion menyarankan kartu grafis yang lebih modern. Kami merasa menarik, bagaimanapun, bahwa di bawah Windows XP, tes bayangan CineBench berjalan tanpa masalah.

Selain dua kebiasaan yang disebutkan di atas, kinerja Fusion setara dengan apa yang kami harapkan dari lingkungan virtual yang dirancang dengan baik.

Hasil mendetail dari tes benchmark tersedia di galeri Virtualization Benchmark Test.

Hasil Tolok Ukur Untuk Sun VirtualBox

Kami menggunakan versi terbaru dari Sun VirtualBox (VirtualBox 3.0). Kami menginstal salinan baru VirtualBox, Windows XP SP3, dan Windows 7. Kami memilih dua OS Windows ini untuk pengujian karena kami pikir Windows XP mewakili sebagian besar saat ini Instalasi Windows pada OS X dan bahwa di masa depan, Windows 7 akan menjadi OS tamu paling umum yang berjalan di Mac.

Sebelum pengujian dimulai, kami memeriksa dan menginstal pembaruan yang tersedia untuk lingkungan virtual dan dua sistem operasi Windows. Setelah semuanya diperbarui, kami mengonfigurasi mesin virtual Windows untuk menggunakan prosesor tunggal dan memori 1 GB. Kami mematikan VirtualBox, dan menonaktifkan Time Machine dan item startup apa pun di Mac Pro yang tidak diperlukan untuk pengujian. Kami kemudian me-restart Mac Pro, meluncurkan VirtualBox, memulai salah satu lingkungan Windows, dan melakukan dua set tes benchmark. Setelah tes selesai, kami menyalin hasilnya ke Mac untuk digunakan nanti.

Kami kemudian mengulangi restart dan peluncuran Fusion untuk tes benchmark dari OS Windows kedua.

Akhirnya, kami mengulangi urutan di atas dengan OS tamu diatur untuk menggunakan 2 dan kemudian 4 CPU.

Skor Tolok Ukur

GeekBench 2.1.4

• Windows XP SP3 (1,2,4 CPU): 2345, *, *
• Windows 7 (1,2,4 CPU): 2255, 2936, 3926

CineBench R10

• Windows XP SP3
• Rendering (1,2,4 CPU): 7001, *, *
• Bayangan (OpenGL) (1,2,4 CPU): 1025, *, *

CineBench R10

• Windows 7
• Rendering (1,2,4 CPU): 2570, 6863, 13344
• Shading (OpenGL) (1,2,4 CPU): 711, 710, 1034

Sun VirtualBox dan aplikasi pengujian bangku kami mengalami masalah dengan Windows XP. Secara khusus, GeekBench dan CineBench tidak dapat melihat lebih dari satu CPU, terlepas dari bagaimana kami mengonfigurasi OS tamu.

Ketika kami menguji Windows 7 dengan GeekBench, kami melihat bahwa penggunaan multi-prosesor tidak memadai, menghasilkan skor terendah untuk konfigurasi CPU 2 dan 4. Performa prosesor tunggal tampaknya setara dengan lingkungan virtual lainnya.

CineBench juga tidak dapat melihat lebih dari satu prosesor saat menjalankan Windows XP. Juga, tes rendering untuk versi CPU tunggal Windows XP menghasilkan salah satu hasil tercepat, bahkan melebihi Mac Pro itu sendiri. Kami mencoba menjalankan kembali tes beberapa kali; semua hasil berada dalam kisaran yang sama. Kami pikir aman untuk menambahkan hasil rendering CPU tunggal Windows XP ke masalah dengan VirtualBox dan bagaimana ia menggunakan CPU.

Kami juga melihat tonjolan aneh dalam hasil rendering untuk pengujian CPU 2 dan 4 dengan Windows 7 dan dalam setiap kasus, kecepatan rendering lebih dari dua kali lipat saat beralih dari 1 ke 2 CPU dan dari 2 hingga 4 CPU. Jenis peningkatan kinerja ini tidak mungkin, dan sekali lagi kami akan menghubungkannya dengan implementasi VirtualBox dari beberapa CPU mendukung.

Dengan semua masalah dengan pengujian benchmark VirtualBox, satu-satunya hasil pengujian yang valid mungkin hanya untuk satu CPU di bawah Windows 7.

Hasil mendetail dari tes benchmark tersedia di galeri Virtualization Benchmark Test.

Hasil

Dengan semua tes benchmark selesai, saatnya untuk meninjau kembali pertanyaan awal kami.

Apakah tiga pemain utama dalam virtualisasi di Mac (Parallels Desktop for Mac, VMWare Fusion, dan Sun VirtualBox) memenuhi janji kinerja yang mendekati alami?

Jawabannya adalah tas campuran. Tidak ada kandidat virtualisasi dalam pengujian GeekBench kami yang mampu mengukur hingga kinerja host Mac Pro. Hasil terbaik dicatat oleh Fusion, yang mampu mencapai hampir 68,5% dari kinerja tuan rumah. Paralel berada di belakang di 66,7%. Membawa bagian belakang adalah VirtualBox, di 57,4%.

Saat kami melihat hasil CineBench, yang menggunakan tes yang lebih nyata untuk merender gambar, hasilnya sangat dekat dengan skor host. Sekali lagi, Fusion berada di puncak pengujian rendering, mencapai 94,9% dari kinerja host. Paralel diikuti di 92,1%. VirtualBox tidak dapat menyelesaikan tes rendering dengan andal, membuatnya keluar dari pertikaian. Dalam satu iterasi tes rendering, VirtualBox melaporkan bahwa kinerjanya 127,4% lebih baik daripada host, sementara pada yang lain, ia tidak dapat memulai atau menyelesaikan.

Tes shading, yang melihat seberapa baik kinerja kartu grafis menggunakan OpenGL, bernasib paling buruk di antara semua lingkungan virtual. Penampil terbaik adalah Parallels, yang mencapai 42,3% dari kemampuan tuan rumah. VirtualBox berada di urutan kedua dengan 31,5%; Fusion berada di urutan ketiga dengan 25,4%.

Memilih pemenang keseluruhan adalah sesuatu yang akan kami serahkan kepada pengguna akhir. Setiap produk memiliki kelebihan dan kekurangannya, dan dalam banyak kasus, angka benchmark sangat dekat sehingga mengulang tes dapat mengubah klasemen.

Apa yang ditunjukkan oleh skor tes benchmark adalah bahwa secara universal, kemampuan untuk menggunakan kartu grafis adalah yang menahan lingkungan virtual dari pengganti penuh untuk PC khusus. Meskipun demikian, kartu grafis yang lebih modern daripada yang kami miliki di sini dapat menghasilkan angka kinerja yang lebih tinggi di uji bayangan, terutama untuk Fusion, yang pengembangnya menyarankan kartu grafis berkinerja lebih tinggi untuk yang terbaik hasil.

Anda akan melihat bahwa beberapa kombinasi pengujian (lingkungan virtual, versi Windows, dan uji benchmark) menampilkan masalah, baik hasil yang tidak realistis atau kegagalan untuk menyelesaikan pengujian. Jenis hasil ini tidak boleh digunakan sebagai indikator masalah dengan lingkungan virtual. Tes benchmark adalah aplikasi yang tidak biasa untuk mencoba dijalankan di lingkungan virtual. Mereka dirancang untuk mengukur kinerja perangkat fisik, yang mungkin tidak dapat diakses oleh lingkungan virtual. Ini bukan kegagalan lingkungan virtual, dan dalam penggunaan di dunia nyata, kami tidak mengalami masalah dengan sebagian besar aplikasi Windows yang berjalan di bawah sistem virtual.

Semua lingkungan virtual yang kami uji (Parallels Desktop untuk Mac 5.0, VMWare Fusion 3.0, dan Sun VirtualBox 3.0) memberikan kinerja dan stabilitas dalam penggunaan sehari-hari dan harus dapat berfungsi sebagai lingkungan Windows utama Anda hampir setiap hari aplikasi.