Google Gemini berupaya menempatkan ChatGPT di kaca spion
Apa yang perlu Anda ketahui
- Perlombaan AI memanas ketika Google merilis model AI baru, (misalnya GPT-4 vs GPT-3) untuk mendukung ekosistem AI mereka.
- Tolok ukur Google menunjukkan Gemini mengungguli GPT-4V dalam beberapa metrik kinerja.
- Gemini akan hadir dalam 3 format: Ultra, Pro, dan Nano.
- Pixel 8 Pro akan menjadi Pixel pertama yang mengimplementasikan Gemini melalui Gemini Nano.
- Gemini Pro akan tersedia melalui Gemini API di Google AI Studio pada bulan Desember. tanggal 13.
Dengan yang baru-baru ini pergolakan di OpenAI dengan pemecatan, dan kemudian mempekerjakan kembali Sam Altman, Google pasti mencium bau darah di dalam air karena hanya beberapa minggu kemudian Google mengumumkan model AI baru yang tampaknya lebih bertenaga daripada GPT-4V.
Google mengumumkan Google Gemini sebagai masa depan AI untuk Google dan mulai hari ini akan memberdayakan Bard, dan akan segera hadir di semua produk AI Google. Dengan 3 ukuran model yang berbeda: Ultra, Pro, dan Nano, Gemini 1.0 dibuat agar dapat digunakan di mana-mana sama seperti Google lainnya.
Apa itu Google Gemini?
Google menyebut Gemini sebagai "model paling mumpuni dan umum yang pernah kami buat". Ini adalah model backend yang akan mendukung tumpukan produk AI Google, meskipun keputusan untuk merilis model tersebut ada tiga ukuran.
- Gemini Ultra — Model Google yang terbesar dan paling mumpuni untuk tugas-tugas yang sangat kompleks.
- Gemini Pro — Model terbaik Google untuk melakukan penskalaan pada berbagai tugas.
- Gemini Nano — Model Google yang paling efisien untuk tugas di perangkat.
Beberapa angka kinerja yang digembar-gemborkan oleh Google untuk Gemini cukup mengesankan, namun jika saya telah mempelajari satu hal di bidang teknologi, jangan percaya pada tolok ukur pabrikan. Meskipun demikian, sulit untuk mempertanyakan keefektifan Gemini ketika melihatnya bekerja secara langsung. @rowancheung di X (Twitter) memposting video menunjukkan Gemini beraksi dan hasilnya sungguh luar biasa.
🚨 BREAKING: Google DeepMind baru saja mengungkapkan Gemini- pesaing terbesar ChatGPT. Gemini adalah AI multimodal PERTAMA yang mengungguli pakar manusia di MMLU, dengan skor lebih dari 90%. pic.twitter.com/A7It1hPKGQ6 Desember 2023
Lihat selengkapnya
Bagaimana Kinerja Google Gemini?
Google menggembar-gemborkan Gemini sebagai model AI terbaik di dunia melalui tolok ukur yang dipostingnya. Jika tolok ukur ini mampu bertahan hingga pengujian pihak ketiga, Gemini akan menjadi yang teratas di pasar, setidaknya hingga OpenAI dirilis. ObrolanGPT-5. Aturan utama dalam perekonomian yang terstruktur saat ini adalah ketika perusahaan bersaing untuk mendapatkan produk terbaik, konsumen biasanya menang.
Gemini harus mendorong OpenAI untuk terus mendorong inovasi, tetapi jelas ada banyak kekhawatiran tentang penelitian yang ceroboh tanpa pertimbangan yang tepat untuk keselamatan, bahkan dari sudut pandang keselamatan. CEO seperti Satya Nadella membandingkan AI dengan energi atom.
Gemini Ultra adalah model pertama yang mengungguli pakar manusia dalam MMLU (pemahaman bahasa multitask masif), yang menggunakan a kombinasi 57 mata pelajaran seperti matematika, fisika, sejarah, hukum, kedokteran dan etika untuk menguji pengetahuan dunia dan pemecahan masalah kemampuan.
Google Gemini mengungguli ChatGPT-4V di sebagian besar tolok ukur yang ditunjukkan oleh Google. Terkadang lebih dari 4% poin. Tolok ukur dengan nama yang paling menarik, HellaSwag, adalah tolok ukur yang kinerjanya lebih rendah dari Gemini dibandingkan dengan ChatGPT-4V. Lihatlah daftar lengkap tolok ukurnya.
| Kemampuan | Tolok ukur | Keterangan | Gemini Ultra | GPT-4V |
|---|---|---|---|---|
| Umum | MMLU | Representasi pertanyaan dalam 57 mata pelajaran (termasuk. STEM, humaniora, dan lain-lain) | 90,0% CoT@32* | 86,4% 5 tembakan* (dilaporkan) |
| Pemikiran | Bangku Besar Keras | Beragam tugas menantang yang memerlukan penalaran multi-langkah | 83,6% 3 tembakan | 83,1% 3 tembakan (API), |
| Baris 2 - Sel 0 | MENJATUHKAN | Pemahaman membaca (Skor F1) | 82.4 Bidikan variabel | 80,9 3 tembakan (dilaporkan) |
| Baris 3 - Sel 0 | HellaSwag | Alasan yang masuk akal untuk tugas sehari-hari | 87,8% 10 tembakan* | 95,3% 10 tembakan* (dilaporkan) |
| Matematika | GSM8K | Manipulasi aritmatika dasar (termasuk. Soal matematika Sekolah Dasar) | 94,4% maj1@32 | 92,0% CoT 5 suntikan (dilaporkan) |
| Baris 5 - Sel 0 | MATEMATIKA | Masalah matematika yang menantang (termasuk. aljabar, geometri, prakalkulus, dan lain-lain) | 53,2% 4 tembakan | 52,9% 4 tembakan (API) |
| Kode | Evaluasi Manusia | Pembuatan kode Python | 74,4% 0-shot (IT)* | 67,0% 0-shot* (dilaporkan) |
| Baris 7 - Sel 0 | Kode 2 Alami | Pembuatan kode Python. Kumpulan data baru yang mirip HumanEval, tidak bocor di web | 74,9% 0 tembakan | 73,9% 0-shot (API) |
| Baris 8 - Sel 0 | Baris 8 - Sel 1 | Baris 8 - Sel 2 | Baris 8 - Sel 3 | Baris 8 - Sel 4 |
Meskipun skor ini mengesankan, namun mungkin tidak terlalu berarti bagi rata-rata konsumen. Google yang mendorong Gemini Nano ke Pixel 8 Pro lebih menarik bagi saya karena ini adalah model untuk tugas di perangkat. Banyak produsen yang mulai melakukannya tambahkan kemampuan AI pada perangkat, seperti TensorRT-LLM dari NVIDIA ke perangkat yang mereka buat. Bagi saya, ini adalah prospek yang lebih menarik untuk masa depan AI, di mana kita dapat memiliki asisten pribadi yang sebenarnya di ponsel kita dan menyesuaikan model AI agar dapat bekerja paling baik untuk kebutuhan individu kita.
Salah satu aplikasi terbaik, dan kemungkinan besar, di masa depan untuk AI LLM ini adalah sesuatu yang kita semua impikan sejak Star Trek 80 tahun lebih yang lalu. Penerjemah bahasa universal. ChatGPT sudah bisa berperan sebagai penerjemah, namun membutuhkan waktu proses yang cukup lama untuk menghasilkan terjemahannya. Sekarang ada Model AI yang dapat menerjemahkan akting suara ke bahasa lain, menjaga suara aktor aslinya tetap utuh. Saya penggemar berat anime, drama Jepang, dan Korea, saya ingin dunia di mana saya bisa tekan tombol di TV saya dan dengarkan suara aktor aslinya tetapi dengarkan saja dalam bahasa Inggris waktu sebenarnya. Ketika perusahaan-perusahaan besar ini bersaing untuk saling mengalahkan dalam kemajuan AI, kenyataan ini semakin dekat.