Google Gemini probeert ChatGPT in de achteruitkijkspiegel te plaatsen
Wat je moet weten
- De AI-race laait op nu Google een nieuw AI-model heeft uitgebracht (denk aan GPT-4 versus GPT-3) om hun AI-ecosysteem van stroom te voorzien.
- Uit de benchmarks van Google blijkt dat Gemini op verschillende prestatiestatistieken beter presteert dan GPT-4V.
- Gemini komt in 3 formaten: Ultra, Pro en Nano.
- De Pixel 8 Pro zal de eerste Pixel zijn die Gemini implementeert via Gemini Nano.
- Gemini Pro zal vanaf december beschikbaar zijn via de Gemini API in Google AI Studio. 13e.
Met de recente onrust bij OpenAI met het ontslag en vervolgens het opnieuw aannemen van Sam Altmanmoet Google bloed in het water hebben geroken, want slechts een paar weken later kondigde Google een nieuw AI-model aan dat krachtiger lijkt te zijn dan GPT-4V.
Googlen kondigde Google Gemini aan aangezien de toekomst van AI voor Google vanaf vandaag de drijvende kracht zal zijn achter Bard, en binnenkort ook voor alle AI-producten van Google. Met 3 verschillende formaten van het model: Ultra, Pro en Nano, is Gemini 1.0 gebouwd om alomtegenwoordig te zijn, net als de rest van Google.
Wat is Google Gemini?
Google noemt Gemini 'het meest capabele en algemene model dat we ooit hebben gebouwd'. Het is het backend-model dat zal de stapel AI-producten van Google aandrijven, hoewel de beslissing om het model met drie uit te brengen maten.
- Tweeling Ultra — Het grootste en meest capabele model van Google voor zeer complexe taken.
- Tweeling Pro — Het beste model van Google voor schaalvergroting voor een breed scala aan taken.
- Tweeling Nano — Het meest efficiënte model van Google voor taken op het apparaat.
Sommige prestatiecijfers die door Google worden aangeprezen voor Gemini zijn behoorlijk indrukwekkend, maar als ik één ding heb geleerd op technisch gebied, vertrouw dan niet op de benchmarks van fabrikanten. Dat gezegd hebbende, is het moeilijk om de effectiviteit van Gemini in twijfel te trekken als je het live ziet werken. @rowancheung op X(Twitter) een filmpje geplaatst we laten Gemini in actie zien en de resultaten zijn ronduit opmerkelijk.
🚨 BREAKING: Google DeepMind heeft zojuist de grootste concurrent van Gemini-ChatGPT onthuld. Gemini is de EERSTE multimodale AI die beter presteert dan menselijke experts op de MMLU en scoort meer dan 90%. pic.twitter.com/A7It1hPKGQ6 december 2023
Bekijk meer
Hoe presteert Google Gemini?
Google prijst Gemini aan als het beste AI-model ter wereld via de benchmarks die het heeft gepost. Als deze benchmarks tests door derden doorstaan, zal Gemini de beste hond op de markt zijn, tenminste totdat OpenAI uitkomt ChatGPT-5. De grote regel van de economie zoals die momenteel is gestructureerd, is dat als bedrijven strijden om het beste product, de consument meestal wint.
Gemini zou OpenAI moeten aanzetten om innovatie te blijven stimuleren, maar er zijn uiteraard veel zorgen geweest over roekeloos onderzoek zonder goede veiligheidsoverwegingen, zelfs van CEO's zoals Satya Nadella vergelijken AI met atoomenergie.
Gemini Ultra is het eerste model dat beter presteert dan menselijke experts op het gebied van MMLU (massive multitask Language Understanding), dat gebruik maakt van een combinatie van 57 vakken zoals wiskunde, natuurkunde, geschiedenis, rechten, geneeskunde en ethiek voor het testen van zowel wereldkennis als probleemoplossing capaciteiten.
Googlen
Google Gemini presteerde beter dan ChatGPT-4V in de meeste benchmarks die Google liet zien. Soms met meer dan 4%-punten. De benchmark met de meest interessante naam uit het stel, HellaSwag, was degene waar Gemini ondermaats presteerde vergeleken met ChatGPT-4V. Bekijk de volledige lijst met benchmarks.
| Vermogen | Benchmark | Beschrijving | Tweeling Ultra | GPT-4V |
|---|---|---|---|---|
| Algemeen | MMLU | Vertegenwoordiging van vragen in 57 onderwerpen (incl. STEM, geesteswetenschappen en anderen) | 90,0% COT@32* | 86,4% 5-schots* (gerapporteerd) |
| Redenering | Grote bank hard | Diverse reeks uitdagende taken die redeneren in meerdere stappen vereisen | 83,6% 3-schots | 83,1% 3-schots (API), |
| Rij 2 - Cel 0 | DRUPPEL | Begrijpend lezen (F1-score) | 82,4 Variabele schoten | 80,9 3-schots (gerapporteerd) |
| Rij 3 - Cel 0 | HellaSwag | Gezond verstand redeneren voor alledaagse taken | 87,8% 10-schots* | 95,3% 10-schots* (gerapporteerd) |
| Wiskunde | GSM8K | Basis rekenkundige manipulaties (incl. Wiskundeproblemen op de lagere school) | 94,4% maj1@32 | 92,0% 5-shot CoT (gerapporteerd) |
| Rij 5 - Cel 0 | WISKUNDE | Uitdagende rekenproblemen (incl. algebra, meetkunde, pre-calculus en andere) | 53,2% 4-schots | 52,9% 4-schots (API) |
| Code | MenselijkEval | Genereren van Python-code | 74,4% 0-schots (IT)* | 67,0% 0-shot* (gerapporteerd) |
| Rij 7 - Cel 0 | Natuurlijke2Code | Genereren van Python-code. Nieuwe dataset HumanEval-achtig, niet gelekt op internet | 74,9% 0-schot | 73,9% 0-shot (API) |
| Rij 8 - Cel 0 | Rij 8 - Cel 1 | Rij 8 - Cel 2 | Rij 8 - Cel 3 | Rij 8 - Cel 4 |
Hoewel deze scores indrukwekkend zijn, betekenen ze waarschijnlijk niet zoveel voor de gemiddelde consument. Google pusht Gemini Nano naar Pixel 8 Pro vind ik spannender omdat het een model is voor taken op het apparaat. Veel fabrikanten beginnen dit te doen voeg AI-mogelijkheden op het apparaat toe, zoals NVIDIA's TensorRT-LLM naar de apparaten die ze maken. Voor mij is dit een spannender vooruitzicht voor de toekomst van AI, waar we echte persoonlijke assistenten in onze telefoons kunnen laten inbouwen en ons AI-model kunnen aanpassen om het beste te werken voor onze individuele behoeften.
Een van de beste en waarschijnlijk mogelijke toekomstige toepassingen voor deze LLM AI’s is iets waar we allemaal van hebben gedroomd sinds Star Trek meer dan 80 jaar geleden. Een universele taalvertaler. ChatGPT kan al als vertaler optreden, maar er is een behoorlijk lange verwerkingstijd om de vertalingen te genereren. Er zijn nu AI-modellen die stemacteren in een andere taal kunnen vertalen, waarbij de stem van de oorspronkelijke acteur intact blijft. Ik ben een grote fan van anime, maar ook van Japanse en Koreaanse drama's. Ik zou dol zijn op een wereld waarin ik dat kan druk op een knop op mijn tv en hoor de stem van de originele acteur, maar hoor hem dan gewoon in het Engels echte tijd. Terwijl deze megabedrijven concurreren om elkaar te overtreffen op het gebied van AI, komt deze realiteit steeds dichterbij.