Microsoft evidențiază modul în care antrenează modele lingvistice mici

Ce trebuie sa stii

• Microsoft a publicat recent o nouă postare pe blog în care evidențiază eforturile sale de a preda modelele de limbi mici cum să raționeze.
• Acesta a dezvăluit Orca 2, un model de limbaj mic care demonstrează abilități puternice de raționament prin imitarea urmelor de raționament pas cu pas ale unor LLM-uri mai capabile, cum ar fi ChatGPT și Bing Chat.
• Conform benchmark-urilor, Orca 2 are capacități de performanță avansate în comparație cu alte LLMS atunci când este pus la încercare pentru a gestiona sarcini complexe.
• Microsoft intenționează să antreneze modele lingvistice mai mici folosind LLM-uri, extinzându-și în cele din urmă capacitățile.

---

Nu există nicio îndoială că Microsoft a pariat pe toate IA generativă, mai ales după ce a făcut a investiții de mai multe miliarde de dolari în tehnologie, extinzându-și în continuare parteneriatul cu OpenAI.

Vorbind despre OpenAI, am asistat la ceea ce majoritatea s-ar putea referi la o schimbare de paradigmă care afectează conducerea de vârf a firmei de tehnologie.

Consiliul de administrație al OpenAI l-a deposedat pe Sam Altman de funcția sa, invocând o lipsă de încredere în abilitățile sale de conducere. La scurt timp după, lui Altman i s-a oferit un loc de muncă la Microsoft, în fruntea echipei Advanced AI, alături de Greg Brockman (fost co-fondator al OpenAI, care a demisionat la scurt timp după înlăturarea lui Altman).

Pe măsură ce toate acestea se desfășoară, Microsoft a publicat o nouă postare pe blog care evidențiază eforturile sale în acest sens predarea modelelor lingvistice mici cum să raționeze. Acum câteva luni a debutat compania, Orca. „Un model de limbaj de 13 miliarde care a demonstrat abilități puternice de raționament prin imitarea urmelor de raționament pas cu pas ale unor LLM-uri mai capabile.”

Și acum, a dezvăluit Orca 2 (care vine în două dimensiuni - 7 miliarde și 13 miliarde de parametri) ca parte a eforturilor sale de a profita de capabilitățile LM-urilor mai mici. Potrivit Microsoft, Orca 2 sport „semnale și metode îmbunătățite de antrenament pot da putere modelelor de limbaj mai mici să atinge abilități de raționament îmbunătățite.” Aceasta este o performanță semnificativă, având în vedere că aceste capacități se găsesc adesea pe modele de limbaj mai mari, inclusiv ChatGPT și Bing Chat.

Desigur, ambii chatbot s-au confruntat cu numeroase eșecuri de-a lungul acestui an, mai mulți utilizatori citând acest lucru ChatGPT devine din ce în ce mai prost pe fondul pretenţiilor că OpenAI este în pragul falimentului. Pe de altă parte, un raport a menționat că Baza de utilizatori Bing a stagnat timp de trei luni consecutiv,în ciuda investițiilor masive ale Microsoft în tehnologie.

Microsoft menționează în continuare că Orca 2 se află la kilometri înaintea altor modele similare, chiar și a modelului original Orca. În plus, compania a indicat că are niveluri avansate de performanță în comparație cu altele modele mai mari atunci când se manipulează sarcini complexe care testează „abilitățile avansate de raționament în zero-shot setări.”

Modelele de limbaj de frontieră precum GPT-4, PaLm și altele au demonstrat o capacitate remarcabilă de a raționa, pentru de exemplu, să răspundă la întrebări complexe, să genereze explicații și chiar să rezolve probleme care necesită mai mulți pași raţionament; capabilități care au fost considerate cândva dincolo de întinderea inteligenței artificiale. În mod tradițional, astfel de abilități nu au fost observate în modelele de limbaj mai mici, așa că provocarea este cum să folosim cunoștințele noastre tot mai mari despre modelele lingvistice mari pentru a crește abilitățile acestor mai mici modele.

Echipa Microsoft Advanced AI este în curs

În mijlocul OpenAI Fiasco în weekend, CEO-ul Microsoft, Satya Nadella, a anunțat că Sam Altman se va alătura companiei ca lider al echipei Advanced AI. O meserie care se potrivește cu capacitățile și setul de abilități ale acestuia.

În urma veștilor nefericite de la Altman, peste 500 de angajați ai OpenAI au scris o scrisoare către consiliul de administrație prin care solicită reintegrarea lui, invocând că decizia le-a subminat viziunea. Angajații au indicat că ar părăsi compania dacă cerințele lor nu vor fi îndeplinite, invocând în continuare că „nu există OpenAI fără oamenii săi”.

Potrivit unor surse familiare cu situația, Microsoft este gata să absoarbă toți angajații OpenAI în divizia AI ar trebui să decidă să își respecte promisiunea și să părăsească compania.

Este posibil ca Microsoft să folosească echipa OpenAI pentru a obține mai mult cu Orca 2. În consecință, acest lucru va permite companiei să folosească LLM-uri pentru a instrui modele lingvistice mai mici, extinzând în cele din urmă capacitățile modelelor lingvistice mai mici.

Crezi că Microsoft este pe drumul cel bun cu proiectele sale Orca 2? Împărtășiți-vă gândurile cu noi în comentarii.