Microsoft poudarja, kako usposablja majhne jezikovne modele

Kaj morate vedeti

• Microsoft je nedavno objavil novo objavo v spletnem dnevniku, v kateri poudarja svoja prizadevanja za učenje malih jezikovnih modelov, kako sklepati.
• Predstavil je Orca 2, majhen jezikovni model, ki prikazuje močne sposobnosti razmišljanja s posnemanjem sledi razmišljanja po korakih zmogljivejših LLM-jev, kot sta ChatGPT in Bing Chat.
• Glede na merila uspešnosti ima Orca 2 napredne zmožnosti delovanja v primerjavi z drugimi LLMS, ko je na preizkusu obvladovanje zapletenih nalog.
• Microsoft namerava usposobiti manjše jezikovne modele z uporabo LLM, s čimer bi na koncu razširil njihove zmogljivosti.

---

Nobenega dvoma ni, da je Microsoft stavil na vse generativni AI, še posebej po izdelavi a več milijard dolarjev vredna naložba v tehnologiji, s čimer je še razširil svoje partnerstvo z OpenAI.

Ko smo že pri OpenAI, smo bili priča nečemu, kar bi večina lahko imenovala sprememba paradigme, ki vpliva na najvišje vodstvo tehnološkega podjetja. Upravni odbor OpenAI je Sama Altmana odvzel s položaja

, navajajoč pomanjkanje zaupanja v njegove vodstvene sposobnosti. Kmalu zatem so Altmanu ponudili službo pri Microsoftu, kjer je vodil ekipo Advanced AI, skupaj z Gregom Brockmanom (nekdanji soustanovitelj OpenAI, ki je odstopil kmalu po Altmanovi odstavitvi).

Medtem ko se vse to odvija, je Microsoft objavil novo objavo v spletnem dnevniku, v kateri poudarja svoja prizadevanja za poučevanje malih jezikovnih modelov, kako sklepati. Pred nekaj meseci je podjetje debitiralo, Orca. "13-milijardni jezikovni model, ki je pokazal močne sposobnosti razmišljanja s posnemanjem sledi razmišljanja korak za korakom zmogljivejših LLM."

In zdaj je predstavil Orco 2 (ki je na voljo v dveh velikostih – 7 milijard in 13 milijard parametrov) kot del svojih prizadevanj za izkoriščanje zmogljivosti manjših LM. Po mnenju Microsofta lahko Orca 2 športno "izboljšane signale in metode usposabljanja omogoči manjšim jezikovnim modelom, da doseči izboljšane zmožnosti sklepanja." To je pomemben dosežek, če upoštevamo, da te zmožnosti pogosto najdemo v večjih jezikovnih modelih, vključno z ChatGPT in Klepet Bing.

Priznati je treba, da sta se oba chatbota skozi to leto soočila s številnimi neuspehi, kar je navedlo več uporabnikov ChatGPT postaja vse bolj neumen med trditvami, da OpenAI je na robu bankrota. Po drugi strani pa je to navedlo poročilo Bingova baza uporabnikov stagnira tri mesece zapored,kljub velikim Microsoftovim naložbam v tehnologijo.

Microsoft nadalje navaja, da je Orca 2 kilometre pred drugimi podobnimi modeli, celo pred originalnim modelom Orca. Še več, podjetje je navedlo, da ima napredne ravni zmogljivosti v primerjavi z drugimi večje modele pri reševanju zapletenih nalog, ki preizkušajo "napredne sposobnosti sklepanja v ničelnem strelu". nastavitve."

Mejni jezikovni modeli, kot so GPT-4, PaLm in drugi, so pokazali izjemno sposobnost sklepanja, za na primer odgovarjanje na zapletena vprašanja, ustvarjanje razlag in celo reševanje problemov, ki zahtevajo več korakov sklepanje; zmogljivosti, ki so nekoč veljale za nedosegljive AI. Tradicionalno takšnih zmožnosti niso opazili v manjših jezikovnih modelih, zato je izziv kako uporabiti naše naraščajoče znanje o velikih jezikovnih modelih za povečanje sposobnosti teh manjših modeli.

Microsoftova ekipa Advanced AI je na poti

Sredi OpenAI polomu konec tedna je izvršni direktor Microsofta, Satya Nadella, napovedal, da se bo podjetju pridružil Sam Altman kot vodja ekipe Advanced AI. Delo, ki ustreza njegovim zmožnostim in naboru spretnosti.

Po nesrečni novici o Altmanu je več kot 500 uslužbencev OpenAI napisalo pismo upravnemu odboru, v katerem je zahtevalo njegovo ponovno zaposlitev, pri čemer je navedlo, da odločitev spodkopava njihovo vizijo. Zaposleni so navedli, da bodo zapustili podjetje, če njihove zahteve ne bodo izpolnjene, in navedli, da "ni OpenAI brez njegovih ljudi."

Po navedbah virov, seznanjenih s situacijo, Microsoft je pripravljen vključiti vse zaposlene OpenAI v oddelek AI če se odločijo izpolniti svojo obljubo in zapustiti podjetje.

Microsoft bo verjetno izkoristil ekipo OpenAI, da bo z Orca 2 dosegel več. Posledično bo to podjetju omogočilo uporabo LLM-jev za usposabljanje manjših jezikovnih modelov, kar bo na koncu razširilo zmogljivosti manjših jezikovnih modelov.

Ali menite, da je Microsoft na dobri poti s svojimi podvigi Orca 2? Delite svoje misli z nami v komentarjih.