Microsoft uzsver, kā tā apmāca mazus valodu modeļus

Kas jums jāzina

• Microsoft nesen publicēja jaunu emuāra ziņu, kurā uzsvērti tās centieni mācīt mazos valodu modeļus saprātīgi.
• Tas atklāja Orca 2 — nelielu valodas modeli, kas demonstrē spēcīgas spriešanas spējas, atdarinot spējīgāku LLM, piemēram, ChatGPT un Bing Chat, pakāpeniskas spriešanas pēdas.
• Saskaņā ar etaloniem Orca 2 nodrošina uzlabotas veiktspējas iespējas salīdzinājumā ar citām LLMS, kad tiek pārbaudīts, lai tiktu galā ar sarežģītiem uzdevumiem.
• Microsoft plāno apmācīt mazākus valodu modeļus, izmantojot LLM, galu galā paplašinot to iespējas.

---

Nav šaubu, ka Microsoft ir izdarījis visas savas likmes ģeneratīvais AI, īpaši pēc a vairāku miljardu dolāru investīcijas tehnoloģiju jomā, vēl vairāk paplašinot savu sadarbību ar OpenAI.

Runājot par OpenAI, mēs esam bijuši liecinieki tam, ko lielākā daļa varētu dēvēt par paradigmas maiņu, kas ietekmē tehnoloģiju uzņēmuma augstāko vadību. OpenAI direktoru padome atņēma Semu Altmanu no amata, norādot uz pārliecības trūkumu savām līdera spējām. Neilgi pēc tam Altmanam tika piedāvāts darbs uzņēmumā Microsoft, kurš vadīja Advanced AI komandu kopā ar Gregu Brokmenu (bijušais OpenAI līdzdibinātājs, kurš atkāpās no amata neilgi pēc Altmana atstādināšanas).

Tā kā tas viss attīstās, Microsoft ir publicējusi jaunu emuāra ziņu, kurā uzsvērti tās centieni mazo valodu modeļu mācīšana, kā spriest. Pirms dažiem mēnešiem uzņēmums debitēja Orca. "13 miljardu valodas modelis, kas demonstrēja spēcīgas spriešanas spējas, atdarinot spējīgāku LLM soli pa solim spriešanas pēdas."

Un tagad tas ir atklājis Orca 2 (kas ir pieejams divos izmēros — 7 miljardi un 13 miljardi parametru), kas ir daļa no saviem centieniem izmantot mazāku LM iespējas. Saskaņā ar Microsoft teikto, Orca 2 sporta "uzlaboti treniņu signāli un metodes var dot iespēju mazākiem valodu modeļiem sasniegt uzlabotas spriešanas spējas." Tas ir nozīmīgs sasniegums, ņemot vērā, ka šīs iespējas bieži ir atrodamas lielākos valodu modeļos, ieskaitot ChatGPT un Bing tērzēšana.

Jāatzīst, ka abi tērzēšanas roboti šī gada laikā ir saskārušies ar daudzām neveiksmēm, un vairāki lietotāji to min ChatGPT kļūst muļķīgāks starp apgalvojumiem, ka OpenAI ir uz bankrota robežas. No otras puses, ziņojumā tas minēts Bing lietotāju bāze ir stagnējusi trīs mēnešus pēc kārtas,neskatoties uz Microsoft lielajiem ieguldījumiem tehnoloģijā.

Microsoft arī norāda, ka Orca 2 ir jūdzes priekšā citiem līdzīgiem modeļiem, pat oriģinālajam Orca modelim. Turklāt uzņēmums norādīja, ka tam ir augstāks veiktspējas līmenis salīdzinājumā ar citiem lielākiem modeļiem, veicot sarežģītus uzdevumus, kas pārbauda "uzlabotās spriešanas spējas nulles šāvienā". iestatījumi."

Pierobežas valodu modeļi, piemēram, GPT-4, PaLm un citi, ir parādījuši ievērojamu spēju pamatot, Piemēram, atbildot uz sarežģītiem jautājumiem, ģenerējot paskaidrojumus un pat tādu problēmu risināšanu, kurām nepieciešamas vairākas darbības argumentācija; iespējas, kas kādreiz tika uzskatītas par AI nepieejamām. Tradicionāli šādas spējas nav novērotas mazākos valodu modeļos, tāpēc izaicinājums ir kā izmantot mūsu pieaugošās zināšanas par lielajiem valodu modeļiem, lai palielinātu šo mazāko valodu iespējas modeļiem.

Microsoft Advanced AI komanda ir protams

Amid the OpenAI Nedēļas nogalē notikušo fiasko Microsoft izpilddirektors Satja Nadella paziņoja, ka Sems Altmens pievienosies uzņēmumam kā Advanced AI komandas vadītājs. Darbs, kas atbilst viņa spējām un prasmēm.

Pēc neveiksmīgajām Altmana ziņām vairāk nekā 500 OpenAI darbinieku nosūtīja vēstuli direktoru padomei, pieprasot viņu atjaunot amatā, norādot, ka lēmums grauj viņu redzējumu. Darbinieki norādīja, ka pametīs uzņēmumu, ja viņu prasības netiks izpildītas, turklāt atsaucoties uz to, ka "nav OpenAI bez tā cilvēkiem".

Saskaņā ar avotiem, kas pārzina situāciju, Microsoft ir gatavs visus OpenAI darbiniekus uzņemt AI nodaļā ja viņi nolems pildīt savu solījumu un pamest uzņēmumu.

Microsoft, visticamāk, izmantos OpenAI komandu, lai ar Orca 2 sasniegtu vairāk. Līdz ar to tas ļaus uzņēmumam izmantot LLM, lai apmācītu mazākus valodu modeļus, galu galā paplašinot mazāko valodu modeļu iespējas.

Vai jūs domājat, ka Microsoft ir uz pareizā ceļa ar saviem Orca 2 pasākumiem? Dalieties savās domās ar mums komentāros.