Microsoft fremhæver, hvordan det træner små sprogmodeller

Hvad du behøver at vide

• Microsoft har for nylig offentliggjort et nyt blogindlæg, der fremhæver dets bestræbelser på at lære små sprogmodeller, hvordan man ræsonnerer.
• Det afslørede Orca 2, en lille sprogmodel, der demonstrerer stærke ræsonnementevner ved at efterligne trin-for-trin ræsonnementsporene fra mere dygtige LLM'er som ChatGPT og Bing Chat.
• Ifølge benchmarks har Orca 2 avancerede præstationsegenskaber sammenlignet med andre LLMS, når de bliver sat på prøve for at håndtere komplekse opgaver.
• Microsoft har til hensigt at træne mindre sprogmodeller ved hjælp af LLM'er, og i sidste ende udvide deres muligheder.

---

Der er ingen tvivl om, at Microsoft har sat alle sine væddemål på generativ AI, især efter at have lavet en investering på flere milliarder dollar i teknologien og udvider sit partnerskab med OpenAI yderligere.

Apropos OpenAI, har vi været vidne til, hvad de fleste kunne henvise til som et paradigmeskifte, der påvirker topledelsen i tech-firmaet. OpenAI's bestyrelse fratog Sam Altman hans stilling

, med henvisning til en mangel på tillid til hans lederevner. Kort efter blev Altman tilbudt et job hos Microsoft som leder af Advanced AI-teamet sammen med Greg Brockman (tidligere OpenAI-medstifter, der sagde op kort efter Altmans afsættelse).

Efterhånden som alle disse udfolder sig, har Microsoft udgivet et nyt blogindlæg, der fremhæver sine bestræbelser på at lære små sprogmodeller, hvordan man ræsonnerer. For et par måneder siden debuterede virksomheden, Orca. "En 13-milliarder sprogmodel, der demonstrerede stærke ræsonnementevner ved at efterligne trin-for-trin ræsonnementsporene fra mere dygtige LLM'er."

Og nu har det afsløret Orca 2 (som kommer i to størrelser - 7 milliarder og 13 milliarder parametre) som en del af dets bestræbelser på at udnytte muligheder for mindre LM'er. Ifølge Microsoft kan Orca 2-sports "forbedrede træningssignaler og -metoder give mindre sprogmodeller mulighed for at opnå forbedrede ræsonnementevner." Dette er en betydelig bedrift i betragtning af, at disse evner ofte findes på større sprogmodeller, inklusive ChatGPT og Bing Chat.

Ganske vist har begge chatbots stået over for adskillige tilbageslag i løbet af dette år med flere brugere, der citerer, at ChatGPT bliver dummere midt påstande om det OpenAI er på randen af ​​konkurs. På den anden side citerede en rapport det Bings brugerbase er stagneret i tre måneder i træk,på trods af Microsofts store investering i teknologien.

Microsoft citerer endvidere, at Orca 2 ligger milevidt foran andre lignende modeller, selv den originale Orca-model. Hvad mere er, indikerede virksomheden, at den har avancerede præstationsniveauer sammenlignet med andre større modeller, når de håndterer komplekse opgaver, der tester "avancerede ræsonnementevner i nul-skud indstillinger."

Frontier Language Models såsom GPT-4, PaLm og andre har demonstreret en bemærkelsesværdig evne til at ræsonnere, for for eksempel besvare komplekse spørgsmål, generere forklaringer og endda løse problemer, der kræver flere trin ræsonnement; egenskaber, der engang blev betragtet som uden for AI's rækkevidde. Traditionelt set er sådanne evner ikke blevet observeret i mindre sprogmodeller, så udfordringen er hvordan man bruger vores voksende viden om store sprogmodeller til at øge disse mindres evner modeller.

Microsofts avancerede AI-team er selvfølgelig klar

Midt i OpenAI fiasko i weekenden meddelte Microsofts CEO, Satya Nadella, at Sam Altman ville slutte sig til virksomheden som leder af Advanced AI-teamet. Et job, der passer til hans evner og færdigheder.

Efter den uheldige Altman-nyhed skrev mere end 500 OpenAI-medarbejdere et brev til bestyrelsen, hvor de anmodede om hans genindsættelse, med henvisning til, at beslutningen underminerede deres vision. Medarbejderne angav, at de ville forlade virksomheden, hvis deres krav ikke blev opfyldt, og citerede endvidere, at "der er ingen OpenAI uden dets folk."

Ifølge kilder, der er bekendt med situationen, Microsoft er klar til at absorbere alle OpenAI-medarbejdere i AI-divisionen skulle de beslutte sig for at holde deres løfte og forlade virksomheden.

Microsoft vil sandsynligvis udnytte OpenAIs team til at opnå mere med Orca 2. Følgelig vil dette give virksomheden mulighed for at bruge LLM'er til at træne mindre sprogmodeller, hvilket i sidste ende udvider mulighederne for mindre sprogmodeller.

Tror du, at Microsoft er på sporet med sine Orca 2-satsninger? Del dine tanker med os i kommentarerne.