Microsoft evidenzia come addestra piccoli modelli linguistici

Cosa hai bisogno di sapere

• Microsoft ha recentemente pubblicato un nuovo post sul blog in cui evidenzia i suoi sforzi per insegnare a ragionare in piccoli modelli linguistici.
• Ha presentato Orca 2, un piccolo modello linguistico che dimostra forti capacità di ragionamento imitando le tracce di ragionamento passo passo di LLM più capaci come ChatGPT e Bing Chat.
• Secondo i benchmark, Orca 2 offre capacità prestazionali avanzate rispetto ad altri LLMS quando viene messo alla prova per gestire compiti complessi.
• Microsoft intende addestrare modelli linguistici più piccoli utilizzando LLM, ampliando in definitiva le loro capacità.

---

Non c'è dubbio che Microsoft abbia scommesso su tutto IA generativa, soprattutto dopo aver effettuato a investimento multimiliardario nel settore tecnologico, estendendo ulteriormente la sua partnership con OpenAI.

Parlando di OpenAI, abbiamo assistito a quello che molti potrebbero definire un cambiamento di paradigma che ha interessato il top management dell'azienda tecnologica.

Il consiglio di amministrazione di OpenAI ha privato Sam Altman della sua posizione, citando una mancanza di fiducia nelle sue capacità di leadership. Poco dopo, ad Altman è stato offerto un lavoro presso Microsoft alla guida del team Advanced AI, insieme a Greg Brockman (ex co-fondatore di OpenAI che si è dimesso poco dopo la cacciata di Altman).

Mentre tutto ciò si svolge, Microsoft ha pubblicato un nuovo post sul blog evidenziando i suoi sforzi verso insegnare a piccoli modelli linguistici come ragionare. Qualche mese fa ha debuttato l'azienda Orca. "Un modello linguistico da 13 miliardi che ha dimostrato forti capacità di ragionamento imitando le tracce di ragionamento passo passo di LLM più capaci."

E ora ha presentato Orca 2 (disponibile in due dimensioni: 7 miliardi e 13 miliardi di parametri) come parte dei suoi sforzi per attingere al capacità dei LM più piccoli. Secondo Microsoft, Orca 2 mette in mostra "segnali e metodi di allenamento migliorati che possono potenziare modelli linguistici più piccoli ottenere capacità di ragionamento migliorate." Questa è un'impresa significativa considerando che queste capacità si trovano spesso su modelli linguistici più ampi, Compreso ChatGPT E BingChat.

Certo, entrambi i chatbot hanno dovuto affrontare numerose battute d'arresto nel corso di quest'anno, come sottolineato da diversi utenti ChatGPT sta diventando più stupido tra le affermazioni che OpenAI è sull’orlo della bancarotta. D'altra parte, un rapporto lo ha citato La base utenti di Bing è rimasta stagnante per tre mesi consecutivi,nonostante i forti investimenti di Microsoft nella tecnologia.

Microsoft afferma inoltre che Orca 2 è molto più avanti rispetto ad altri modelli simili, persino al modello Orca originale. Inoltre, l'azienda ha indicato che presenta livelli di prestazioni avanzati rispetto ad altri modelli più grandi quando si gestiscono compiti complessi che mettono alla prova "capacità di ragionamento avanzate in modalità zero-shot". impostazioni."

I modelli linguistici di frontiera come GPT-4, PaLm e altri hanno dimostrato una notevole capacità di ragionare esempio, rispondere a domande complesse, generare spiegazioni e persino risolvere problemi che richiedono più passaggi ragionamento; capacità che un tempo erano considerate fuori dalla portata dell’intelligenza artificiale. Tradizionalmente, tali abilità non sono state osservate in modelli linguistici più piccoli, quindi la sfida è questa come utilizzare la nostra crescente conoscenza dei grandi modelli linguistici per aumentare le capacità di questi più piccoli Modelli.

Il team di intelligenza artificiale avanzata di Microsoft è sulla buona strada

In mezzo a OpenAI Dopo un fiasco durante il fine settimana, il CEO di Microsoft, Satya Nadella, ha annunciato che Sam Altman si sarebbe unito all'azienda come capo del team Advanced AI. Un lavoro adatto alle sue capacità e competenze.

In seguito alla sfortunata notizia di Altman, più di 500 membri dello staff di OpenAI hanno scritto una lettera al consiglio di amministrazione chiedendo la sua reintegrazione, affermando che la decisione ha minato la loro visione. I dipendenti hanno indicato che avrebbero lasciato l'azienda se le loro richieste non fossero state soddisfatte, citando inoltre che "non esiste OpenAI senza le sue persone".

Secondo fonti vicine alla situazione, Microsoft è pronta ad assorbire tutti i dipendenti OpenAI nella divisione AI qualora decidessero di mantenere la promessa e di lasciare l'azienda.

È probabile che Microsoft sfrutti il ​​team di OpenAI per ottenere di più con Orca 2. Di conseguenza, ciò consentirà all’azienda di utilizzare i LLM per addestrare modelli linguistici più piccoli, espandendo in definitiva le capacità di modelli linguistici più piccoli.

Pensi che Microsoft sia sulla buona strada con le sue iniziative Orca 2? Condividi i tuoi pensieri con noi nei commenti.