Microsoft destaca como treina pequenos modelos de linguagem

O que você precisa saber

• A Microsoft publicou recentemente uma nova postagem no blog destacando seus esforços para ensinar modelos de linguagem pequena como raciocinar.
• Ela revelou o Orca 2, um modelo de linguagem pequena que demonstra fortes habilidades de raciocínio, imitando os traços de raciocínio passo a passo de LLMs mais capazes, como ChatGPT e Bing Chat.
• De acordo com benchmarks, o Orca 2 apresenta capacidades de desempenho avançadas em comparação com outros LLMS quando colocado à prova para lidar com tarefas complexas.
• A Microsoft pretende treinar modelos de linguagem menores usando LLMs, expandindo, em última análise, suas capacidades.

---

Não há dúvida de que a Microsoft apostou todas as suas apostas IA generativa, especialmente depois de fazer um investimento multibilionário na tecnologia, ampliando ainda mais sua parceria com OpenAI.

Falando de OpenAI, testemunhamos o que muitos podem chamar de mudança de paradigma que afeta a alta administração da empresa de tecnologia. O conselho de administração da OpenAI destituiu Sam Altman de seu cargo

, citando falta de confiança em suas habilidades de liderança. Pouco depois, Altman recebeu uma oferta de emprego na Microsoft liderando a equipe de IA avançada, ao lado de Greg Brockman (ex-cofundador da OpenAI que renunciou logo após a demissão de Altman).

À medida que tudo isso acontece, a Microsoft publicou uma nova postagem no blog destacando seus esforços para ensinando modelos de linguagem pequena como raciocinar. Há alguns meses, estreou a empresa Orca. "Um modelo de linguagem de 13 bilhões que demonstrou fortes habilidades de raciocínio, imitando os traços de raciocínio passo a passo de LLMs mais capazes."

E agora, revelou o Orca 2 (que vem em dois tamanhos - 7 mil milhões e 13 mil milhões de parâmetros) como parte dos seus esforços para explorar a capacidades de LMs menores. De acordo com a Microsoft, o Orca 2 ostenta “sinais e métodos de treinamento aprimorados podem capacitar modelos de linguagem menores para alcançar habilidades de raciocínio aprimoradas." Este é um feito significativo, considerando que essas capacidades são frequentemente encontradas em modelos de linguagem maiores, Incluindo Bate-papoGPT e Bate-papo do Bing.

É certo que ambos os chatbots enfrentaram vários contratempos ao longo deste ano, com vários utilizadores citando que ChatGPT está ficando mais burro em meio a alegações de que OpenAI está à beira da falência. Por outro lado, um relatório citou que A base de usuários do Bing estagnou por três meses consecutivos,apesar do forte investimento da Microsoft em tecnologia.

A Microsoft cita ainda que o Orca 2 está muito à frente de outros modelos semelhantes, até mesmo o modelo Orca original. Além do mais, a empresa indicou que apresenta níveis de desempenho avançados em comparação com outros modelos maiores ao lidar com tarefas complexas que testam "habilidades avançadas de raciocínio em tiro zero configurações."

Modelos de linguagem de fronteira como GPT-4, PaLm e outros demonstraram uma notável capacidade de raciocínio, por por exemplo, respondendo a perguntas complexas, gerando explicações e até mesmo resolvendo problemas que exigem várias etapas raciocínio; capacidades que antes eram consideradas fora do alcance da IA. Tradicionalmente, tais habilidades não têm sido observadas em modelos linguísticos menores, então o desafio é como usar nosso crescente conhecimento de grandes modelos de linguagem para aumentar as habilidades desses pequenos modelos.

A equipe de IA avançada da Microsoft está em andamento

Em meio ao OpenAI fiasco no fim de semana, o CEO da Microsoft, Satya Nadella, anunciou que Sam Altman se juntaria à empresa como líder da equipe de IA avançada. Um trabalho que se adapte às suas capacidades e conjunto de habilidades.

Após a infeliz notícia de Altman, mais de 500 funcionários da OpenAI escreveram uma carta ao conselho de administração solicitando sua reintegração, citando que a decisão minou sua visão. Os funcionários indicaram que deixariam a empresa se suas demandas não fossem atendidas, citando ainda que “não há OpenAI sem seu pessoal”.

Segundo fontes familiarizadas com a situação, A Microsoft está pronta para absorver todos os funcionários da OpenAI na divisão de IA caso decidam cumprir sua promessa e deixar a empresa.

É provável que a Microsoft aproveite a equipe da OpenAI para conseguir mais com o Orca 2. Consequentemente, isso permitirá que a empresa use LLMs para treinar modelos de linguagem menores, expandindo, em última análise, as capacidades de modelos de linguagem menores.

Você acha que a Microsoft está no caminho certo com seus empreendimentos no Orca 2? Compartilhe sua opinião conosco nos comentários.