Мицрософт истиче како обучава мале језичке моделе

Оно што треба да знате

• Мицрософт је недавно објавио нови пост на блогу који наглашава своје напоре ка подучавању малих језичких модела како да расуђују.
• Он је представио Орца 2, мали језички модел који демонстрира снажне способности расуђивања имитирајући корак по корак трагове размишљања способнијих ЛЛМ-а као што су ЦхатГПТ и Бинг Цхат.
• Према референтним вредностима, Орца 2 има напредне перформансе у поређењу са другим ЛЛМС-ом када се стави на тест за обављање сложених задатака.
• Мицрософт намерава да обучи мање језичке моделе користећи ЛЛМ, на крају проширујући њихове могућности.

---

Нема сумње да је Мицрософт ставио све своје опкладе на генеративна АИ, посебно након израде а више милијарди долара инвестиција у технологији, додатно проширујући своје партнерство са ОпенАИ.

Говорећи о ОпенАИ, били смо сведоци онога што би већина могла назвати променом парадигме која утиче на највиши менаџмент технолошке фирме. Управни одбор ОпенАИ лишио је Сема Алтмана његове позиције, наводећи недостатак поверења у његове лидерске вештине. Убрзо након тога, Алтману је понуђен посао у Мицрософту који води напредни АИ тим, заједно са Грегом Брокманом (бивши суоснивач ОпенАИ-а који је дао оставку убрзо након Алтмановог смењивања).

Како се све ово одвија, Мицрософт је објавио нови пост на блогу који истиче своје напоре ка томе подучавање малих језичких модела како се расуђује. Пре неколико месеци, компанија је дебитовала, Орца. „Језички модел од 13 милијарди који је показао снажне способности расуђивања имитирајући корак по корак трагове размишљања способнијих ЛЛМ-а.

А сада је представио Орца 2 (који долази у две величине - 7 милијарди и 13 милијарди параметара) као део својих напора да се укључи у могућности мањих ЛМ. Према Мицрософт-у, Орца 2 има „побољшане сигнале и методе тренинга који могу оснажити мање језичке моделе да постићи побољшане способности расуђивања." Ово је значајан подвиг с обзиром на то да се ове способности често налазе на већим језичким моделима, укључујући ЦхатГПТ и Бинг Цхат.

Додуше, оба цхат бота су се суочила са бројним препрекама током ове године, а неколико корисника је то навело ЦхатГПТ постаје све глупљи усред тврдњи да ОпенАИ је на ивици банкрота. С друге стране, извештај је то цитирао База корисника Бинга стагнира три месеца узастопно,упркос Мицрософтовим огромним улагањима у технологију.

Мицрософт даље наводи да је Орца 2 километрима испред других сличних модела, чак и оригиналног Орца модела. Штавише, компанија је навела да има напредне нивое перформанси у поређењу са осталима веће моделе при руковању сложеним задацима који тестирају „напредне способности расуђивања у нултом тренутку подешавања."

Фронтиер језички модели као што су ГПТ-4, ПаЛм и други су показали изузетну способност расуђивања, за на пример, одговарање на сложена питања, генерисање објашњења, па чак и решавање проблема који захтевају више корака расуђивање; способности за које се некада сматрало да су ван домашаја вештачке интелигенције. Традиционално, такве способности нису примећене у мањим језичким моделима, па је изазов како да искористимо наше растуће знање о великим језичким моделима да повећамо способности ових мањих модели.

Мицрософтов напредни АИ тим је наравно

Усред ОпенАИ фијаско током викенда, извршни директор Мајкрософта, Сатја Надела, најавио је да ће се Сем Алтман придружити компанији као вођа напредног АИ тима. Посао који одговара његовим могућностима и скупу вештина.

Након несрећне вести о Алтману, више од 500 запослених у ОпенАИ-у написало је писмо управном одбору тражећи његово враћање на посао, наводећи да је та одлука подрила њихову визију. Запослени су навели да ће напустити компанију ако њихови захтеви не буду испуњени, наводећи да „нема ОпенАИ без својих људи“.

Према изворима упућеним у ситуацију, Мицрософт је спреман да све запослене ОпенАИ апсорбује у одељење вештачке интелигенције ако одлуче да испуне своје обећање и напусте компанију.

Мицрософт ће вероватно искористити ОпенАИ тим да постигне више са Орца 2. Сходно томе, ово ће омогућити компанији да користи ЛЛМ за обуку мањих језичких модела, на крају проширујући могућности мањих језичких модела.

Мислите ли да је Мицрософт на правом путу са својим Орца 2 подухватима? Поделите своје мисли са нама у коментарима.