Microsoft подчертава как обучава малки езикови модели
Какво трябва да знаете
- Microsoft наскоро публикува нова публикация в блога, в която подчертава усилията си да научи малки езикови модели как да разсъждават.
- Той разкри Orca 2, малък езиков модел, демонстриращ силни способности за разсъждение чрез имитиране на следи от разсъждения стъпка по стъпка на по-способни LLMs като ChatGPT и Bing Chat.
- Според бенчмаркове, Orca 2 предлага усъвършенствани възможности за производителност в сравнение с други LLMS, когато е подложен на тест за справяне със сложни задачи.
- Microsoft възнамерява да обучава по-малки езикови модели с помощта на LLMs, като в крайна сметка разширява техните възможности.
Няма съмнение, че Microsoft е заложила на всичко генеративен AI, особено след направата на a многомилиардна инвестиция в технологиите, разширявайки допълнително партньорството си с OpenAI.
Говорейки за OpenAI, бяхме свидетели на това, което повечето биха могли да нарекат промяна на парадигмата, засягаща висшето ръководство на технологичната фирма. Бордът на директорите на OpenAI лиши Сам Алтман от поста му
Тъй като всичко това се развива, Microsoft публикува нова публикация в блога, подчертаваща усилията си към обучение на малки езикови модели как да разсъждаваме. Преди няколко месеца компанията дебютира, Orca. „Езиков модел от 13 милиарда, който демонстрира силни способности за разсъждение чрез имитиране на следи от разсъждения стъпка по стъпка на по-способни LLMs.“
И сега, той представи Orca 2 (който се предлага в два размера - 7 милиарда и 13 милиарда параметри) като част от усилията си да се докосне до възможностите на по-малките LM. Според Microsoft Orca 2 предлага „подобрени сигнали и методи за обучение, които могат да дадат възможност на по-малките езикови модели да постигнете подобрени способности за разсъждение." Това е значителен подвиг, като се има предвид, че тези способности често се срещат в по-големи езикови модели, включително ChatGPT и Чат в Bing.
Трябва да се признае, че и двата чатбота са изправени пред множество неуспехи през тази година, като няколко потребители цитират това ChatGPT става все по-тъп на фона на твърденията, че OpenAI е на ръба на фалита. От друга страна, доклад цитира това Потребителската база на Bing е в застой в продължение на три последователни месеца,въпреки огромните инвестиции на Microsoft в технологиите.
Освен това Microsoft цитира, че Orca 2 е много по-напред от други подобни модели, дори от оригиналния модел Orca. Нещо повече, компанията посочи, че предлага напреднали нива на производителност в сравнение с други по-големи модели при справяне със сложни задачи, които тестват „усъвършенствани способности за разсъждение при нулев изстрел настройки."
Граничните езикови модели като GPT-4, PaLm и други демонстрираха забележителна способност за разсъждение, за например отговаряне на сложни въпроси, генериране на обяснения и дори решаване на проблеми, които изискват няколко стъпки обосновавам се; способности, които някога са били считани извън обсега на AI. Традиционно такива способности не са наблюдавани в по-малки езикови модели, така че предизвикателството е как да използваме нашите нарастващи знания за големите езикови модели, за да увеличим способностите на тези по-малки модели.
Microsoft
Екипът за напреднал AI на Microsoft е в курса
Сред на OpenAI фиаско през уикенда, главният изпълнителен директор на Microsoft, Сатя Надела, обяви, че Сам Алтман ще се присъедини към компанията като ръководител на екипа Advanced AI. Работа, която отговаря на неговите възможности и набор от умения.
След неприятната новина за Алтман, повече от 500 служители на OpenAI написаха писмо до борда на директорите с искане за възстановяването му, цитирайки, че решението подкопава тяхната визия. Служителите посочиха, че ще напуснат компанията, ако исканията им не бъдат изпълнени, цитирайки още, че „няма OpenAI без неговите хора“.
Според източници, запознати със ситуацията, Microsoft е готова да приеме всички служители на OpenAI в подразделението за изкуствен интелект ако решат да изпълнят обещанието си и да напуснат компанията.
Microsoft вероятно ще използва екипа на OpenAI, за да постигне повече с Orca 2. Следователно, това ще позволи на компанията да използва LLM за обучение на по-малки езикови модели, като в крайна сметка разширява възможностите на по-малките езикови модели.
Смятате ли, че Microsoft е на път със своите начинания Orca 2? Споделете вашите мисли с нас в коментарите.