Microsoft menyoroti cara mereka melatih model bahasa kecil

Apa yang perlu Anda ketahui

• Microsoft baru-baru ini menerbitkan postingan blog baru yang menyoroti upayanya dalam mengajarkan model bahasa kecil bagaimana bernalar.
• Ini meluncurkan Orca 2, model bahasa kecil yang menunjukkan kemampuan penalaran yang kuat dengan meniru jejak penalaran langkah demi langkah dari LLM yang lebih mampu seperti ChatGPT dan Bing Chat.
• Berdasarkan tolok ukur, Orca 2 memiliki kemampuan kinerja yang lebih maju dibandingkan dengan LLMS lainnya ketika diuji untuk menangani tugas-tugas kompleks.
• Microsoft bermaksud untuk melatih model bahasa yang lebih kecil menggunakan LLM, yang pada akhirnya memperluas kemampuannya.

---

Tidak ada keraguan bahwa Microsoft telah mempertaruhkan segalanya AI generatif, terutama setelah membuat a investasi multi-miliar dolar di bidang teknologi, semakin memperluas kemitraannya dengan OpenAI.

Berbicara tentang OpenAI, kita telah menyaksikan apa yang oleh sebagian besar orang disebut sebagai perubahan paradigma yang memengaruhi manajemen puncak perusahaan teknologi.

Dewan direksi OpenAI mencopot Sam Altman dari posisinya, dengan alasan kurangnya kepercayaan pada keterampilan kepemimpinannya. Tak lama setelah itu, Altman ditawari pekerjaan di Microsoft memimpin tim AI Tingkat Lanjut, bersama Greg Brockman (mantan salah satu pendiri OpenAI yang mengundurkan diri tak lama setelah pemecatan Altman).

Ketika semua ini terungkap, Microsoft telah menerbitkan postingan blog baru yang menyoroti upayanya mengajarkan model bahasa kecil bagaimana bernalar. Beberapa bulan yang lalu, perusahaan tersebut memulai debutnya, Orca. "Model bahasa 13 miliar yang menunjukkan kemampuan penalaran yang kuat dengan meniru jejak penalaran langkah demi langkah dari LLM yang lebih mampu."

Dan sekarang, mereka telah meluncurkan Orca 2 (yang hadir dalam dua ukuran – 7 miliar dan 13 miliar parameter) sebagai bagian dari upayanya untuk memanfaatkan kemampuan LM yang lebih kecil. Menurut Microsoft, olahraga Orca 2 "sinyal dan metode pelatihan yang ditingkatkan dapat memberdayakan model bahasa yang lebih kecil untuk melakukannya mencapai peningkatan kemampuan penalaran." Ini merupakan prestasi yang signifikan mengingat kemampuan ini sering ditemukan pada model bahasa yang lebih besar, termasuk ObrolanGPT Dan Obrolan Bing.

Memang benar, kedua chatbot tersebut telah menghadapi banyak kemunduran sepanjang tahun ini dan beberapa pengguna menyebutkan hal tersebut ChatGPT semakin bodoh di tengah klaim itu OpenAI berada di ambang kebangkrutan. Di sisi lain, sebuah laporan menyebutkan hal itu Basis pengguna Bing mengalami stagnasi selama tiga bulan berturut-turut,meskipun Microsoft telah melakukan investasi besar dalam bidang teknologi.

Microsoft lebih lanjut menyebutkan bahwa Orca 2 berada jauh di depan model serupa lainnya, bahkan model Orca asli. Terlebih lagi, perusahaan mengindikasikan bahwa mereka memiliki tingkat kinerja yang lebih tinggi dibandingkan dengan yang lain model yang lebih besar ketika menangani tugas-tugas kompleks yang menguji "kemampuan penalaran tingkat lanjut dalam zero-shot pengaturan."

Model Bahasa Frontier seperti GPT-4, PaLm, dan lainnya telah menunjukkan kemampuan bernalar yang luar biasa Misalnya, menjawab pertanyaan kompleks, menghasilkan penjelasan, bahkan menyelesaikan masalah yang memerlukan banyak langkah pemikiran; kemampuan yang dulunya dianggap di luar jangkauan AI. Secara tradisional, kemampuan seperti itu belum ditemukan dalam model bahasa yang lebih kecil, sehingga tantangannya adalah bagaimana menggunakan pengetahuan kita yang semakin berkembang tentang model bahasa besar untuk meningkatkan kemampuan model bahasa yang lebih kecil model.

Tim AI Tingkat Lanjut Microsoft sedang berada di jalur yang tepat

Di tengah OpenAI kegagalan pada akhir pekan, CEO Microsoft, Satya Nadella, mengumumkan bahwa Sam Altman akan bergabung dengan perusahaan sebagai pemimpin tim AI Tingkat Lanjut. Pekerjaan yang sesuai dengan kemampuan dan keahliannya.

Menyusul berita malang Altman, lebih dari 500 staf OpenAI menulis surat kepada dewan direksi meminta dia dipekerjakan kembali, dengan alasan bahwa keputusan tersebut merusak visi mereka. Para karyawan mengindikasikan bahwa mereka akan meninggalkan perusahaan jika tuntutan mereka tidak dipenuhi, dan lebih lanjut menyatakan bahwa "tidak ada OpenAI tanpa orang-orangnya."

Menurut sumber yang mengetahui situasi tersebut, Microsoft siap menyerap seluruh karyawan OpenAI ke divisi AI jika mereka memutuskan untuk menepati janjinya dan meninggalkan perusahaan.

Microsoft kemungkinan akan memanfaatkan tim OpenAI untuk mencapai lebih banyak hal dengan Orca 2. Akibatnya, hal ini akan memungkinkan perusahaan menggunakan LLM untuk melatih model bahasa yang lebih kecil, yang pada akhirnya memperluas kemampuan model bahasa yang lebih kecil.

Apakah menurut Anda Microsoft berada di jalur yang tepat dalam usaha Orca 2? Bagikan pemikiran Anda dengan kami di komentar.