Microsoft เน้นย้ำถึงวิธีการฝึกโมเดลภาษาขนาดเล็ก
สิ่งที่คุณต้องรู้
- Microsoft เพิ่งเผยแพร่บล็อกโพสต์ใหม่ที่เน้นย้ำถึงความพยายามในการสอนโมเดลภาษาเล็กๆ ว่าให้เหตุผลอย่างไร
- เปิดตัว Orca 2 ซึ่งเป็นโมเดลภาษาขนาดเล็กที่แสดงให้เห็นถึงความสามารถในการให้เหตุผลที่แข็งแกร่ง โดยการเลียนแบบร่องรอยการให้เหตุผลทีละขั้นตอนของ LLM ที่มีความสามารถมากกว่า เช่น ChatGPT และ Bing Chat
- ตามเกณฑ์มาตรฐาน Orca 2 มีขีดความสามารถด้านประสิทธิภาพขั้นสูงเมื่อเปรียบเทียบกับ LLMS อื่นๆ เมื่อทำการทดสอบเพื่อจัดการกับงานที่ซับซ้อน
- Microsoft ตั้งใจที่จะฝึกอบรมโมเดลภาษาขนาดเล็กโดยใช้ LLM ซึ่งจะขยายขีดความสามารถในท้ายที่สุด
ไม่ต้องสงสัยเลยว่า Microsoft ได้วางเดิมพันทั้งหมดแล้ว AI กำเนิดโดยเฉพาะหลังจากทำก การลงทุนหลายพันล้านดอลลาร์ ในด้านเทคโนโลยี และขยายความร่วมมือกับ OpenAI ต่อไป
พูดถึง OpenAIเราได้เห็นสิ่งที่คนส่วนใหญ่เรียกว่าการเปลี่ยนกระบวนทัศน์ที่ส่งผลต่อผู้บริหารระดับสูงของบริษัทเทคโนโลยี คณะกรรมการบริหารของ OpenAI ถอดตำแหน่ง Sam Altman ออกจากตำแหน่งโดยอ้างถึงการขาดความมั่นใจในทักษะความเป็นผู้นำของเขา หลังจากนั้นไม่นาน Altman ก็ได้รับการเสนองานที่ Microsoft ซึ่งเป็นผู้นำทีม Advanced AI ร่วมกับ Greg Brockman (อดีตผู้ร่วมก่อตั้ง OpenAI ซึ่งลาออกไม่นานหลังจากการขับไล่ Altman)
เมื่อสิ่งเหล่านี้ถูกเปิดเผย Microsoft ได้เผยแพร่บล็อกโพสต์ใหม่ที่เน้นย้ำถึงความพยายามของตน การสอนแบบจำลองภาษาเล็กๆ เกี่ยวกับวิธีการใช้เหตุผล. ไม่กี่เดือนที่ผ่านมา บริษัทเปิดตัว Orca "แบบจำลองภาษา 13 พันล้านภาษาที่แสดงให้เห็นถึงความสามารถในการให้เหตุผลที่แข็งแกร่งโดยเลียนแบบร่องรอยการให้เหตุผลทีละขั้นตอนของ LLM ที่มีความสามารถมากขึ้น"
และตอนนี้ได้เปิดตัว Orca 2 (ซึ่งมีสองขนาด - 7 พันล้านและ 13 พันล้านพารามิเตอร์) ซึ่งเป็นส่วนหนึ่งของความพยายามในการใช้ประโยชน์จาก ความสามารถของ LM ขนาดเล็ก ตามที่ Microsoft ระบุว่า Orca 2 sports "สัญญาณและวิธีการฝึกอบรมที่ได้รับการปรับปรุงสามารถเสริมศักยภาพให้กับโมเดลภาษาที่มีขนาดเล็กลงได้ บรรลุความสามารถในการให้เหตุผลขั้นสูง" นี่เป็นความสำเร็จที่สำคัญเมื่อพิจารณาว่าความสามารถเหล่านี้มักพบในโมเดลภาษาที่ใหญ่กว่า รวมทั้ง ChatGPT และ บิงแชท.
เป็นที่ยอมรับว่าแชทบอททั้งสองต้องเผชิญกับความล้มเหลวมากมายตลอดทั้งปีนี้ โดยมีผู้ใช้หลายคนอ้างถึงสิ่งนั้น ChatGPT เริ่มโง่มากขึ้น ท่ามกลางคำกล่าวอ้างที่ว่า OpenAI กำลังจะล้มละลาย. ในทางกลับกัน มีรายงานระบุว่า ฐานผู้ใช้ของ Bing ซบเซาเป็นเวลาสามเดือนติดต่อกันแม้ว่า Microsoft จะลงทุนด้านเทคโนโลยีเป็นจำนวนมากก็ตาม
Microsoft กล่าวเพิ่มเติมว่า Orca 2 มีระยะทางเหนือกว่ารุ่นอื่นที่คล้ายคลึงกัน แม้แต่รุ่น Orca ดั้งเดิมก็ตาม ยิ่งไปกว่านั้น บริษัทยังระบุว่ามีระดับประสิทธิภาพขั้นสูงเมื่อเปรียบเทียบกับอุปกรณ์อื่นๆ โมเดลขนาดใหญ่เมื่อจัดการกับงานที่ซับซ้อนซึ่งทดสอบ "ความสามารถในการให้เหตุผลขั้นสูงในแบบ Zero-shot การตั้งค่า."
โมเดลภาษา Frontier เช่น GPT-4, PaLm และอื่นๆ ได้แสดงให้เห็นถึงความสามารถที่น่าทึ่งในการให้เหตุผล สำหรับ เช่น การตอบคำถามที่ซับซ้อน การสร้างคำอธิบาย และแม้แต่การแก้ปัญหาที่ต้องใช้หลายขั้นตอน การใช้เหตุผล; ความสามารถที่ครั้งหนึ่งเคยถูกมองว่าอยู่นอกเหนือขอบเขตของ AI ตามเนื้อผ้า ความสามารถดังกล่าวไม่ได้รับการสังเกตในแบบจำลองภาษาเล็กๆ ดังนั้นความท้าทายจึงเป็นเช่นนั้น วิธีใช้ความรู้ที่เพิ่มขึ้นของเราเกี่ยวกับโมเดลภาษาขนาดใหญ่เพื่อเพิ่มความสามารถของโมเดลภาษาขนาดเล็กเหล่านี้ โมเดล
ไมโครซอฟต์
ทีม AI ขั้นสูงของ Microsoft กำลังเตรียมพร้อม
ท่ามกลาง OpenAI ความล้มเหลวในช่วงสุดสัปดาห์ที่ผ่านมา Satya Nadella ซีอีโอของ Microsoft ประกาศว่า Sam Altman จะเข้าร่วมบริษัทในตำแหน่งหัวหน้าทีม Advanced AI งานที่เหมาะกับความสามารถและทักษะของเขา
หลังจากข่าวอันโชคร้ายของ Altman พนักงานของ OpenAI มากกว่า 500 คนได้เขียนจดหมายถึงคณะกรรมการบริหารเพื่อขอคืนสถานะของเขา โดยอ้างว่าการตัดสินใจดังกล่าวได้ทำลายวิสัยทัศน์ของพวกเขา พนักงานระบุว่าพวกเขาจะลาออกจากบริษัทหากไม่สามารถตอบสนองความต้องการของพวกเขา โดยกล่าวเพิ่มเติมว่า "ไม่มี OpenAI หากไม่มีบุคลากรในองค์กร"
ตามแหล่งข่าวที่คุ้นเคยกับสถานการณ์ Microsoft พร้อมที่จะรับพนักงาน OpenAI ทั้งหมดเข้าสู่แผนก AI หากพวกเขาตัดสินใจทำตามสัญญาและออกจากบริษัท
Microsoft มีแนวโน้มที่จะใช้ประโยชน์จากทีมของ OpenAI เพื่อให้บรรลุเป้าหมายมากขึ้นด้วย Orca 2 ด้วยเหตุนี้ การดำเนินการนี้จะช่วยให้บริษัทสามารถใช้ LLM เพื่อฝึกอบรมโมเดลภาษาขนาดเล็ก ซึ่งท้ายที่สุดจะเป็นการขยายขีดความสามารถของโมเดลภาษาขนาดเล็ก
คุณคิดว่า Microsoft กำลังดำเนินไปตามแผนการลงทุน Orca 2 หรือไม่? แบ่งปันความคิดของคุณกับเราในความคิดเห็น