โมเดลภาษาขนาดใหญ่ (LLM)

คำนิยาม

แบบจำลองภาษาขนาดใหญ่ (LLM) คือเครือข่ายประสาทเทียมที่ฝึกฝนบนคอร์ปัสข้อความขนาดใหญ่เพื่อทำความเข้าใจและสร้างภาษามนุษย์ LLM ใช้พารามิเตอร์นับพันล้านตัวเพื่อบันทึกรูปแบบทางภาษา

จุดมุ่งหมาย

วัตถุประสงค์คือเพื่อเปิดใช้งานงาน NLP ขั้นสูง เช่น การสร้างข้อความ การสรุป และการแปล LLM ถูกใช้ในแชทบอท การค้นหา และเครื่องมือเพิ่มประสิทธิภาพ

ความสำคัญ

• ขับเคลื่อน AI เชิงสนทนาสมัยใหม่
• ความเสี่ยงต่อการเกิดอคติ ข้อมูลที่ผิดพลาด และภาพหลอน
• ต้นทุนการคำนวณและสิ่งแวดล้อมสูง
• ต้องมีการจัดแนวทางและการกำกับดูแลอย่างรอบคอบ

วิธีการทำงาน

1. รวบรวมชุดข้อมูลข้อความขนาดใหญ่
2. แปลงข้อความเป็นโทเค็นในรูปแบบตัวเลข
3. แบบจำลองหม้อแปลงรถไฟที่มีพารามิเตอร์นับพันล้าน
4. เรียนรู้การทำนายโทเค็นถัดไปในบริบท
5. ปรับแต่งหรือปรับให้เข้ากับงานที่อยู่ถัดไป

ตัวอย่าง (โลกแห่งความเป็นจริง)

• GPT-4 (OpenAI): ใช้ใน ChatGPT
• PaLM (Google): LLM ขนาดใหญ่สำหรับการวิจัยและผลิตภัณฑ์
• LLaMA (Meta): LLM ที่เน้นการวิจัยแบบเปิด

อ้างอิง/อ่านเพิ่มเติม

• Vaswani และคณะ “ความสนใจคือสิ่งเดียวที่คุณต้องการ” NeurIPS 2017
• การ์ดระบบ OpenAI GPT-4
• Stanford CRFM. “แบบจำลองรากฐาน”
• ทุกสิ่งที่คุณต้องรู้เกี่ยวกับ LLM