คำอธิบาย LLM

คำนิยาม

การใส่คำอธิบายประกอบ LLM หมายถึงการใส่ป้ายกำกับข้อมูลที่ออกแบบมาโดยเฉพาะสำหรับการฝึกอบรมและประเมินโมเดลภาษาขนาดใหญ่ ซึ่งรวมถึงงานต่างๆ เช่น การจดจำเจตนา การแท็กเอนทิตี และการจัดอันดับค่ากำหนด

จุดมุ่งหมาย

จุดประสงค์คือการสร้างชุดข้อมูลคุณภาพสูงที่สอดคล้องกับความคาดหวังของมนุษย์ในหลักสูตร LLM การเขียนคำอธิบายประกอบช่วยเพิ่มประสิทธิภาพ ลดอคติ และช่วยให้สามารถเรียนรู้แบบเสริมแรงด้วยฟีดแบ็กจากมนุษย์ได้

ความสำคัญ

• ให้การควบคุมดูแลแบบละเอียดสำหรับโมเดลขนาดใหญ่
• ปรับปรุงความปลอดภัยด้วยการคัดเลือกชุดข้อมูลโดยการตรวจสอบโดยมนุษย์
• รองรับเกณฑ์การประเมินสำหรับ LLMs
• มักจะรวมกับคำอธิบายการตั้งค่าเพื่อการปรับแต่งอย่างละเอียด

วิธีการทำงาน

1. กำหนดงานคำอธิบายประกอบสำหรับ LLM (เช่น การสรุป เจตนาการสนทนา)
2. รวบรวมข้อมูลข้อความดิบที่หลากหลาย
3. ผู้ให้คำอธิบายจะกำหนดป้ายกำกับงานด้วยคำแนะนำและหมวดหมู่
4. รวบรวมผลลัพธ์และรับรองข้อตกลงระหว่างผู้ให้คำอธิบาย
5. ใช้ข้อมูลที่มีป้ายกำกับเพื่อปรับแต่งหรือประเมินผล

ตัวอย่าง (โลกแห่งความเป็นจริง)

• ชุดข้อมูล RLHF ของ OpenAI: ข้อความที่มีป้ายกำกับค่ากำหนดสำหรับการจัดตำแหน่งโมเดล
• AI ตามรัฐธรรมนูญของ Anthropic: กฎเกณฑ์พร้อมคำอธิบายประกอบสำหรับการตอบสนองที่ปลอดภัยยิ่งขึ้น
• ชุดข้อมูล Hugging Face: ชุดข้อมูลข้อความที่คัดสรรโดยชุมชนสำหรับงาน LLM

อ้างอิง/อ่านเพิ่มเติม

• การเรียนรู้เชิงเสริมแรงด้วยข้อเสนอแนะของมนุษย์ — OpenAI
• เอกสารชุดข้อมูลการกอดใบหน้า
• Bender & Friedman. “คำชี้แจงข้อมูลสำหรับ NLP” ACL 2018
• คำอธิบาย LLM