การเรียนรู้การเสริมแรงจากความคิดเห็นของมนุษย์ (RLHF)

คำนิยาม

การเรียนรู้แบบเสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF) เป็นวิธีการปรับโมเดล AI ให้สอดคล้องกับคุณค่าของมนุษย์ โดยการนำการตัดสินของมนุษย์มาผนวกเข้ากับกระบวนการฝึกอบรม มักใช้เพื่อปรับแต่งโมเดลภาษาขนาดใหญ่

จุดมุ่งหมาย

จุดประสงค์คือการทำให้ผลลัพธ์ของ AI ปลอดภัยยิ่งขึ้น มีประโยชน์มากขึ้น และสอดคล้องกับความต้องการของมนุษย์ RLHF ช่วยปรับปรุงระบบการสนทนาโดยลดการตอบสนองที่เป็นอันตราย อคติ หรือไม่เกี่ยวข้อง

ความสำคัญ

• ให้การดูแลของมนุษย์ในการฝึกอบรม AI
• ปรับปรุงความน่าเชื่อถือของระบบ AI
• ต้องใช้แรงงานมากเนื่องจากต้องมีการใส่คำอธิบายโดยมนุษย์
• ที่เกี่ยวข้องกับการสร้างแบบจำลองการตั้งค่าและการวิจัยการจัดตำแหน่ง

วิธีการทำงาน

1. รวบรวมข้อเสนอแนะจากมนุษย์โดยเปรียบเทียบผลลัพธ์ของโมเดล
2. ฝึกอบรมรูปแบบการให้รางวัลตามความชอบของมนุษย์
3. ใช้การเรียนรู้แบบเสริมแรงเพื่อปรับแต่งโมเดลฐาน
4. ประเมินผลการปฏิบัติงานเทียบกับเป้าหมายการจัดแนว
5. ทำซ้ำโดยมีการตอบรับเพิ่มเติม

ตัวอย่าง (โลกแห่งความเป็นจริง)

• OpenAI ChatGPT: ปรับแต่งด้วย RLHF เพื่อการตอบสนองที่ปลอดภัยยิ่งขึ้น
• AI ตามรัฐธรรมนูญของ Anthropic: นำทางด้วยหลักการมากกว่าการตอบรับโดยตรง
• InstructGPT: โมเดล OpenAI รุ่นแรกที่สาธิต RLHF

อ้างอิง/อ่านเพิ่มเติม

• Christiano และคณะ “การเรียนรู้การเสริมแรงเชิงลึกจากความชอบของมนุษย์” NeurIPS 2017
• เอกสาร OpenAI InstructGPT
• กรอบการจัดการความเสี่ยงของ NIST AI
• การเรียนรู้แบบเสริมกำลังด้วยผลตอบรับของมนุษย์ (RLHF) คืออะไร?