การปรับแต่งอย่างละเอียด

คำนิยาม

การปรับแต่งละเอียดคือกระบวนการปรับโมเดลการเรียนรู้ของเครื่องที่ได้รับการฝึกอบรมไว้ล่วงหน้าให้เข้ากับงานใหม่โดยใช้การฝึกอบรมเพิ่มเติมบนชุดข้อมูลเฉพาะโดเมนที่เล็กกว่า

จุดมุ่งหมาย

วัตถุประสงค์คือการนำความรู้จากโมเดลขนาดใหญ่มาใช้ซ้ำและปรับปรุงประสิทธิภาพในการทำงานเฉพาะทางด้วยทรัพยากรที่น้อยลง

ความสำคัญ

• ลดต้นทุนและเวลาในการฝึกอบรมเมื่อเทียบกับการสร้างแบบจำลองตั้งแต่เริ่มต้น
• ปรับปรุงประสิทธิภาพการทำงานในงานเฉพาะโดเมน
• มีความเสี่ยงที่จะเกิดการติดตั้งมากเกินไปหากข้อมูลการฝึกอบรมมีความแคบเกินไป
• ที่เกี่ยวข้องกับการถ่ายโอนการเรียนรู้

วิธีการทำงาน

1. เลือกโมเดลฐานที่ผ่านการฝึกอบรมไว้ล่วงหน้า
2. แทนที่หรือปรับเปลี่ยนเลเยอร์เฉพาะงาน
3. ฝึกอบรมด้วยข้อมูลที่มีป้ายกำกับจากโดเมนใหม่
4. ปรับอัตราการเรียนรู้เพื่อสร้างสมดุลระหว่างความรู้เก่าและใหม่
5. ตรวจสอบและทดสอบเพื่อการทั่วไป

ตัวอย่าง (โลกแห่งความเป็นจริง)

• BERT ปรับแต่งเพื่อการวิเคราะห์ความรู้สึก
• โมเดล GPT ปรับแต่งให้เหมาะสมกับแชทบอทสนับสนุนลูกค้า
• ปรับแต่งโมเดลวิสัยทัศน์เพื่อการจำแนกประเภทภาพทางการแพทย์

อ้างอิง/อ่านเพิ่มเติม

• Howard & Ruder. “การปรับแต่งแบบจำลองภาษาสากล” (ULMFiT). ACL 2018
• เอกสารประกอบเรื่อง Transformers กอดหน้า
• ปัน&หยาง. “แบบสำรวจการถ่ายทอดการเรียนรู้” IEEE TKDE
• การปรับแต่งอย่างละเอียดสำหรับโมเดลภาษาขนาดใหญ่คืออะไร – Shaip