ก่อนการฝึกอบรม

คำนิยาม

การฝึกอบรมเบื้องต้นคือการฝึกอบรมเบื้องต้นของโมเดลการเรียนรู้ของเครื่องบนชุดข้อมูลวัตถุประสงค์ทั่วไปขนาดใหญ่ ก่อนที่จะปรับแต่งในงานเฉพาะเจาะจง

จุดมุ่งหมาย

จุดประสงค์คือเพื่อจัดทำโมเดลที่มีการแสดงภาพกว้างๆ ที่สามารถถ่ายโอนไปยังงานต่างๆ ได้หลายงาน โดยลดความต้องการข้อมูลและการคำนวณสำหรับการปรับตัวในขั้นตอนต่อไป

ความสำคัญ

• รากฐานสำหรับ LLMs และโมเดลวิสัยทัศน์สมัยใหม่
• ปรับปรุงประสิทธิภาพการทำงานในงานที่หลากหลาย
• มีค่าใช้จ่ายสูงทั้งในด้านข้อมูลและการคำนวณ
• ต้องมีการดูแลชุดข้อมูลอย่างระมัดระวังเพื่อหลีกเลี่ยงอคติ

วิธีการทำงาน

1. รวบรวมชุดข้อมูลทั่วไปขนาดใหญ่ (ข้อความ, รูปภาพ)
2. กำหนดงานการเรียนรู้แบบไม่มีผู้ดูแลหรือแบบมีผู้ดูแลตนเอง
3. ฝึกโมเดลเพื่อเรียนรู้คุณสมบัติทั่วไป
4. บันทึกน้ำหนักที่ฝึกไว้ล่วงหน้าเพื่อนำมาใช้ซ้ำ
5. ปรับแต่งชุดข้อมูลเฉพาะงานขนาดเล็ก

ตัวอย่าง (โลกแห่งความเป็นจริง)

• BERT ได้รับการฝึกอบรมล่วงหน้าบน Wikipedia และ BooksCorpus
• CLIP ได้รับการฝึกอบรมจากคู่ภาพ–ข้อความ
• โมเดล GPT ได้รับการฝึกอบรมล่วงหน้าบนข้อความอินเทอร์เน็ตขนาดใหญ่

อ้างอิง/อ่านเพิ่มเติม

• Devlin และคณะ “BERT: การฝึกอบรมเบื้องต้นของหม้อแปลงไฟฟ้าทิศทางสองทางเชิงลึก” NAACL 2019
• Radford และคณะ “โมเดลภาษาคือผู้เรียนแบบกลุ่มน้อย” NeurIPS 2020
• รายงานทางเทคนิค OpenAI GPT-4