ข้อมูลการฝึกอบรม AI

คำนิยาม

ข้อมูลการฝึก AI คือชุดข้อมูลที่มีป้ายกำกับ ซึ่งใช้เพื่อสอนโมเดลการเรียนรู้ของเครื่องให้สามารถระบุรูปแบบและสร้างการคาดการณ์ได้ ชุดข้อมูลนี้แสดงถึง “ความจริงพื้นฐาน” ที่โมเดลใช้ปรับพารามิเตอร์ภายใน

จุดมุ่งหมาย

จุดประสงค์คือการนำเสนอตัวอย่างที่เป็นแนวทางให้อัลกอริทึมเรียนรู้ความสัมพันธ์ทางสถิติ ช่วยให้แบบจำลองสามารถสรุปผลจากตัวอย่างไปยังข้อมูลที่ไม่เคยเห็นมาก่อนได้

ความสำคัญ

• คุณภาพของข้อมูลการฝึกอบรมส่งผลโดยตรงต่อความแม่นยำของแบบจำลอง
• ข้อมูลที่ลำเอียงหรือไม่สมดุลทำให้สร้างแบบจำลองที่ไม่ยุติธรรมหรือไม่น่าเชื่อถือ
• ชุดข้อมูลที่มีขนาดใหญ่เพียงพอจะช่วยปรับปรุงการสรุปทั่วไป
• การรั่วไหลของข้อมูลการฝึกอบรมไปยังชุดทดสอบทำให้การประเมินผลได้รับผลกระทบ

วิธีการทำงาน

1. กำหนดงานการทำนายและข้อกำหนดชุดข้อมูล
2. รวบรวมข้อมูลดิบที่เกี่ยวข้อง
3. ใส่ป้ายกำกับหรือใส่คำอธิบายประกอบข้อมูลด้วยผลลัพธ์ที่ถูกต้อง
4. แยกออกเป็นชุดฝึกอบรม ชุดตรวจสอบ และชุดทดสอบ
5. ฝึกโมเดลเพื่อปรับน้ำหนักตามข้อมูลการฝึก

ตัวอย่าง (โลกแห่งความเป็นจริง)

• ชุดข้อมูล COCO: รูปภาพพร้อมคำอธิบายสำหรับการตรวจจับและการแบ่งส่วน
• Common Crawl: ชุดข้อมูลข้อความเว็บขนาดใหญ่สำหรับการฝึกอบรม LLM ก่อน
• LibriSpeech: ชุดข้อมูลการพูดสำหรับการฝึกอบรม ASR

อ้างอิง/อ่านเพิ่มเติม

• ข้อมูลการฝึกอบรมสำหรับการเรียนรู้ของเครื่องจักร — การวิจัยของ IBM
• ISO/IEC 23053: กรอบการทำงานสำหรับระบบ AI ที่ใช้ ML — ISO
• กรอบการจัดการความเสี่ยงด้าน AI ของ NIST — NIST
• ข้อมูลการฝึกอบรมใน Machine Learning คืออะไร – Shaip