- การเก็บรวบรวมข้อมูล: การฝึกอบรมของฉันเริ่มต้นด้วยข้อความทางอินเทอร์เน็ตที่หลากหลาย อย่างไรก็ตาม ฉันควรทราบว่าในขณะที่ฉันได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลกว้างๆ ฉันไม่ทราบข้อมูลเฉพาะเจาะจงเกี่ยวกับเอกสารใดที่เป็นส่วนหนึ่งของชุดการฝึกอบรมนั้น หรือมีสิทธิ์เข้าถึงเอกสารหรือแหล่งข้อมูลเฉพาะใดๆ
- การฝึกอบรมเบื้องต้น (การฝึกอบรมล่วงหน้า): ที่นี่ฉันเรียนรู้ที่จะทำนายคำถัดไปในประโยค ฉันไม่ได้เริ่มรู้ภาษาอังกฤษหรือภาษาอื่นใดเลย ฉันค่อยๆ เรียนรู้เกี่ยวกับไวยากรณ์ ข้อเท็จจริงเกี่ยวกับโลก และความสามารถในการใช้เหตุผลโดยการคาดเดาคำถัดไปในประโยคนับล้านๆ ประโยคแทน อย่างไรก็ตาม นี่ก็หมายความว่าฉันอาจได้เรียนรู้จากข้อมูลที่มีอคติหรือไม่ถูกต้อง เนื่องจากข้อมูลไม่ได้ถูกกรองอย่างละเอียดถี่ถ้วน
- ปรับจูน: หลังจากการฝึกอบรมเบื้องต้น ผู้สร้างของฉันที่ OpenAI ได้ให้คำแนะนำเพิ่มเติมด้วยชุดข้อมูลที่เฉพาะเจาะจงมากขึ้น ซึ่งสร้างขึ้นด้วยความช่วยเหลือจากผู้ตรวจสอบที่เป็นมนุษย์ ผู้ตรวจสอบเหล่านี้ปฏิบัติตามแนวทางเพื่อตรวจสอบและให้คะแนนเอาต์พุตของโมเดลที่เป็นไปได้สำหรับอินพุตตัวอย่างต่างๆ กระบวนการปรับแต่งคือบทสนทนาระหว่างนางแบบและผู้วิจารณ์ที่ช่วยให้ฉันปรับให้เข้ากับคุณค่าของมนุษย์ได้ดีขึ้น
- การเรียนรู้อย่างต่อเนื่อง: แม้ว่าฉันจะไม่ได้เรียนรู้จากการโต้ตอบเป็นรายบุคคลเนื่องจากเหตุผลด้านความเป็นส่วนตัว แต่ OpenAI ยังทำงานร่วมกับทีมผู้ตรวจสอบที่เป็นมนุษย์อย่างต่อเนื่องเพื่อให้ข้อเสนอแนะและทำการปรับปรุงซ้ำๆ ตามรูปแบบและข้อมูลเชิงลึกที่กว้างขึ้น
- ตัวอย่างก่อนการฝึกอบรม: สมมติว่าเรามีประโยค "แมวนั่งอยู่บน __" ในช่วงก่อนการฝึก นางแบบอย่างฉันจะเรียนรู้การทำนายคำถัดไปในประโยค ซึ่งอาจเป็น "เสื่อ" "หลังคา" หรือ "ต้นไม้" สิ่งนี้เรียนรู้โดยการประมวลผลประโยคนับพันล้านจากข้อความทางอินเทอร์เน็ตที่หลากหลาย ซึ่งเกี่ยวข้องกับปฏิสัมพันธ์ของมนุษย์โดยอ้อมในขณะที่มนุษย์สร้างเนื้อหาต้นฉบับ
- ตัวอย่างการปรับละเอียด: หลังจากขั้นตอนก่อนการฝึกอบรม โมเดลจะเข้าสู่ขั้นตอนการปรับแต่ง นี่คือวิธีการทำงาน:
ผู้ตรวจสอบที่เป็นมนุษย์จะได้รับงานตรวจสอบผลลัพธ์ของโมเดลที่เป็นไปได้สำหรับการป้อนข้อมูล เช่น “แปลข้อความภาษาอังกฤษต่อไปนี้เป็นภาษาฝรั่งเศส: 'สวัสดี สบายดีไหม'” โมเดลอาจสร้างการตอบสนองหลายอย่าง เช่น “สวัสดี แสดงความคิดเห็น ça va?” หรือ “สดุดี ติชม วาส-ตุ” เป็นต้น
ผู้ตรวจสอบให้คะแนนคำตอบเหล่านี้ตามปัจจัยต่างๆ เช่น ความแม่นยำ ความคล่องแคล่ว และความเหมาะสม การให้คะแนนเหล่านี้ช่วยให้โมเดลสามารถสรุปและตอบสนองต่ออินพุตที่คล้ายคลึงกันได้ในอนาคต
โปรดจำไว้ว่า ตัวอย่างที่ให้ไว้ที่นี่ถูกทำให้เข้าใจง่ายเพื่ออธิบายกระบวนการ การฝึกอบรมจริงเกี่ยวข้องกับอัลกอริทึมที่ซับซ้อนและข้อมูลจำนวนมหาศาล
- ความหลากหลายของข้อมูล: ไม่ใช่แค่ปริมาณข้อมูลเท่านั้น แต่ยังรวมถึงความหลากหลายด้วย ข้อมูลต้องมีความหลากหลายเพื่อให้ครอบคลุมหัวข้อ สไตล์ และน้ำเสียงที่พบในภาษามนุษย์
- คุณภาพของข้อมูล: คุณภาพของข้อมูลที่ใช้สำหรับการฝึกอบรมยังส่งผลต่อประสิทธิภาพของโมเดลการเรียนรู้อีกด้วย ข้อมูลที่มีคุณภาพดีกว่าสามารถลดปริมาณที่จำเป็นสำหรับการฝึกอบรมที่มีประสิทธิภาพ
- สถาปัตยกรรมแบบจำลอง: สถาปัตยกรรมของโมเดล (เช่น จำนวนเลเยอร์หรือพารามิเตอร์ในโครงข่ายประสาทเทียม) ยังส่งผลต่อปริมาณข้อมูลที่ต้องการอีกด้วย รุ่นที่ใหญ่กว่า เช่น GPT-3 หรือ GPT-4 มักต้องการข้อมูลมากกว่ารุ่นที่เล็กกว่า
- วัตถุประสงค์การฝึกอบรม: ประเภทของงานที่โมเดลตั้งใจจะดำเนินการอาจส่งผลต่อจำนวนข้อมูลที่ต้องการ โมเดลที่ออกแบบมาสำหรับงานเฉพาะอาจต้องการข้อมูลน้อยลงหากมีการกำหนดเป้าหมายที่ดี ในขณะที่โมเดลที่ใช้งานทั่วไป เช่น GPT-3 หรือ GPT-4 ซึ่งออกแบบมาเพื่อจัดการงานที่หลากหลาย จะต้องการข้อมูลเพิ่มเติมเพื่อความเข้าใจที่กว้างขึ้น
ตัวอย่างเช่น ในกรณีของ GPT-3 โมเดลมีพารามิเตอร์ 175 พันล้านพารามิเตอร์ และได้รับการฝึกอบรมเกี่ยวกับข้อความหลายร้อยกิกะไบต์ แต่ตัวเลขเหล่านี้ไม่สามารถสรุปความซับซ้อนของกระบวนการได้ทั้งหมด ข้อมูลเฉพาะของกระบวนการฝึกอบรม รวมถึงจำนวนข้อมูลที่แน่นอนที่ใช้ เป็นรายละเอียดที่เป็นกรรมสิทธิ์ของ OpenAI และองค์กรที่คล้ายคลึงกัน
- เริ่มเล็ก: โดยเฉพาะอย่างยิ่งสำหรับปัญหาอย่างง่ายหรือต้นแบบโมเดลเบื้องต้น ชุดข้อมูลที่มีขนาดเล็กลงก็เพียงพอแล้ว ตัวอย่างเช่น หากคุณกำลังสร้างตัวแยกประเภทภาพพื้นฐาน คุณอาจเริ่มด้วยภาพไม่กี่ร้อยหรือพันภาพต่อหมวดหมู่
- พิจารณาความซับซ้อน: ปัญหาที่ซับซ้อนกว่าปกติต้องการข้อมูลมากกว่า หากคุณกำลังพัฒนาโมเดลการเรียนรู้เชิงลึกหรือทำงานกับปัญหาที่ซับซ้อน เช่น การประมวลผลภาษาธรรมชาติ คุณอาจต้องการจุดข้อมูลหลายล้านจุด
- คุณภาพอยู่เหนือปริมาณ: ข้อมูลที่มีคุณภาพและมีความเกี่ยวข้องมักจะมีประโยชน์มากกว่าข้อมูลคุณภาพต่ำจำนวนมหาศาล การตรวจสอบให้แน่ใจว่าข้อมูลของคุณสะอาด มีคำอธิบายประกอบ และเป็นตัวแทนของปัญหาที่คุณพยายามแก้ไขอย่างถูกต้องเป็นสิ่งสำคัญ
- สร้างสมดุลให้กับชั้นเรียนของคุณ: สำหรับงานการเรียนรู้ภายใต้การดูแล ให้แน่ใจว่ามีตัวอย่างที่สมดุลสำหรับแต่ละชั้นเรียน ชุดข้อมูลที่ไม่สมดุลอาจนำไปสู่โมเดลที่ทำงานได้ไม่ดีในคลาสที่มีตัวแทนน้อย
- ใช้ชุดตรวจสอบและทดสอบ: ส่วนหนึ่งของชุดข้อมูลของคุณควรถูกกันไว้สำหรับการตรวจสอบความถูกต้อง (การปรับพารามิเตอร์โมเดล) และการทดสอบ (การประเมินประสิทธิภาพของโมเดล) การแบ่งทั่วไปอาจเป็น 70% ของข้อมูลสำหรับการฝึกอบรม 15% สำหรับการตรวจสอบ และ 15% สำหรับการทดสอบ แม้ว่าสัดส่วนเหล่านี้จะแตกต่างกันไป
- ทดลองและทำซ้ำ: เริ่มต้นด้วยจำนวนข้อมูลเริ่มต้น ฝึกโมเดลของคุณ ประเมินประสิทธิภาพ และเพิ่มข้อมูลซ้ำๆ ปรับแต่งโมเดลของคุณ หรือปรับปรุงคุณภาพข้อมูลตามผลลัพธ์
โปรดจำไว้ว่า โดยทั่วไปแล้วข้อมูลเพิ่มเติมจะช่วยปรับปรุงประสิทธิภาพของโมเดลแมชชีนเลิร์นนิง แต่เพียงบางจุดเท่านั้น หลังจากถึงจุดหนึ่ง การรวบรวมข้อมูลมากขึ้นอาจใช้เวลานานและมีค่าใช้จ่ายสูงเกินคุ้ม และอาจเป็นประโยชน์มากกว่าที่จะมุ่งเน้นไปที่การปรับปรุงคุณภาพของข้อมูลหรือปรับปรุงสถาปัตยกรรมแบบจำลองของคุณ
- ก่อนการฝึกอบรม: ในระยะนี้ แบบจำลองจะเปิดเผยข้อมูลข้อความทางอินเทอร์เน็ตจำนวนมาก ข้อมูลนี้ไม่มีคำอธิบายประกอบอย่างชัดเจน แต่แบบจำลองได้รับการฝึกฝนให้ทำนายคำถัดไปในประโยค สิ่งนี้ทำให้แบบจำลองมีความเข้าใจทั่วไปเกี่ยวกับไวยากรณ์ ข้อเท็จจริงเกี่ยวกับโลก และความสามารถในการให้เหตุผลบางประการ
- การปรับละเอียด: หลังจากการฝึกอบรมล่วงหน้า แบบจำลองจะได้รับการปรับปรุงเพิ่มเติมในชุดข้อมูลที่แคบขึ้นซึ่งสร้างขึ้นด้วยความช่วยเหลือจากผู้ตรวจสอบที่เป็นมนุษย์ ผู้ตรวจสอบเหล่านี้ปฏิบัติตามแนวทางจาก OpenAI เพื่อตรวจสอบและให้คะแนนเอาต์พุตโมเดลที่เป็นไปได้สำหรับอินพุตต่างๆ ในแง่นี้ กระบวนการปรับแต่งอย่างละเอียดอาจถูกมองว่าเป็นรูปแบบหนึ่งของคำอธิบายประกอบ ซึ่งผู้ตรวจสอบที่เป็นเจ้าหน้าที่จะแนะนำการตอบสนองของแบบจำลอง ช่วยให้สอดคล้องกับคุณค่าของมนุษย์ได้ดีขึ้น และมั่นใจได้ว่าจะหลีกเลี่ยงเนื้อหาที่ไม่เหมาะสมหรือไม่ปลอดภัย
ดังนั้น แม้ว่าชุดข้อมูลเริ่มต้นที่ใช้สำหรับการฝึกอบรมล่วงหน้าจะไม่มีการใส่คำอธิบายประกอบในความหมายแบบดั้งเดิม แต่กระบวนการปรับแต่งอย่างละเอียดจะเกี่ยวข้องกับรูปแบบหนึ่งของคำอธิบายประกอบ ซึ่งผู้ตรวจสอบที่เป็นเจ้าหน้าที่จะแนะนำพฤติกรรมของโมเดลด้วยการให้คะแนนผลลัพธ์ที่แตกต่างกัน
ความถูกต้อง: ผู้ตรวจสอบจะประเมินว่าผลลัพธ์ของแบบจำลองนั้นถูกต้องตามความเป็นจริงหรือไม่
ตัวอย่าง:
ความเหมาะสม: เอาต์พุตของโมเดลได้รับการประเมินความเหมาะสมโดยสัมพันธ์กับอินพุตที่กำหนด
ตัวอย่าง:
ความปลอดภัย: ผลลัพธ์จะได้รับการตรวจสอบเพื่อให้แน่ใจว่าไม่มีคำแนะนำที่เป็นอันตรายหรือภาษาที่ไม่เหมาะสม
ตัวอย่าง:
สมบูรณ์: ซึ่งจะประเมินว่าการตอบสนองของโมเดลตอบคำถามของผู้ใช้ได้ครบถ้วนหรือไม่
ตัวอย่าง:
ความคล่องแคล่ว: ผู้ตรวจสอบตรวจสอบว่าผลลัพธ์ของแบบจำลองมีความคล่องแคล่วทางภาษาและสอดคล้องกันหรือไม่
ตัวอย่าง:
หมวดหมู่เหล่านี้เป็นเพียงตัวอย่างเท่านั้น กระบวนการปรับแต่งที่แท้จริงนั้นเกี่ยวข้องกับระบบการประเมินที่ซับซ้อนมากขึ้นและข้อเสนอแนะอย่างต่อเนื่องระหว่างผู้ตรวจสอบและทีมพัฒนา AI เป้าหมายของคำอธิบายประกอบเหล่านี้คือการทำให้คำตอบของแบบจำลองมีประโยชน์ ปลอดภัย และสอดคล้องกับคุณค่าของมนุษย์มากขึ้น
OpenAI ซึ่งเป็นองค์กรที่อยู่เบื้องหลัง ChatGPT ไม่เปิดเผยจำนวนผู้ตรวจสอบที่เกี่ยวข้องในกระบวนการปรับแต่งต่อสาธารณะ อย่างไรก็ตาม ด้วยขนาดและความซับซ้อนของการฝึกอบรมโมเดลภาษาขนาดใหญ่เช่นนี้ จึงปลอดภัยที่จะกล่าวว่ากระบวนการนี้น่าจะเกี่ยวข้องกับทีมผู้ตรวจสอบจำนวนมาก
ผู้ตรวจสอบโดยมนุษย์เหล่านี้ปฏิบัติตามแนวทางที่ได้รับจาก OpenAI เพื่อตรวจสอบและให้คะแนนผลลัพธ์ของแบบจำลองที่เป็นไปได้ เป็นกระบวนการที่ต่อเนื่องและทำซ้ำซึ่งความคิดเห็นของผู้ตรวจสอบจะใช้เพื่อปรับปรุงและปรับแต่งโมเดลเมื่อเวลาผ่านไป OpenAI รักษาข้อเสนอแนะที่แข็งแกร่งกับผู้ตรวจสอบ รวมถึงการประชุมประจำสัปดาห์เพื่อตอบคำถามและให้คำชี้แจง
- ความซับซ้อนของงาน: งานง่าย ๆ เช่น การติดป้ายกำกับรูปภาพหรือการจัดหมวดหมู่ข้อความจะใช้เวลาน้อยลงต่อ PDF หนึ่งไฟล์ ช่วยให้คำอธิบายประกอบเดียวสามารถจัดการไฟล์ได้มากขึ้น ในทางกลับกัน งานที่ซับซ้อน เช่น การแยกข้อมูลเอนทิตีโดยละเอียดหรือการวิเคราะห์เชิงความหมายจะต้องใช้เวลามากขึ้นต่อเอกสารหนึ่งฉบับ และด้วยเหตุนี้จึงต้องใช้คำอธิบายประกอบเพิ่มเติมสำหรับไฟล์ PDF ที่มีปริมาณเท่ากัน
- ความยาวและความซับซ้อนของไฟล์ PDF: PDF ที่ยาวกว่าหรือซับซ้อนกว่าจะใช้เวลาอธิบายมากกว่า PDF ที่สั้นกว่าหรือเรียบง่ายกว่า
- ข้อกำหนดด้านคุณภาพ: หากต้องการความแม่นยำสูง อาจจำเป็นต้องมีคำอธิบายประกอบหลายรายการต่อ PDF เพื่อยืนยันคำอธิบายประกอบข้าม
- ข้อจำกัดด้านเวลา: หากต้องการคำอธิบายประกอบให้เสร็จอย่างรวดเร็ว จำเป็นต้องมีคำอธิบายประกอบเพิ่มเติม
ตามตัวอย่างสมมุติฐาน สมมติว่า annotator สามารถใส่คำอธิบายประกอบใน PDF ได้ 5 ไฟล์ต่อวันสำหรับงานหนึ่งๆ และทำงานได้ 5 วันต่อสัปดาห์ ในกรณีนี้ หากต้องการใส่คำอธิบายประกอบใน PDF 10,000 ไฟล์ เครื่องมือเพิ่มความคิดเห็นหนึ่งรายการจะใช้เวลา 2000 วันหรือประมาณ 8 ปี
อย่างไรก็ตาม หากคุณมีทีมที่มีผู้อธิบายประกอบ 20 คน พวกเขาสามารถทำงานให้เสร็จได้ภายในเวลาประมาณ 5 เดือน (สมมติว่ามี 20 วันทำงานต่อเดือน) ด้วยคำอธิบายประกอบ 100 รายการ งานเดียวกันนี้อาจเสร็จสิ้นภายในเวลาประมาณหนึ่งเดือน
โปรดจำไว้ว่า ตัวเลขเหล่านี้เป็นเพียงภาพประกอบเท่านั้น และความเร็วที่แท้จริงของคำอธิบายประกอบจะขึ้นอยู่กับปัจจัยที่กล่าวถึงข้างต้น นอกจากนี้ การฝึกอบรมผู้ทำหมายเหตุประกอบอย่างเหมาะสมและการควบคุมคุณภาพอย่างสม่ำเสมอมีความสำคัญอย่างยิ่งต่อความสำเร็จของโปรเจกต์หมายเหตุประกอบขนาดใหญ่
