การเปรียบเทียบ LLM แบบใหม่: นำการตัดสินของมนุษย์กลับคืนมา

หากคุณพิจารณาเฉพาะคะแนนอัตโนมัติ ระบบจัดการเนื้อหาทางกฎหมาย (LLM) ส่วนใหญ่ดูเหมือนจะดีเยี่ยม จนกระทั่งมันเขียนอะไรบางอย่างที่ผิดพลาดเล็กน้อย เสี่ยง หรือไม่เหมาะสม นั่นคือช่องว่างระหว่างสิ่งที่การวัดผลแบบคงที่วัดได้กับสิ่งที่ผู้ใช้ของคุณต้องการจริงๆ ในคู่มือนี้ เราจะแสดงวิธีผสมผสานการตัดสินใจของมนุษย์ (HITL) กับระบบอัตโนมัติ เพื่อให้การวัดผล LLM ของคุณ สะท้อนถึงความถูกต้อง ความปลอดภัย และความเหมาะสมกับโดเมน ไม่ใช่แค่ความถูกต้องในระดับโทเค็นเท่านั้น

การวัดผล LLM Benchmarking จริงๆ คืออะไร

เมตริกและลีดเดอร์บอร์ดอัตโนมัติมีความรวดเร็วและทำซ้ำได้ ความแม่นยำในงานแบบเลือกตอบ BLEU/ROUGE สำหรับความคล้ายคลึงของข้อความ และความสับสนในการสร้างแบบจำลองภาษา ล้วนส่งสัญญาณบอกทิศทาง แต่บ่อยครั้งที่สิ่งเหล่านี้มักพลาดลำดับเหตุผล การหาข้อเท็จจริง และการปฏิบัติตามนโยบาย โดยเฉพาะอย่างยิ่งในบริบทที่มีความเสี่ยงสูง นั่นคือเหตุผลที่โปรแกรมสมัยใหม่จึงเน้นที่การรายงานแบบหลายเมตริก ความโปร่งใส และความสมจริงของสถานการณ์

เมตริกอัตโนมัติและชุดทดสอบแบบคงที่

ลองนึกถึงตัวชี้วัดแบบคลาสสิกอย่างเช่นมาตรวัดความเร็ว — มันยอดเยี่ยมสำหรับการบอกคุณว่าคุณขับเร็วแค่ไหนบนทางหลวงที่ราบเรียบ แต่พวกมันไม่ได้บอกคุณว่าเบรกทำงานได้ดีหรือไม่ในขณะฝนตก BLEU/ROUGE/ความซับซ้อนช่วยในการเปรียบเทียบ แต่ก็สามารถถูกหลอกลวงได้ด้วยการท่องจำหรือการจับคู่แบบผิวเผิน

ที่พวกเขาพลาดไป

ผู้ใช้จริงมักนำความกำกวม ศัพท์เฉพาะทาง เป้าหมายที่ขัดแย้งกัน และกฎระเบียบที่เปลี่ยนแปลงไป ชุดทดสอบแบบคงที่มักไม่สามารถตรวจจับสิ่งเหล่านี้ได้ ส่งผลให้เกณฑ์มาตรฐานอัตโนมัติล้วนๆ ประเมินความพร้อมของแบบจำลองสำหรับงานองค์กรที่ซับซ้อนสูงเกินไป ความพยายามของชุมชนอย่าง HELM/AIR-Bench ช่วยแก้ไขปัญหานี้โดยครอบคลุมมิติต่างๆ มากขึ้น (ความทนทาน ความปลอดภัย การเปิดเผยข้อมูล) และเผยแพร่ชุดทดสอบที่โปร่งใสและพัฒนาขึ้นเรื่อยๆ

กรณีสำหรับการประเมินมนุษย์ในเกณฑ์มาตรฐาน LLM

คุณสมบัติบางอย่างยังคงเป็นเอกลักษณ์ของมนุษย์อย่างเหนียวแน่น ได้แก่ น้ำเสียง ความช่วยเหลือ ความถูกต้องอย่างละเอียดอ่อน ความเหมาะสมทางวัฒนธรรม และความเสี่ยง ผู้ประเมินที่เป็นมนุษย์—ที่ได้รับการฝึกฝนและปรับเทียบอย่างเหมาะสม—คือเครื่องมือที่ดีที่สุดที่เรามีสำหรับสิ่งเหล่านี้ เคล็ดลับคือการใช้พวกเขาอย่างเลือกสรรและเป็นระบบเพื่อให้ต้นทุนยังคงอยู่ในระดับที่จัดการได้ ในขณะที่คุณภาพยังคงสูง

เมื่อใดจึงจะเกี่ยวข้องกับมนุษย์

• ความคลุมเครือ: คำแนะนำยอมรับคำตอบที่สมเหตุสมผลหลายข้อ
• ความเสี่ยงสูง: การดูแลสุขภาพ การเงิน กฎหมาย การสนับสนุนที่สำคัญด้านความปลอดภัย
• ความแตกต่างของโดเมน: ศัพท์แสงทางอุตสาหกรรม การใช้เหตุผลเฉพาะทาง
• สัญญาณความขัดแย้ง: คะแนนอัตโนมัติขัดแย้งหรือแตกต่างกันอย่างมาก

การออกแบบเกณฑ์และการสอบเทียบ (ตัวอย่างง่ายๆ)

เริ่มต้นด้วยการให้คะแนน 1-5 สำหรับความถูกต้องความสมเหตุสมผลและความสอดคล้องกับนโยบาย จัดเตรียมตัวอย่างประกอบคำอธิบาย 2-3 ตัวอย่างต่อคะแนน ดำเนินการสอบเทียบ สั้นๆ : ผู้ประเมินให้คะแนนชุดข้อมูลเดียวกัน จากนั้นเปรียบเทียบเหตุผลเพื่อเพิ่มความสอดคล้อง ติดตามความสอดคล้องระหว่างผู้ประเมิน และกำหนดให้มีการตัดสินในกรณีที่คลุมเครือ

วิธีการ: จาก LLM ในฐานะผู้พิพากษา สู่ HITL ที่แท้จริง

การใช้แบบจำลอง LLM เป็นผู้ประเมิน (การใช้แบบจำลองหนึ่งประเมินแบบจำลองอีกแบบหนึ่ง) มีประโยชน์สำหรับการคัดกรองเบื้องต้นเพราะรวดเร็ว ราคาประหยัด และใช้งานได้ดีสำหรับการตรวจสอบที่ไม่ซับซ้อน แต่ก็อาจมีจุดบอดเช่นเดียวกัน เช่น ภาพหลอน ความสัมพันธ์ที่ผิดพลาด หรือ "การให้คะแนนสูงเกินจริง" ควรใช้เพื่อจัดลำดับความสำคัญของกรณีต่างๆ สำหรับการตรวจสอบโดยมนุษย์ ไม่ใช่ใช้แทนการตรวจสอบโดยมนุษย์

ท่อส่งไฮบริดที่ใช้งานได้จริง

1. การคัดกรองล่วงหน้าอัตโนมัติ: เรียกใช้เมตริกงาน การป้องกันพื้นฐาน และ LLM-as-judge เพื่อกรองการผ่าน/ไม่ผ่านที่ชัดเจน
2. การเลือกใช้งาน: เลือกตัวอย่างที่มีสัญญาณขัดแย้งหรือความไม่แน่นอนสูงสำหรับการตรวจสอบโดยมนุษย์
3. คำอธิบายโดยผู้เชี่ยวชาญ: ผู้ให้คะแนนที่ผ่านการฝึกอบรม (หรือผู้เชี่ยวชาญเฉพาะด้าน) ให้คะแนนตามหลักเกณฑ์ที่ชัดเจน ตัดสินข้อขัดแย้ง
4. การประกันคุณภาพ: ตรวจสอบความน่าเชื่อถือของผู้ประเมินร่วม เก็บรักษาบันทึกการตรวจสอบและเหตุผลประกอบ สมุดบันทึกที่ลงมือปฏิบัติจริง (เช่น เวิร์กโฟลว์ HITL) ช่วยให้สร้างต้นแบบวงจรนี้ได้ง่ายก่อนที่จะขยายขนาด

ตารางเปรียบเทียบ: อัตโนมัติ เทียบกับ LLM-as-Judge เทียบกับ HITL