สิ่งที่การหยุดชะงักของ Meta–Mercor สอนองค์กรต่างๆ เกี่ยวกับความเสี่ยงของผู้ให้บริการข้อมูล AI

รายงานล่าสุดที่ระบุว่า Meta ระงับการทำงานร่วมกับ Mercor หลังจากที่ Mercor เปิดเผยเหตุการณ์ด้านความปลอดภัยที่เชื่อมโยงกับโครงการโอเพนซอร์ส LiteLLM ได้ดึงความสนใจไปที่ส่วนหนึ่งของระบบ AI ที่องค์กรหลายแห่งยังคงประเมินค่าต่ำเกินไป นั่นคือชั้นข้อมูลและเวิร์กโฟลว์ที่อยู่เบื้องหลังการฝึกอบรมและการประเมินโมเดล

สำหรับทีม AI ในองค์กร บทเรียนที่แท้จริงนั้นยิ่งใหญ่กว่าแค่สตาร์ทอัพหนึ่งแห่งหรือการละเมิดข้อมูลเพียงครั้งเดียว มันเป็นการเตือนใจว่าโปรแกรม AI จะมีความยืดหยุ่นได้มากน้อยเพียงใดนั้นขึ้นอยู่กับผู้ให้บริการ เครื่องมือ ท่อส่งข้อมูล และการควบคุมการกำกับดูแลที่อยู่เบื้องหลัง เมื่อองค์กรพึ่งพาพันธมิตรภายนอกในการรวบรวมข้อมูล การติดป้ายกำกับ การประเมิน หรือกระบวนการทำงานของผู้เชี่ยวชาญ ความเสี่ยงของผู้ให้บริการก็จะกลายเป็นความเสี่ยงของแบบจำลองอย่างรวดเร็ว กรอบความคิดที่กว้างขึ้นนี้มีความเกี่ยวข้องอย่างยิ่งในขณะนี้ เนื่องจาก Mercor กล่าวว่าตนเป็นหนึ่งในหลายพันบริษัทที่ได้รับผลกระทบจากการโจมตีห่วงโซ่อุปทานที่เกี่ยวข้องกับ LiteLLM และได้เริ่มการสอบสวนที่ได้รับการสนับสนุนจากผู้เชี่ยวชาญด้านนิติวิทยาศาสตร์แล้ว

เหตุใดความเสี่ยงของผู้ให้บริการ AI จึงใกล้เคียงกับความเสี่ยงของโมเดลมากขึ้นในปัจจุบัน

ห่วงโซ่อุปทาน AI สมัยใหม่นั้นแทบจะไม่เรียบง่ายเลย เวิร์กโฟลว์เดียวอาจเกี่ยวข้องกับผู้ให้บริการข้อมูลภายนอก ทีมงานติดป้ายกำกับข้อมูล เครือข่ายผู้รับเหมา API มิดเดิลแวร์โอเพนซอร์ส ไปป์ไลน์การวัดประสิทธิภาพ และสภาพแวดล้อมการปรับแต่งหรือประเมินผลภายใน หากชั้นใดชั้นหนึ่งล้มเหลว ผลกระทบจะไม่จำกัดอยู่แค่เวลาหยุดทำงานเท่านั้น แต่ยังอาจส่งผลกระทบต่อข้อความแจ้งเตือนที่เป็นกรรมสิทธิ์ เมตาเดต้าของเวิร์กโฟลว์ ตรรกะการวัดประสิทธิภาพ ข้อมูลลูกค้า หรือกระบวนการประเมินผลภายใน เรื่องราวของ Mercor เป็นเครื่องเตือนใจที่มีประโยชน์ว่า ความเร็วที่ปราศจากการกำกับดูแลอาจสร้างความเปราะบางที่ซ่อนอยู่ได้

องค์กรต่างๆ จำเป็นต้องมีรูปแบบการตรวจสอบวิเคราะห์สถานะผู้ให้บริการ AI ที่แข็งแกร่งยิ่งขึ้น

กระบวนการตรวจสอบผู้ให้บริการ AI ที่มีประสิทธิภาพควรครอบคลุมมากกว่าแค่โครงการนำร่องที่แข็งแกร่งหรือคำมั่นสัญญาเรื่องการส่งมอบที่รวดเร็ว ควรตรวจสอบที่มาของข้อมูล การควบคุมการเข้าถึง การจัดการข้อมูล การตรวจสอบโดยมนุษย์ ความสามารถในการตรวจสอบ การเก็บรักษา การลบ และการตอบสนองต่อเหตุการณ์ต่างๆ

มาตรฐานสำหรับผู้ให้บริการข้อมูล AI กำลังสูงขึ้น องค์กรต่างๆ ไม่ได้ประเมินพันธมิตรเพียงแค่ความเร็วหรือขนาดอีกต่อไป แต่ประเมินจากความสามารถในการสนับสนุนระบบประมวลผลข้อมูลที่เชื่อถือได้ คุณภาพที่วัดได้ และการดำเนินงานที่ปลอดภัยและเป็นไปตามข้อกำหนดด้วย

การตรวจสอบผู้ขายควรครอบคลุมมากกว่าแค่เพียงชั้นผิวเผิน

หนึ่งในบทเรียนที่สำคัญที่สุดจากเหตุการณ์ของ Mercor คือ ความเสี่ยงนั้นเชื่อมโยงกับการถูกบุกรุกในห่วงโซ่อุปทานที่เกี่ยวข้องกับ LiteLLM ไม่ใช่แค่เรื่อง "ผู้ขายถูกแฮ็ก" ทั่วไป ในด้าน AI พื้นผิวความเสี่ยงของคุณนั้นครอบคลุมถึงเลเยอร์การจัดการ ตัวเชื่อมต่อ เครื่องมือประเมินผล และมิดเดิลแวร์มากขึ้นเรื่อยๆ ผู้ขายที่ดูปลอดภัยยังคงสามารถสร้างความเสี่ยงในขั้นตอนถัดไปได้ หากการพึ่งพาเหล่านั้นไม่ได้รับการควบคุมอย่างดี

คุณภาพข้อมูลและการกำกับดูแลข้อมูลนั้นแยกจากกันไม่ได้

ความล้มเหลวทางด้านความปลอดภัยมักเป็นข่าวพาดหัว แต่การกำกับดูแลที่อ่อนแออาจสร้างความเสียหายได้มากเช่นกัน แม้ว่าจะไม่มีการละเมิดข้อมูลก็ตาม คำแนะนำที่ไม่ดี ป้ายกำกับที่ไม่สอดคล้องกัน การจัดการกรณีพิเศษที่ไม่ชัดเจน และการไม่บันทึกที่มาของชุดข้อมูล ล้วนทำให้ประสิทธิภาพของโมเดลลดลงเมื่อเวลาผ่านไป

นั่นคือเหตุผลที่ทีม AI ที่มีความเชี่ยวชาญมากขึ้นให้ความสำคัญกับโครงสร้างการตรวจสอบโดยมนุษย์ วิธีการวัดคุณภาพ และวิธีการบันทึกการตัดสินใจเกี่ยวกับชุดข้อมูล เนื้อหาที่เผยแพร่สู่สาธารณะของ Shaip เน้นย้ำทิศทางเดียวกันนี้ผ่านทาง กระบวนการทำงานด้านคุณภาพที่มีมนุษย์เข้ามาเกี่ยวข้อง, คำแนะนำในการรวบรวมข้อมูล AIและเฉพาะโดเมน บริการข้อมูลการฝึกอบรม LLM.