เพิ่มความแม่นยำของแมชชีนเลิร์นนิงให้สูงสุดด้วยการใส่คำอธิบายประกอบและติดป้ายกำกับวิดีโอ

ความท้าทายทั่วไปของคำอธิบายประกอบวิดีโอ

การใส่คำอธิบายประกอบในวิดีโอยังคงเป็นส่วนที่ท้าทายที่สุดส่วนหนึ่งในการสร้างระบบคอมพิวเตอร์วิชั่นที่เชื่อถือได้ แม้ว่าเครื่องมือสมัยใหม่จะช่วยเพิ่มความเร็วได้ แต่ความท้าทายไม่ได้อยู่ที่การติดป้ายกำกับเฟรมให้มากขึ้นอีกต่อไป ทีมงานในปัจจุบันต้องการข้อมูลวิดีโอที่มีคำอธิบายประกอบที่ถูกต้อง สม่ำเสมอ ตรวจสอบได้ และเป็นตัวแทนของสภาพแวดล้อมจริง คำแนะนำจากอุตสาหกรรมชี้ให้เห็นมากขึ้นว่า การผสมผสานระหว่างระบบอัตโนมัติ การตรวจสอบโดยมนุษย์ และการกำกับดูแล เป็นแนวทางที่มีประสิทธิภาพที่สุด 

1. กระบวนการทำงานที่มีปริมาณมากและใช้เวลานาน

วิดีโอสร้างข้อมูลจำนวนมหาศาล โครงการเดียวอาจมีคลิปนับพัน วัตถุหลายชิ้นต่อเฟรม และลำดับเวลาที่ยาวนานซึ่งต้องติดตามอย่างสม่ำเสมอ แม้จะมีระบบติดตามอัตโนมัติและการประมาณค่า ทีมงานก็ยังคงต้องการการตรวจสอบจากมนุษย์เพื่อตรวจสอบความถูกต้องของฉากที่ซับซ้อน แก้ไขการเบี่ยงเบน และยืนยันกรณีพิเศษต่างๆ

2. รักษาความถูกต้องแม่นยำของคำอธิบายประกอบในแต่ละเฟรม

ความถูกต้องแม่นยำในวิดีโอทำได้ยากกว่าความถูกต้องแม่นยำในภาพนิ่ง เพราะป้ายกำกับต้องถูกต้องอยู่เสมอ ไม่ใช่แค่ในเฟรมเดียว กรอบสี่เหลี่ยม รูปหลายเหลี่ยม จุดสำคัญ และแท็กเหตุการณ์ อาจไม่สอดคล้องกันได้ง่ายเมื่อวัตถุเคลื่อนที่เร็ว เปลี่ยนรูปร่าง หรือหายไปแล้วปรากฏขึ้นอีกครั้ง นี่คือเหตุผลที่ทีมที่มีประสิทธิภาพสูงใช้แนวทางที่ชัดเจน การตรวจสอบเป็นระยะ และการตรวจสอบโดยฉันทามติ แทนที่จะพึ่งพากระบวนการติดป้ายกำกับแบบครั้งเดียวจบ

3. การบดบังภาพ ภาพเบลอจากการเคลื่อนไหว และความซับซ้อนของฉาก

ภาพวิดีโอจากโลกแห่งความเป็นจริงมักไม่เป็นระเบียบ วัตถุมักถูกบดบังบางส่วน แสงสว่างไม่เพียงพอ แออัด หรือเคลื่อนที่ด้วยความเร็ว สภาพเหล่านี้ทำให้การติดป้ายกำกับทำได้ยากขึ้น และอาจลดคุณภาพของโมเดลได้หากไม่ได้จัดการอย่างสม่ำเสมอในชุดข้อมูล งานวิจัยและแนวโน้มเครื่องมือล่าสุดแสดงให้เห็นถึงความสนใจที่เพิ่มขึ้นในการติดป้ายกำกับที่คำนึงถึงการบดบังและการจัดการกรณีพิเศษ เนื่องจากสถานการณ์เหล่านี้มักเป็นสาเหตุที่ทำให้โมเดลที่ใช้งานจริงล้มเหลว

4. ความสามารถในการขยายขนาดโดยไม่ลดทอนคุณภาพ

การขยายขนาดโครงการติดฉลากโดยการเพิ่มผู้ติดฉลากนั้นค่อนข้างง่าย แต่การขยายขนาดพร้อมกับการรักษาความสม่ำเสมอนั้นยากกว่ามาก เมื่อโครงการเติบโตขึ้น ทีมงานมักเผชิญกับปัญหาฉลากคลาดเคลื่อน ความไม่สอดคล้องกันของผู้ตรวจสอบ และคุณภาพที่ไม่สม่ำเสมอในแต่ละชุดข้อมูล กระบวนการทำงานที่ดีที่สุดคือการผสมผสานระบบอัตโนมัติเพื่อความรวดเร็วเข้ากับการตรวจสอบโดยมนุษย์ ชุดข้อมูลตรวจสอบมาตรฐาน และข้อตกลงที่วัดได้ระหว่างผู้ติดฉลาก

5. ความลำเอียงของชุดข้อมูลและการครอบคลุมกรณีพิเศษที่ไม่สมบูรณ์

โมเดลที่ฝึกฝนด้วยฟุตเทจที่สะอาดและซ้ำซากอาจทำงานได้ดีในการทดสอบ แต่ล้มเหลวในการใช้งานจริง ชุดข้อมูลวิดีโอต้องมีความหลากหลายเพียงพอในด้านแสง สภาพอากาศ มุมกล้อง ภูมิศาสตร์ ประชากรศาสตร์ และเหตุการณ์ที่เกิดขึ้นไม่บ่อย เพื่อสะท้อนสภาพการใช้งานจริง คำแนะนำด้านความเสี่ยงของ AI จาก NIST ยังเน้นย้ำถึงความจำเป็นในการกำหนดบริบท วัดความเสี่ยง และจัดการผลกระทบที่ตามมา ซึ่งทำให้การออกแบบชุดข้อมูลมีความสำคัญพอๆ กับการดำเนินการติดป้ายกำกับ

6. ความปลอดภัยของข้อมูล ความเป็นส่วนตัว และการปฏิบัติตามกฎระเบียบ

วิดีโอมักมีเนื้อหาที่ละเอียดอ่อน เช่น ใบหน้า ป้ายทะเบียนรถ ภาพทางการแพทย์ ภาพสถานที่ทำงาน หรือสภาพแวดล้อมของลูกค้า นั่นหมายความว่าการใส่คำอธิบายประกอบจึงเป็นปัญหาด้านการกำกับดูแลข้อมูลด้วยเช่นกัน ขึ้นอยู่กับโครงการ องค์กรอาจต้องการผู้ให้บริการและกระบวนการที่สอดคล้องกับ GDPR, HIPAA หรือมาตรฐานการจัดการความปลอดภัยที่กว้างขึ้น เช่น ISO/IEC 27001

7. เอกสารไม่ครบถ้วนและตรวจสอบได้ยาก

ชุดข้อมูลที่มีการติดป้ายกำกับจะมีประโยชน์ก็ต่อเมื่อมีคำแนะนำและประวัติการตัดสินใจที่ชัดเจน หากกฎการติดป้ายกำกับไม่ชัดเจน ทีมงานจะประสบปัญหาในการสร้างคุณภาพในระดับใหญ่ โปรแกรมการติดป้ายกำกับสมัยใหม่จำเป็นต้องมีแนวทางที่กำหนดเวอร์ชัน กฎการจัดการข้อยกเว้น บันทึก QA และเกณฑ์การยอมรับที่บันทึกไว้ เพื่อให้สามารถปรับปรุงโมเดลได้อย่างต่อเนื่อง แทนที่จะฝึกใหม่โดยใช้ข้อมูลพื้นฐานที่ไม่สอดคล้องกัน