การเพิ่มความแม่นยำในการเรียนรู้ของเครื่องด้วยการเพิ่มคำอธิบายประกอบและการติดฉลากวิดีโอ:  

เทคนิคการใส่คำอธิบายประกอบวิดีโอ

คำอธิบายประกอบรูปภาพและวิดีโอใช้เครื่องมือและเทคนิคที่เกือบจะเหมือนกัน แม้ว่าจะซับซ้อนกว่าและใช้แรงงานมากก็ตาม ต่างจากภาพเดียว วิดีโอนั้นใส่คำอธิบายประกอบได้ยาก เนื่องจากวิดีโอสามารถบรรจุได้เกือบ 60 เฟรมต่อวินาที วิดีโอใช้เวลาในการใส่คำอธิบายประกอบนานขึ้นและต้องใช้เครื่องมือคำอธิบายประกอบขั้นสูงเช่นกัน

วิธีภาพเดียว

วิธีการติดป้ายกำกับวิดีโอแบบภาพเดียวเป็นเทคนิคดั้งเดิมที่แยกแต่ละเฟรมออกจากวิดีโอและใส่คำอธิบายประกอบทีละเฟรม วิดีโอแบ่งออกเป็นหลายเฟรม และแต่ละภาพจะมีคำอธิบายประกอบโดยใช้แบบดั้งเดิม คำอธิบายประกอบภาพ วิธี ตัวอย่างเช่น วิดีโอ 40fps แบ่งออกเป็นเฟรม 2,400 ต่อนาที.

ใช้วิธีภาพเดียวก่อนที่จะมีการใช้งานเครื่องมือใส่คำอธิบายประกอบ อย่างไรก็ตาม นี่ไม่ใช่วิธีการใส่คำอธิบายประกอบวิดีโอที่มีประสิทธิภาพ วิธีนี้ใช้เวลานานและไม่ส่งผลดีกับวิดีโอ

ข้อเสียเปรียบที่สำคัญอีกประการหนึ่งของวิธีนี้คือ เนื่องจากวิดีโอทั้งหมดถือเป็นชุดของเฟรมที่แยกจากกัน จึงทำให้เกิดข้อผิดพลาดในการระบุวัตถุ ออบเจ็กต์เดียวกันสามารถจำแนกได้ภายใต้ป้ายกำกับที่แตกต่างกันในเฟรมต่างๆ ทำให้กระบวนการทั้งหมดสูญเสียความแม่นยำและบริบท

เวลาในการใส่คำอธิบายประกอบวิดีโอโดยใช้วิธีการแสดงภาพเดี่ยวนั้นสูงมาก ซึ่งทำให้ต้นทุนของโครงการเพิ่มขึ้น แม้แต่โปรเจ็กต์ขนาดเล็กที่น้อยกว่า 20fps ก็ยังใช้เวลานานในการใส่คำอธิบายประกอบ อาจมีข้อผิดพลาดในการจัดประเภทที่ไม่ถูกต้อง เกินกำหนดส่ง และข้อผิดพลาดของคำอธิบายประกอบ

วิธีการเฟรมต่อเนื่อง

เฟรมต่อเนื่องหรือวิธีการสตรีมเฟรมแบบต่อเนื่องเป็นวิธีที่ได้รับความนิยมมากกว่า วิธีนี้ใช้เครื่องมือคำอธิบายประกอบที่ติดตามวัตถุตลอดทั้งวิดีโอด้วยตำแหน่งแบบเฟรมต่อเฟรม โดยใช้วิธีนี้ ความต่อเนื่องและบริบทจะได้รับการดูแลอย่างดี

วิธีเฟรมต่อเนื่องใช้เทคนิคต่างๆ เช่น การไหลของแสงเพื่อจับภาพพิกเซลในเฟรมเดียวและเฟรมถัดไปอย่างแม่นยำ และวิเคราะห์การเคลื่อนไหวของพิกเซลในภาพปัจจุบัน นอกจากนี้ยังช่วยให้แน่ใจว่าวัตถุได้รับการจัดประเภทและติดป้ายกำกับอย่างสอดคล้องกันทั่วทั้งวิดีโอ กิจการได้รับการรับรู้อย่างสม่ำเสมอแม้ว่าจะย้ายเข้าและออกจากกรอบ

เมื่อใช้วิธีนี้ในการใส่คำอธิบายประกอบวิดีโอ โปรเจ็กต์การเรียนรู้ของเครื่องจะสามารถระบุวัตถุที่อยู่ตอนต้นของวิดีโอได้อย่างแม่นยำ หายไปจากการมองเห็นในสองสามเฟรม และปรากฏขึ้นอีกครั้ง

หากใช้วิธีภาพเดียวสำหรับคำอธิบายประกอบ คอมพิวเตอร์อาจถือว่าภาพที่ปรากฏขึ้นอีกครั้งเป็นวัตถุใหม่ทำให้เกิดการจัดประเภทที่ไม่ถูกต้อง อย่างไรก็ตาม ในรูปแบบเฟรมต่อเนื่อง คอมพิวเตอร์จะพิจารณาการเคลื่อนไหวของภาพ เพื่อให้มั่นใจว่าความต่อเนื่องและความสมบูรณ์ของวิดีโอจะได้รับการดูแลอย่างดี

วิธีการเฟรมแบบต่อเนื่องเป็นวิธีที่เร็วกว่าในการใส่คำอธิบายประกอบ และให้ความสามารถที่มากขึ้นสำหรับโปรเจ็กต์ ML คำอธิบายประกอบมีความแม่นยำ ขจัดความลำเอียงของมนุษย์ และการจัดหมวดหมู่มีความแม่นยำมากขึ้น อย่างไรก็ตาม มันไม่ได้ไม่มีความเสี่ยง ปัจจัยบางอย่างที่อาจเปลี่ยนแปลงประสิทธิภาพ เช่น คุณภาพของภาพและความละเอียดของวิดีโอ