สุดยอดคู่มือคำอธิบายประกอบรูปภาพสำหรับคอมพิวเตอร์วิทัศน์: แอปพลิเคชัน วิธีการ และหมวดหมู่

ตอนนี้เรามาดูแต่ละวิธีโดยละเอียดกัน

การจำแนกรูปภาพ

การจำแนกภาพเป็นกระบวนการกำหนดป้ายกำกับหรือหมวดหมู่ให้กับภาพทั้งหมดโดยอิงจากเนื้อหา ตัวอย่างเช่น หากภาพของคุณมีจุดสนใจหลักเป็นสุนัข ภาพนั้นจะถูกระบุว่าเป็น "สุนัข"

ในกระบวนการอธิบายภาพ การจำแนกภาพมักใช้เป็นขั้นตอนแรกก่อนที่จะอธิบายแบบละเอียด เช่น การตรวจจับวัตถุหรือการแบ่งส่วนภาพ เนื่องจากมีบทบาทสำคัญในการทำความเข้าใจวัตถุโดยรวมของภาพ

ตัวอย่างเช่น หากคุณต้องการใส่คำอธิบายประกอบยานพาหนะสำหรับแอปพลิเคชันการขับขี่อัตโนมัติ คุณสามารถเลือกรูปภาพที่จัดประเภทเป็น "ยานพาหนะ" และไม่ต้องสนใจรูปภาพที่เหลือ ซึ่งช่วยประหยัดเวลาและความพยายามได้มากโดยจำกัดรูปภาพที่เกี่ยวข้องให้แคบลงเพื่อใส่คำอธิบายประกอบรูปภาพที่มีรายละเอียดเพิ่มเติม

ลองนึกถึงมันเป็นกระบวนการจัดเรียงที่คุณจะใส่รูปภาพลงในกล่องที่มีป้ายกำกับต่างๆ ตามหัวเรื่องหลักของรูปภาพ ซึ่งคุณจะใช้กล่องเหล่านี้ในการใส่คำอธิบายประกอบโดยละเอียดมากขึ้น

จุดสำคัญ:

• แนวคิดคือการค้นหาว่าภาพทั้งหมดแสดงถึงอะไร มากกว่าการระบุตำแหน่งของวัตถุแต่ละรายการ
• สองแนวทางที่ใช้กันมากที่สุดสำหรับการจำแนกภาพ ได้แก่ จำแนกประเภทแบบมีผู้ดูแล (โดยใช้ข้อมูลการฝึกอบรมที่มีป้ายกำกับไว้ล่วงหน้า) และจำแนกประเภทแบบไม่มีผู้ดูแล (ค้นพบหมวดหมู่โดยอัตโนมัติ)
• ทำหน้าที่เป็นรากฐานสำหรับงานด้านคอมพิวเตอร์วิทัศน์อื่นๆ อีกมากมาย

การตรวจจับวัตถุ

ในขณะที่การจำแนกภาพจะกำหนดป้ายกำกับให้กับภาพทั้งหมด การตรวจจับวัตถุจะก้าวไปอีกขั้นด้วยการตรวจจับวัตถุและให้ข้อมูลเกี่ยวกับวัตถุเหล่านั้น นอกจากการตรวจจับวัตถุแล้ว ระบบยังกำหนดป้ายกำกับคลาส (เช่น "รถ" "บุคคล" "ป้ายหยุด") ให้กับกล่องขอบเขตแต่ละกล่อง ซึ่งระบุประเภทของวัตถุที่ภาพมี

ลองสมมติว่าคุณมีรูปภาพถนนที่มีวัตถุต่างๆ เช่น รถยนต์ คนเดินถนน และป้ายจราจร หากคุณใช้การจำแนกภาพ ระบบจะจัดหมวดหมู่รูปภาพดังกล่าวเป็น "ฉากถนน" หรือสิ่งที่คล้ายกัน

อย่างไรก็ตาม การตรวจจับวัตถุจะก้าวไปอีกขั้นด้วยการวาดกรอบขอบเขตรอบ ๆ รถยนต์ คนเดินถนน และป้ายจราจร โดยพื้นฐานแล้วก็คือการแยกวัตถุแต่ละชิ้นออกและติดป้ายแต่ละชิ้นด้วยคำอธิบายที่มีความหมาย

จุดสำคัญ:

• วาดกรอบล้อมรอบวัตถุที่ตรวจพบ และกำหนดป้ายกำกับคลาสให้กับวัตถุนั้น
• โดยจะบอกคุณว่ามีวัตถุใดบ้างอยู่และอยู่ที่ไหนในภาพ
• ตัวอย่างการตรวจจับวัตถุยอดนิยม ได้แก่ R-CNN, Fast R-CNN, YOLO (คุณดูเพียงครั้งเดียว) และ SSD (ตัวตรวจจับภาพเดียว)

การแบ่งกลุ่ม

การแบ่งส่วนภาพเป็นกระบวนการแบ่งภาพออกเป็นหลายส่วนหรือหลายชุดพิกเซล (เรียกอีกอย่างว่า ซูเปอร์พิกเซล) เพื่อให้คุณสามารถสร้างสรรค์สิ่งที่มีความหมายและวิเคราะห์ได้ง่ายกว่าภาพต้นฉบับ

การแบ่งส่วนรูปภาพมี 3 ประเภทหลักๆ ซึ่งแต่ละประเภทมีไว้เพื่อการใช้งานที่แตกต่างกัน

1. การแบ่งส่วนความหมาย

   เป็นหนึ่งในงานพื้นฐานในระบบวิชันคอมพิวเตอร์ที่คุณจะแบ่งภาพออกเป็นหลายส่วนและเชื่อมโยงแต่ละส่วนกับป้ายกำกับหรือคลาสความหมาย ซึ่งแตกต่างจากการจำแนกภาพซึ่งคุณจะกำหนดป้ายกำกับเดียวให้กับภาพทั้งหมด การแบ่งส่วนความหมายช่วยให้คุณกำหนดป้ายกำกับคลาสให้กับทุกพิกเซลในภาพ ดังนั้นผลลัพธ์ที่ได้จึงมีความละเอียดอ่อนกว่าการจำแนกภาพ

   เป้าหมายของการแบ่งส่วนความหมายคือการทำความเข้าใจภาพในระดับย่อยโดยการสร้างขอบเขตหรือรูปทรงของแต่ละวัตถุ พื้นผิว หรือพื้นที่ในระดับพิกเซลอย่างแม่นยำ

   จุดสำคัญ:

   • เนื่องจากพิกเซลทั้งหมดของคลาสถูกจัดกลุ่มไว้ด้วยกัน จึงไม่สามารถแยกแยะระหว่างอินสแตนซ์ต่างๆ ของคลาสเดียวกันได้
   • ช่วยให้คุณมีมุมมองแบบ "องค์รวม" โดยการติดป้ายกำกับพิกเซลทั้งหมดแต่ไม่แยกวัตถุทีละชิ้น
   • ในกรณีส่วนใหญ่ จะใช้เครือข่าย Convolutional Network (FCN) เต็มรูปแบบที่ส่งออกแผนผังการจำแนกประเภทด้วยความละเอียดเดียวกันกับอินพุต

2. การแบ่งส่วนอินสแตนซ์

   การแบ่งส่วนอินสแตนซ์เป็นอีกขั้นหนึ่งที่ก้าวไปไกลกว่าการแบ่งส่วนเชิงความหมายโดยไม่เพียงแต่ระบุวัตถุเท่านั้น แต่ยังแบ่งส่วนและกำหนดขอบเขตของวัตถุแต่ละรายการได้อย่างแม่นยำ ซึ่งเครื่องจักรสามารถเข้าใจได้โดยง่าย

   ในการแบ่งส่วนอินสแตนซ์ เมื่อตรวจพบวัตถุทุกชิ้น อัลกอริธึมจะจัดเตรียมกรอบขอบเขต ป้ายกำกับคลาส (เช่น บุคคล รถยนต์ สุนัข) และมาสก์แบบพิกเซลที่แสดงขนาดและรูปร่างที่แน่นอนของวัตถุนั้น ๆ

   มีความซับซ้อนมากกว่าเมื่อเทียบกับการแบ่งส่วนความหมาย โดยมีเป้าหมายคือการติดป้ายกำกับแต่ละพิกเซลด้วยหมวดหมู่ โดยไม่ต้องแยกวัตถุต่าง ๆ ที่มีประเภทเดียวกัน

   จุดสำคัญ:

   • ระบุและแยกวัตถุแต่ละชิ้นโดยติดป้ายกำกับเฉพาะให้กับแต่ละวัตถุ
   • มุ่งเน้นไปที่วัตถุที่นับได้ที่มีรูปร่างชัดเจน เช่น คน สัตว์ และยานพาหนะ
   • โดยจะใช้มาสก์แยกต่างหากสำหรับแต่ละออบเจ็กต์ แทนที่จะใช้มาสก์เดียวต่อหมวดหมู่
   • ส่วนใหญ่ใช้เพื่อขยายโมเดลการตรวจจับวัตถุ เช่น Mask R-CNN ผ่านสาขาการแบ่งส่วนเพิ่มเติม

3. การแบ่งส่วน Panoptic

   การแบ่งส่วนแบบ Panoptic ผสมผสานความสามารถของการแบ่งส่วนความหมายและการแบ่งส่วนอินสแตนซ์ ส่วนที่ดีที่สุดของการใช้การแบ่งส่วนแบบพาโนรามาจะกำหนดป้ายกำกับความหมายและ ID อินสแตนซ์ให้กับทุกพิกเซลในรูปภาพ ทำให้คุณวิเคราะห์ฉากทั้งหมดได้อย่างสมบูรณ์ในครั้งเดียว

   ผลลัพธ์ของการแบ่งส่วนแบบพาโนรามาเรียกว่าแผนที่การแบ่งส่วน โดยที่แต่ละพิกเซลจะมีป้ายกำกับด้วยคลาสความหมายและ ID อินสแตนซ์ (หากพิกเซลนั้นเป็นส่วนหนึ่งของอินสแตนซ์ของอ็อบเจกต์) หรือว่าง (หากพิกเซลนั้นไม่เป็นส่วนหนึ่งของอินสแตนซ์ใดๆ)

   แต่ก็มีความท้าทายบางประการเช่นกัน จำเป็นต้องให้โมเดลดำเนินการทั้งสองงานพร้อมกันและแก้ไขข้อขัดแย้งที่อาจเกิดขึ้นระหว่างการทำนายเชิงความหมายและเชิงอินสแตนซ์ ซึ่งต้องใช้ทรัพยากรระบบมากขึ้น และจะใช้เฉพาะในกรณีที่จำเป็นต้องใช้ทั้งเชิงความหมายและเชิงอินสแตนซ์ซึ่งมีข้อจำกัดด้านเวลาเท่านั้น

   จุดสำคัญ:

   • โดยจะกำหนดป้ายกำกับความหมายและ ID อินสแตนซ์ให้กับทุกพิกเซล
   • การผสมผสานระหว่างบริบทเชิงความหมายและการตรวจจับระดับอินสแตนซ์
   • โดยทั่วไปจะเกี่ยวข้องกับการใช้แบบจำลองการแบ่งเซ็กเมนต์ความหมายและอินสแตนซ์ที่แยกจากกันด้วยแกนหลักที่ใช้ร่วมกัน

   นี่เป็นภาพประกอบง่ายๆ ที่แสดงให้เห็นถึงความแตกต่างระหว่างการแบ่งส่วนทางความหมาย การแบ่งส่วนแบบอินสแตนซ์ และการแบ่งส่วนแบบพาโนปติก: