โลกไม่เหมือนเดิมตั้งแต่คอมพิวเตอร์เริ่มมองวัตถุและตีความมัน ตั้งแต่องค์ประกอบความบันเทิงที่อาจเป็นเรื่องง่ายๆ อย่างฟิลเตอร์ Snapchat ที่สร้างเคราตลกๆ บนใบหน้าของคุณไปจนถึงระบบที่ซับซ้อนที่ตรวจจับการมีอยู่ของเนื้องอกเล็กๆ น้อยๆ จากรายงานการสแกนโดยอัตโนมัติ คอมพิวเตอร์วิทัศน์มีบทบาทสำคัญในวิวัฒนาการของมนุษยชาติ
อย่างไรก็ตาม สำหรับระบบ AI ที่ไม่ได้รับการฝึกฝน ตัวอย่างภาพหรือชุดข้อมูลที่ป้อนเข้าไปนั้นไม่มีความหมายอะไรเลย คุณสามารถป้อนภาพวอลล์สตรีทที่จอแจหรือภาพไอศกรีมได้ โดยระบบจะไม่รู้ว่าทั้งสองคืออะไร นั่นเป็นเพราะพวกเขายังไม่ได้เรียนรู้วิธีการจัดประเภทและแบ่งกลุ่มรูปภาพและองค์ประกอบภาพ
ขั้นตอนนี้เป็นกระบวนการที่ซับซ้อนและใช้เวลานานมาก ซึ่งต้องอาศัยความใส่ใจในรายละเอียดและแรงงานอย่างพิถีพิถัน นี่คือจุดที่ผู้เชี่ยวชาญด้านการใส่คำอธิบายประกอบข้อมูลเข้ามาและระบุแอตทริบิวต์หรือแท็กข้อมูลทุกๆ ไบต์บนรูปภาพด้วยตนเอง เพื่อให้แน่ใจว่าโมเดล AI จะเรียนรู้องค์ประกอบต่างๆ ในชุดข้อมูลภาพได้อย่างง่ายดาย เมื่อคอมพิวเตอร์ฝึกโดยใช้ข้อมูลที่มีคำอธิบายประกอบ คอมพิวเตอร์จะแยกแยะภูมิทัศน์จากทิวทัศน์ของเมือง สัตว์จากนก เครื่องดื่มและอาหาร และการจำแนกประเภทที่ซับซ้อนอื่นๆ ได้อย่างง่ายดาย
เมื่อเราได้ทราบสิ่งนี้แล้ว Data annotator จะจำแนกและติดแท็กองค์ประกอบภาพอย่างไร มีเทคนิคเฉพาะที่พวกเขาใช้หรือไม่? ถ้าใช่ มันคืออะไร?
นี่คือสิ่งที่โพสต์นี้จะเกี่ยวกับ - คำอธิบายประกอบภาพ ประเภท ข้อดี ความท้าทาย และกรณีการใช้งาน
ประเภทคำอธิบายประกอบรูปภาพ
เทคนิคการใส่คำอธิบายประกอบภาพสำหรับการมองเห็นด้วยคอมพิวเตอร์สามารถจำแนกได้เป็น XNUMX ประเภทใหญ่ๆ ดังนี้
- การตรวจจับวัตถุ
- การตรวจจับสาย
- การตรวจจับจุดสังเกต
- การแบ่งกลุ่ม
- การจำแนกรูปภาพ
การตรวจจับวัตถุ
ตามชื่อที่แนะนำ เป้าหมายของการตรวจจับวัตถุคือการช่วยให้คอมพิวเตอร์และโมเดล AI ระบุวัตถุต่างๆ ในภาพได้ เพื่อระบุว่าอ็อบเจกต์ที่หลากหลายคืออะไร ผู้เชี่ยวชาญด้านการทำหมายเหตุประกอบข้อมูลจะใช้เทคนิคที่โดดเด่นสามประการ:
- กล่องขอบ 2D: ที่กล่องสี่เหลี่ยมบนวัตถุต่าง ๆ ในภาพจะถูกวาดและติดป้ายกำกับ
- กล่องขอบ 3D: โดยที่กล่องสามมิติจะถูกวาดทับวัตถุเพื่อให้เห็นความลึกของวัตถุเช่นกัน
- รูปหลายเหลี่ยม: โดยที่วัตถุที่แปลกและไม่เหมือนใครจะถูกติดฉลากด้วยการทำเครื่องหมายที่ขอบของวัตถุและรวมเข้าด้วยกันเพื่อปกปิดรูปร่างของวัตถุในที่สุด
ข้อดี
- เทคนิค 2D และ 3D bounding Boxes นั้นง่ายมาก และสามารถติดป้ายกำกับวัตถุได้อย่างง่ายดาย
- กล่องล้อมรอบ 3D ให้รายละเอียดเพิ่มเติม เช่น การวางแนวของวัตถุ ซึ่งไม่มีอยู่ในเทคนิค 2D bound Boxes
ข้อเสียของการตรวจจับวัตถุ
- กล่องขอบเขต 2D และ 3D ยังรวมพิกเซลพื้นหลังที่ไม่ได้เป็นส่วนหนึ่งของวัตถุ สิ่งนี้บิดเบือนการฝึกอบรมในหลาย ๆ ด้าน
- ในเทคนิค 3D bounding Boxes ผู้ใส่คำอธิบายประกอบส่วนใหญ่จะถือว่าความลึกของวัตถุ สิ่งนี้ส่งผลกระทบอย่างมากต่อการฝึก
- เทคนิครูปหลายเหลี่ยมอาจใช้เวลานานหากวัตถุซับซ้อนมาก
การตรวจจับเส้น
เทคนิคนี้ใช้เพื่อแบ่งส่วน ใส่คำอธิบายประกอบ หรือระบุเส้นและขอบเขตในภาพ เช่น เลนบนถนนในเมือง
ข้อดี
ข้อได้เปรียบที่สำคัญของเทคนิคนี้คือสามารถตรวจจับและใส่คำอธิบายประกอบพิกเซลที่ไม่มีเส้นขอบร่วมกันได้ วิธีนี้เหมาะสำหรับการใส่คำอธิบายประกอบในบรรทัดที่สั้นหรือที่ปิดบัง
ข้อเสีย
- หากมีหลายบรรทัด กระบวนการจะใช้เวลานานขึ้น
- เส้นหรือวัตถุที่ทับซ้อนกันอาจให้ข้อมูลและผลลัพธ์ที่ทำให้เข้าใจผิด
การตรวจจับจุดสังเกต
จุดสังเกตในคำอธิบายประกอบข้อมูลไม่ได้หมายถึงสถานที่ที่มีความสนใจหรือความสำคัญเป็นพิเศษ เป็นประเด็นพิเศษหรือจำเป็นในรูปภาพที่ต้องใส่คำอธิบายประกอบ นี่อาจเป็นลักษณะใบหน้า ไบโอเมตริกซ์ หรือมากกว่า สิ่งนี้เรียกว่าการประมาณค่าท่าทางเช่นกัน
ข้อดี
เหมาะอย่างยิ่งในการฝึกโครงข่ายประสาทเทียมที่ต้องการพิกัดที่แม่นยำของจุดสังเกต
ข้อเสีย
การดำเนินการนี้ใช้เวลานานมาก เนื่องจากต้องมีการอธิบายจุดสำคัญทุกนาทีอย่างแม่นยำ
การแบ่งกลุ่ม
กระบวนการที่ซับซ้อน โดยที่ภาพเดียวแบ่งออกเป็นหลายส่วนเพื่อระบุแง่มุมต่างๆ ในภาพ ซึ่งรวมถึงการตรวจจับขอบเขต การระบุตำแหน่งวัตถุ และอื่นๆ เพื่อให้คุณมีความคิดที่ดีขึ้น นี่คือรายการเทคนิคการแบ่งส่วนที่โดดเด่น:
- การแบ่งส่วนความหมาย: โดยที่ทุกพิกเซลในรูปภาพจะมีคำอธิบายประกอบพร้อมข้อมูลโดยละเอียด สิ่งสำคัญสำหรับโมเดลที่ต้องการบริบทด้านสิ่งแวดล้อม
- การแบ่งส่วนอินสแตนซ์: โดยที่แต่ละอินสแตนซ์ขององค์ประกอบในภาพจะได้รับคำอธิบายประกอบสำหรับข้อมูลที่ละเอียด
- การแบ่งส่วน Panoptic: โดยที่รายละเอียดจากการแบ่งส่วนความหมายและอินสแตนซ์จะถูกรวมและใส่คำอธิบายประกอบไว้ในรูปภาพ
ข้อดี
- เทคนิคเหล่านี้ดึงข้อมูลที่ดีที่สุดออกมาจากวัตถุ
- พวกเขาเพิ่มบริบทและคุณค่าเพิ่มเติมสำหรับวัตถุประสงค์ในการฝึกอบรม เพิ่มประสิทธิภาพผลลัพธ์ในท้ายที่สุด
ข้อเสีย
เทคนิคเหล่านี้ใช้แรงงานจำนวนมากและน่าเบื่อหน่าย
การจำแนกรูปภาพ
การจำแนกรูปภาพเกี่ยวข้องกับการระบุองค์ประกอบในวัตถุและจำแนกออกเป็นคลาสวัตถุเฉพาะ เทคนิคนี้แตกต่างจากเทคนิคการตรวจจับวัตถุอย่างมาก ในระยะหลัง วัตถุจะถูกระบุเพียงเท่านั้น ตัวอย่างเช่น รูปภาพของแมวสามารถใส่คำอธิบายประกอบได้ง่ายๆ ว่าเป็นสัตว์
อย่างไรก็ตาม ในการจำแนกรูปภาพ รูปภาพนั้นจัดอยู่ในประเภทแมว สำหรับรูปภาพที่มีสัตว์หลายตัว สัตว์ทุกตัวจะถูกตรวจจับและจำแนกตามนั้น
ข้อดี
- ให้รายละเอียดเพิ่มเติมแก่เครื่องเกี่ยวกับวัตถุในชุดข้อมูล
- ช่วยให้แบบจำลองแยกแยะความแตกต่างระหว่างสัตว์ต่างๆ (เช่น) หรือองค์ประกอบเฉพาะรุ่นได้อย่างแม่นยำ
ข้อเสีย
ต้องใช้เวลามากขึ้นสำหรับผู้เชี่ยวชาญด้านคำอธิบายประกอบข้อมูลในการระบุและจัดประเภทองค์ประกอบภาพทั้งหมดอย่างรอบคอบ
ใช้กรณีของเทคนิคการใส่คำอธิบายประกอบรูปภาพใน Computer Vision
| เทคนิคการใส่คำอธิบายประกอบรูปภาพ | ใช้กรณี |
|---|---|
| กล่องขอบเขต 2D และ 3D | เหมาะสำหรับใส่คำอธิบายประกอบรูปภาพของผลิตภัณฑ์และสินค้าสำหรับระบบการเรียนรู้ของเครื่องเพื่อประเมินต้นทุน สินค้าคงคลัง และอื่นๆ |
| รูปหลายเหลี่ยม | เนื่องจากความสามารถในการใส่คำอธิบายประกอบวัตถุและรูปร่างที่ผิดปกติ จึงเหมาะอย่างยิ่งสำหรับการติดแท็กอวัยวะของมนุษย์ในบันทึกการถ่ายภาพดิจิทัล เช่น X-Rays, CT scan และอื่นๆ สามารถใช้ในการฝึกอบรมระบบเพื่อตรวจจับความผิดปกติและความผิดปกติจากรายงานดังกล่าว |
| การแบ่งส่วนความหมาย | ใช้ในพื้นที่ของรถยนต์ที่ขับด้วยตนเอง โดยทุกพิกเซลที่เกี่ยวข้องกับการเคลื่อนที่ของรถสามารถติดแท็กได้อย่างแม่นยำ การจัดประเภทรูปภาพใช้ได้กับรถยนต์ที่ขับด้วยตนเอง โดยสามารถใช้ข้อมูลจากเซ็นเซอร์เพื่อตรวจจับและแยกความแตกต่างระหว่างสัตว์ คนเดินถนน วัตถุบนถนน เลน และอื่นๆ |
| การตรวจจับจุดสังเกต | ใช้เพื่อตรวจจับและศึกษาอารมณ์ของมนุษย์และเพื่อการพัฒนาระบบจดจำใบหน้า |
| เส้นและเส้นโค้ง | มีประโยชน์ในคลังสินค้าและหน่วยการผลิต ซึ่งสามารถกำหนดขอบเขตให้หุ่นยนต์ทำงานอัตโนมัติได้ |
ห่อขึ้น
อย่างที่คุณเห็น วิสัยทัศน์คอมพิวเตอร์ มีความซับซ้อนอย่างมาก มีความสลับซับซ้อนมากมายที่ต้องดูแล แม้ว่ารูปลักษณ์และเสียงจะดูน่ากังวล แต่ความท้าทายเพิ่มเติม ได้แก่ ความพร้อมใช้งานของข้อมูลคุณภาพในเวลาที่เหมาะสม ปราศจากข้อผิดพลาด หมายเหตุข้อมูล กระบวนการ และเวิร์กโฟลว์ ความเชี่ยวชาญเฉพาะด้านของผู้ใส่คำอธิบายประกอบ และอื่นๆ
ที่ถูกกล่าวว่า บริษัทคำอธิบายประกอบข้อมูลเช่น ไชยป์ กำลังทำงานอย่างมากในการส่งมอบชุดข้อมูลที่มีคุณภาพให้กับบริษัทต่างๆ ที่ต้องการชุดข้อมูลเหล่านี้ ในอีกไม่กี่เดือนข้างหน้า เราอาจเห็นวิวัฒนาการในพื้นที่นี้ ซึ่งระบบการเรียนรู้ของเครื่องสามารถใส่คำอธิบายประกอบชุดข้อมูลได้ด้วยตนเองอย่างแม่นยำโดยไม่มีข้อผิดพลาด
