การระบุวัตถุในฉากภายในอาคารสำหรับหุ่นยนต์บริการและปัญญาประดิษฐ์แบบฝังตัว — กรณีศึกษา
Shaip ได้ส่งมอบข้อมูลการระบุตำแหน่งฉากภายในอาคารอย่างครอบคลุมให้กับบริษัทชั้นนำด้านนวัตกรรมหุ่นยนต์ โดยตรวจจับและติดป้ายกำกับวัตถุทุกชิ้นในสภาพแวดล้อมภายในห้อง พร้อมติดแท็กความสัมพันธ์เชิงพื้นที่ ซึ่งสร้างขึ้นเป็นชุดข้อมูลระดับใช้งานจริงสำหรับ AI ด้านการรับรู้และการนำทางของหุ่นยนต์ในบ้าน สำนักงาน คลังสินค้า และสถานพยาบาล
ภาพรวมโครงการ
เนื่องจากเทคโนโลยีหุ่นยนต์กำลังก้าวเข้าสู่การใช้งานจริงในบ้าน สำนักงาน โกดัง และโรงพยาบาล ลูกค้าจึงต้องการระบบการติดป้ายกำกับข้อมูลที่ครอบคลุม ซึ่งสามารถติดป้ายกำกับวัตถุที่มองเห็นได้ทุกชิ้นในฉากภายในอาคารที่มีสิ่งของหนาแน่น โดยมีรายละเอียดของคุณลักษณะที่เพียงพอสำหรับงานปฏิสัมพันธ์ของหุ่นยนต์
Shaip ได้สร้างไปป์ไลน์การประมวลผลข้อมูลแบบครบวงจร ตั้งแต่การกำหนดขอบเขตของวัตถุและการแบ่งส่วนรูปหลายเหลี่ยม การรวมวัตถุที่มีความหนาแน่นสูง การติดแท็กความสัมพันธ์เชิงพื้นที่ และการจัดการพื้นผิวสะท้อนแสง ซึ่งทำให้ได้ชุดข้อมูลที่พร้อมใช้งานสำหรับโมเดลด้านการรับรู้ การนำทาง และการปฏิสัมพันธ์ระหว่างมนุษย์กับสิ่งแวดล้อมของหุ่นยนต์
สถิติสำคัญ
วัตถุ / รูปภาพ
100s
หมวดหมู่
หนาแน่น
วิธีการ
กล่อง + รูปหลายเหลี่ยม
เลเยอร์แอตทริบิวต์
4
ชาเลนจ์ (Challenge)
- คำอธิบายประกอบ วัตถุที่มองเห็นได้ทุกชิ้น ในภาพห้องที่รกไปด้วยสิ่งของมากมาย — หลายร้อยชิ้นต่อเฟรม
- การเลือกวิธีการที่เหมาะสม — การแบ่งส่วนด้วยกรอบล้อมรอบเทียบกับการแบ่งส่วนด้วยรูปหลายเหลี่ยม — พิจารณาจากความซับซ้อนของวัตถุ
- รวมทั้ง วัตถุขนาดเล็ก เช่น สวิตช์ ปลั๊ก และของตกแต่งต่างๆ ที่มีความสำคัญต่อการโต้ตอบของหุ่นยนต์
- การจัดการ พื้นผิวสะท้อนแสง (กระจก, โต๊ะกระจก) โดยไม่มีคำอธิบายประกอบแบบเงา
- การติดแท็ก ความสัมพันธ์เชิงพื้นที่ และสถานะของวัตถุสำหรับปัญญาประดิษฐ์หุ่นยนต์ที่รับรู้บริบท
Solution
การรวมวัตถุอย่างครอบคลุม
วัตถุทุกชิ้นที่ปรากฏให้เห็นในภาพห้องแต่ละภาพได้รับการระบุรายละเอียดทีละชิ้นในหลากหลายหมวดหมู่ ได้แก่ เฟอร์นิเจอร์ (เก้าอี้ โต๊ะ โซฟา เตียง ชั้นวางของ) เครื่องใช้ไฟฟ้า (โทรทัศน์ ตู้เย็น ไมโครเวฟ โคมไฟ) ของใช้ส่วนตัว (กระเป๋า หนังสือ ขวด เสื้อผ้า) โครงสร้าง (ประตู หน้าต่าง ผนัง พื้น) และวัตถุขนาดเล็ก (รีโมทคอนโทรล ถ้วย จาน แป้นพิมพ์ สวิตช์ ปลั๊ก)
การเลือกวิธีการต่อวัตถุ
วัตถุต่างๆ ถูกกำหนดขอบเขตอย่างแม่นยำโดยใช้กรอบสี่เหลี่ยมหรือการแบ่งส่วนด้วยรูปหลายเหลี่ยม ขึ้นอยู่กับรูปร่างและความซับซ้อนของวัตถุ กรอบสี่เหลี่ยมใช้สำหรับวัตถุรูปสี่เหลี่ยมผืนผ้าทั่วไป ส่วนรูปหลายเหลี่ยมใช้สำหรับรูปทรงที่ไม่เรียบและสิ่งของที่อยู่ชิดกันมาก ซึ่งกรอบสี่เหลี่ยมอาจทับซ้อนกันมากเกินไป การเลือกวิธีการกำหนดขอบเขตตามวัตถุแต่ละชิ้นนี้ ช่วยให้ได้ขอบเขตที่ชัดเจนแม้ในฉากที่รกไปด้วยสิ่งของ
การติดแท็กความสัมพันธ์เชิงพื้นที่
วัตถุแต่ละชิ้นที่ถูกระบุรายละเอียดจะได้รับการเสริมด้วยคุณลักษณะต่างๆ เช่น สถานะของวัตถุ (เปิดหรือปิดสำหรับประตูและลิ้นชัก) แท็กความสัมพันธ์เชิงพื้นที่ที่บ่งบอกถึงความใกล้ชิดและการจัดวางสัมพันธ์กับวัตถุอื่นๆ สถานะการบดบัง และสภาพของวัตถุ ชั้นข้อมูลเชิงพื้นที่นี้ช่วยให้ระบบ AI หุ่นยนต์สามารถเข้าใจบริบท ไม่ใช่แค่ตรวจจับวัตถุเท่านั้น
การคุ้มครองวัตถุขนาดเล็กและการโต้ตอบที่สำคัญ
ผู้จัดทำคำอธิบายได้ปฏิบัติตามกฎการรวมอย่างเคร่งครัดเพื่อติดป้ายกำกับวัตถุที่มองเห็นได้ทุกชิ้นโดยไม่คำนึงถึงขนาด รวมถึงสิ่งของขนาดเล็ก เช่น สวิตช์ ปลั๊ก และของตกแต่ง ซึ่งมีความสำคัญต่อภารกิจการโต้ตอบของหุ่นยนต์ สิ่งของเหล่านี้มักเป็นตัวกำหนดว่าหุ่นยนต์จะสามารถทำงานให้สำเร็จได้หรือไม่ ดังนั้นจึงไม่สามารถลดความสำคัญลงได้
การจัดการพื้นผิวสะท้อนแสง
พื้นผิวสะท้อนแสง เช่น กระจกและโต๊ะกระจก จำเป็นต้องได้รับการจัดการเป็นพิเศษเพื่อหลีกเลี่ยงการติดป้ายกำกับซ้ำซ้อนหรือภาพซ้อน มีแนวทางเฉพาะที่กำหนดว่าวัตถุที่สะท้อนแสงควรได้รับการติดป้ายกำกับแยกต่างหาก ละเลย หรือทำเครื่องหมายไว้ เพื่อให้แน่ใจว่าโมเดลในขั้นตอนถัดไปจะไม่เรียนรู้จากป้ายกำกับที่มีสิ่งผิดปกติ
ขอบเขตโครงการ
| ประเภทชุดข้อมูล | คุ้มครอง | วิธีการ | หมวดหมู่ | คุณสมบัติ | การจัดการพิเศษ |
|---|---|---|---|---|---|
| การระบุวัตถุในฉากภายในอาคาร | วัตถุที่มองเห็นได้ทุกชิ้น | กล่อง + รูปหลายเหลี่ยม | เฟอร์นิเจอร์ เครื่องใช้ไฟฟ้า ของใช้ส่วนตัว โครงสร้าง ขนาดเล็ก | 4 ชั้น (สถานะ, พื้นที่, การบดบัง, เงื่อนไข) | กฎของพื้นผิวสะท้อนแสง |
ผลลัพธ์
- ก่อตั้ง ไปป์ไลน์การใส่คำอธิบายประกอบที่มีความหนาแน่นของวัตถุ สำหรับการรับรู้ของหุ่นยนต์ภายในอาคาร
- มาตรฐาน การเลือกวิธีการต่อวัตถุ ระหว่างกรอบล้อมรอบและการแบ่งส่วนรูปหลายเหลี่ยม
- จัดส่ง การติดแท็กความสัมพันธ์เชิงพื้นที่ การเปิดใช้งาน AI หุ่นยนต์ที่รับรู้บริบท
- การดำเนินการ การจัดการพื้นผิวสะท้อนแสง เพื่อป้องกันคำอธิบายประกอบที่หายไป
- เปิดใช้งานของลูกค้า บ้าน คลังสินค้า ร้านค้าปลีก และสถานพยาบาล การนำ AI มาใช้ในหุ่นยนต์
โดยรวมแล้ว Shaip ช่วยเปลี่ยนความต้องการการติดป้ายกำกับข้อมูลภายในอาคารที่มีวัตถุหนาแน่นให้กลายเป็นไปป์ไลน์ที่มีโครงสร้างและพร้อมใช้งานจริง ซึ่งสามารถรองรับการนำทางของหุ่นยนต์ ระบบอัตโนมัติในการหยิบและวาง การตรวจสอบสภาพแวดล้อมอัจฉริยะ และการโต้ตอบระหว่างมนุษย์กับหุ่นยนต์ในสภาพแวดล้อมการใช้งานภายในอาคารที่หลากหลาย
Shaip ได้ทำการระบุรายละเอียดของห้องต่างๆ ในแบบที่หุ่นยนต์ของเรามองเห็น — ทุกสิ่งทุกอย่าง ความสัมพันธ์ทุกอย่าง และสิ่งเล็กๆ น้อยๆ ทุกอย่างที่สำคัญ การที่หุ่นยนต์ใส่ใจในสวิตช์ ปลั๊ก และพื้นผิวสะท้อนแสง ทำให้แบบจำลองการรับรู้ของเราไม่พลาดในสิ่งที่ชุดข้อมูลส่วนใหญ่ละเลย
