การระบุขอบเขตด้วย LiDAR 3 มิติ สำหรับการขับขี่อัตโนมัติ

Shaip นำเสนอวิธีการสร้างกรอบสี่เหลี่ยมลูกบาศก์ 3 มิติที่แม่นยำสำหรับวัตถุ 14 ประเภท โดยมีกรอบประมาณ 53 กรอบต่อเฟรม บนข้อมูลจุดเมฆแบบเฟรมเดียว ซึ่งได้รับการปรับเทียบกับภาพ 2 มิติ เพื่อการรับรู้ของยานยนต์ไร้คนขับในระดับการผลิต

ดาวน์โหลดกรณีศึกษา
การระบุขอบเขตของภาพ 3 มิติจากระบบ LiDAR สำหรับการขับขี่อัตโนมัติ

ภาพรวมโครงการ

เนื่องจากระบบการรับรู้การขับขี่อัตโนมัติกำลังก้าวไปสู่การใช้งานจริง ลูกค้าจึงต้องการไปป์ไลน์การสร้างคำอธิบายประกอบ LiDAR 3 มิติที่มีความเชี่ยวชาญสูง ซึ่งสามารถวางกรอบสี่เหลี่ยมลูกบาศก์ที่มีความแม่นยำสูงในความหนาแน่นที่จำเป็นสำหรับข้อมูลการฝึกอบรม AV จริง พร้อมด้วยการติดป้ายกำกับหลายคุณลักษณะและการปรับเทียบภาพ 2 มิติ

Shaip ได้สร้างไปป์ไลน์การใส่คำอธิบายประกอบแบบครบวงจร ครอบคลุมการวางตำแหน่งทรงลูกบาศก์ 3 มิติ การบังคับใช้ขนาดเริ่มต้น การติดป้ายกำกับหลายคุณลักษณะ การจัดการกรณีพิเศษด้านสิ่งแวดล้อม และการตรวจสอบความถูกต้องของภาพอ้างอิง ซึ่งส่งผลให้ได้ชุดข้อมูลการรับรู้ภาพและเสียงที่พร้อมใช้งานสำหรับโมเดล ครอบคลุมวัตถุ 14 ประเภท

สถานะสำคัญ

คลาสวัตถุ

14

กล่องต่อเฟรม

~ 53

เลเยอร์แอตทริบิวต์

5

ระดับการอุดตัน

4

ชาเลนจ์ (Challenge)

  • การวาง ~53 กล่องทรงสี่เหลี่ยมลูกบาศก์ 3 มิติ ต่อเฟรม ด้วยความแม่นยำและแนบสนิทกับขอบของจุดเมฆ
  • การจัดการ คลาสวัตถุ 14 คลาส ข้ามยานพาหนะ คนเดินเท้า สัตว์ และวัตถุเคลื่อนที่
  • การทำงาน พร้อมกันนี้จะใช้ภาพสอบเทียบ 2 มิติและจุดเมฆ 3 มิติ ข้อมูล
  • ผู้จัดการ กลุ่มจุดเงา, ภาพสะท้อนบนพื้น, หมอก, ละอองน้ำ และละอองน้ำ
  • การบังคับใช้ ขนาดเริ่มต้นต่อคลาส เพื่อความสม่ำเสมอของเฟรมข้าม

Solution

ขั้นตอนการจัดวางทรงสี่เหลี่ยมลูกบาศก์ 3 มิติ

ผู้ให้ข้อมูลได้วางกรอบสี่เหลี่ยมลูกบาศก์ 3 มิติที่มีความแม่นยำสูงลงบนข้อมูลจุดเมฆในเฟรมเดียวพร้อมๆ กับภาพอ้างอิงสำหรับการปรับเทียบแบบ 2 มิติ โดยแต่ละคลาสจะมีขนาดกรอบสี่เหลี่ยมเริ่มต้นที่กำหนดไว้ เพื่อให้มั่นใจได้ว่าขนาดมีความสม่ำเสมอในทุกเฟรม เช่น รถยนต์กว้าง 3.4–5.1 เมตร รถบรรทุกกว้าง 3.4–14 เมตร และคนเดินเท้ากว้าง 0.4–1.2 เมตร

การติดฉลากหลายคุณลักษณะ

นอกเหนือจากการกำหนดขอบเขตของกรอบแล้ว วัตถุทุกชิ้นที่ถูกระบุจะได้รับป้ายกำกับคุณลักษณะที่ครอบคลุมสถานะของยานพาหนะ (กำลังขับ/จอด), สถานะของยานพาหนะสองล้อ (มี/ไม่มีผู้ขับขี่), สถานะของคนเดินเท้า (ยืน/นั่ง/นอน), สถานะการบดบัง (4 ระดับ: ไม่มี, บางส่วน, ส่วนใหญ่, เต็ม) และสถานะของส่วนปลาย (วัตถุที่ยื่นออกมา, ประตูที่เปิดอยู่, อุปกรณ์ที่ติดอยู่)

การจัดการกรณีพิเศษด้านสิ่งแวดล้อม

มีการกำหนดกฎเกณฑ์ที่เข้มงวดสำหรับการระบุวัตถุที่ถูกบดบังอย่างมากหรืออยู่ไกล จุดเมฆเสมือนที่เกิดจากการปรับเทียบ LiDAR ผิดพลาด การสะท้อนจากพื้นดิน และสัญญาณรบกวนจากสิ่งแวดล้อม เช่น น้ำกระเด็น หมอก และละอองน้ำ กระจกมองข้าง ประตูที่เปิดอยู่ แขนเครน ราวหลังคา และสัมภาระของคนเดินเท้าถูกยกเว้นอย่างชัดเจน ส่วนไซเรนฉุกเฉินและภาชนะบรรทุกบนกระบะรถบรรทุกนั้นรวมอยู่ด้วย

การตรวจสอบความพอดีของกล่อง

จำเป็นต้องกำหนดขอบเขตของกรอบให้พอดีกับขอบของกลุ่มจุดโดยมีช่องว่างที่มองเห็นได้น้อยที่สุด การตรวจสอบทิศทางทำได้โดยใช้ข้อมูลการสอบเทียบและบริบทของเลนในกรณีที่กลุ่มจุดไม่ชัดเจน ฉากกลางคืนและฉากฝนตกถือว่าเทียบเท่ากับสภาพกลางวันเพื่อให้การระบุตำแหน่งมีความสอดคล้องกัน

การประกันคุณภาพข้ามรูปแบบ

ข้อมูลระบุตำแหน่งทั้งหมดได้รับการตรวจสอบความถูกต้องโดยเทียบกับภาพ 2 มิติอ้างอิง เพื่อยืนยันขนาดและการวางแนวที่ถูกต้อง ขั้นตอนการตรวจสอบคุณภาพแบบข้ามโมดอลนี้ช่วยตรวจจับความคลาดเคลื่อนที่ไม่สามารถมองเห็นได้จากข้อมูลจุดเพียงอย่างเดียว ทำให้มั่นใจได้ถึงความแม่นยำระดับใช้งานจริงสำหรับการฝึกอบรมโมเดลการรับรู้ภาพและเสียงในขั้นตอนต่อไป

ขอบเขตโครงการ

ประเภทชุดข้อมูล เรียน กล่อง/กรอบ คุณสมบัติ ระดับการอุดตัน การตรวจสอบ
การรับรู้ภาพและเสียงด้วย LiDAR 3 มิติ 14 เฉลี่ยประมาณ 53 เลเยอร์แอตทริบิวต์ 5 ชั้น 4 (0–100%) การตรวจสอบภาพ 2 มิติ

ผลลัพธ์

  • ก่อตั้งเป็น กระบวนการสร้างคำอธิบายประกอบ LiDAR 3 มิติที่มีความหนาแน่นสูง โดยมีกล่องประมาณ 53 กล่องต่อเฟรมที่ความแม่นยำในการผลิต
  • มาตรฐาน ออนโทโลยีวัตถุ 14 คลาส โดยมีการบังคับใช้ขนาดเริ่มต้นต่อคลาส
  • จัดส่ง เลเยอร์แอตทริบิวต์ 5 ชั้น รวมถึงการจำแนกประเภทการอุดตัน 4 ระดับ
  • การดำเนินการ การประกันคุณภาพข้ามรูปแบบ ตรวจสอบความถูกต้องของกล่อง 3 มิติเทียบกับภาพสอบเทียบ 2 มิติ
  • เปิดใช้งานของลูกค้า การรับรู้ของยานพาหนะอัตโนมัติ, ADAS และการขับขี่อัตโนมัติ การฝึกโมเดล

โดยรวมแล้ว Shaip ช่วยเปลี่ยนความต้องการการรับรู้ภาพ 3 มิติที่ซับซ้อนจาก LiDAR ให้กลายเป็นไปป์ไลน์การใส่คำอธิบายประกอบที่มีโครงสร้างและพร้อมใช้งานจริง ซึ่งสามารถรองรับการพัฒนาระบบขับขี่อัตโนมัติ, ADAS, รถแท็กซี่ไร้คนขับ และรถบรรทุกขับเคลื่อนด้วยตนเอง ด้วยความแม่นยำระดับการสอบเทียบในสภาพแวดล้อมจริงที่ท้าทาย

ไอคอนคำคม

Shaip จัดการกับกรณีพิเศษของภาพและเสียงที่มักทำให้กระบวนการสร้างคำอธิบายภาพส่วนใหญ่ล้มเหลว เช่น หมอก จุดเมฆเสมือน การบดบังที่หนาแน่น และกล่องประมาณ 53 กล่องต่อเฟรม การตรวจสอบความถูกต้องแบบไขว้ระหว่าง 2 มิติและ 3 มิติของพวกเขาทำให้เราได้ข้อมูลการฝึกอบรมด้านการรับรู้ที่เชื่อถือได้

— หัวหน้าวิศวกร ฝ่าย Perception Stack

★★★★★
ไอคอนคำคม