พลิกโฉมการทำความเข้าใจภาพเหตุการณ์ทางรถไฟด้วย LiDAR และการระบุรายละเอียดแบบ 2 มิติ
ค้นพบว่าบริการ LiDAR กล้อง และการติดป้ายกำกับข้อมูล 2 มิติของ Shaip ช่วยให้โมเดล AI ตรวจจับวัตถุ เข้าใจสภาพแวดล้อมทางรถไฟ และปรับปรุงการรับรู้การเคลื่อนที่อัตโนมัติได้อย่างไร
ภาพรวมโครงการ
ระบบการรับรู้ทางรถไฟสมัยใหม่ต้องการมากกว่าแค่การติดป้ายกำกับวัตถุแบบทั่วไป แต่ต้องการบริบทเฉพาะของรางรถไฟ รูปทรงเรขาคณิตที่แม่นยำ และความสอดคล้องที่เชื่อถือได้ระหว่างเซ็นเซอร์ต่างๆ ทั้งในกลุ่มจุด LiDAR และมุมมองกล้องที่ซิงโครไนซ์กัน
เพื่อตอบสนองความต้องการนี้ Shaip ได้รับมอบหมายให้ดำเนินโครงการการระบุข้อมูล LiDAR สำหรับโครงสร้างพื้นฐานทางรถไฟ โดยขอบเขตงานประกอบด้วยการระบุข้อมูลจุดเมฆ LiDAR ที่ได้รับการสนับสนุนจากภาพอ้างอิง 2 มิติที่ซิงโครไนซ์กัน 5 ภาพต่อฉาก โดยใช้ระบบจำแนกประเภท 29 คลาสที่มีทั้งแบบบังคับและแบบเลือกได้
คุณลักษณะสำหรับแต่ละคลาส
เป้าหมายคือการสร้างชุดข้อมูลที่มีโครงสร้างและมีการควบคุมคุณภาพ ซึ่งสามารถใช้ในการฝึกฝนและตรวจสอบความถูกต้องของแบบจำลองการรับรู้ทางรถไฟสำหรับการตรวจจับวัตถุ การทำความเข้าใจฉาก การรับรู้ราง และการตีความโครงสร้างพื้นฐาน
สถิติสำคัญ
การตั้งค่าเซนเซอร์
จุดเมฆ LiDAR
อนุกรมวิธาน
29 คลาสเฉพาะทางรถไฟ
เป้าหมายด้านคุณภาพ
ความแม่นยำในการระบุข้อมูลโดยรวม ≥99%
ความสอดคล้องระหว่างเซ็นเซอร์
≥99% LiDAR – การจัดแนว 2 มิติ
ชาเลนจ์ (Challenge)
- การระบุรายละเอียดฉากการขนส่งทางรางหลายรูปแบบอย่างสม่ำเสมอทั้งในภาพ LiDAR และภาพ 2 มิติ
- การจัดการระบบจำแนกประเภทเฉพาะทางด้านรางรถไฟ ซึ่งประกอบด้วย 29 คลาส พร้อมคุณลักษณะโดยละเอียดและความสัมพันธ์ระหว่างวัตถุ
- รักษาความสอดคล้องระหว่างคำอธิบายประกอบ 3 มิติและ 2 มิติในเซ็นเซอร์ต่างๆ
- รักษาความแม่นยำทางเรขาคณิตสำหรับโครงสร้างเชิงเส้น เช่น รางและสายเคเบิล
- การปฏิบัติตามเกณฑ์ความถูกต้องที่เข้มงวดสำหรับป้ายกำกับคลาส รูปทรงเรขาคณิต และคุณลักษณะในสภาพแวดล้อมนำร่อง
Solution
Shaip ได้ออกแบบเวิร์กโฟลว์การใส่คำอธิบายประกอบที่เน้นด้านรถไฟ โดยปรับให้เหมาะสมกับข้อกำหนดทางเทคนิคของโครงการ
กลยุทธ์ข้อมูล
กำหนดกระบวนการสร้างคำอธิบายประกอบแบบหลายโมดอล ซึ่งครอบคลุมข้อมูลจุดเมฆจาก LiDAR และภาพอ้างอิง 2 มิติที่ซิงโครไนซ์กัน 5 ภาพต่อเฟรม LiDAR
กรอบงานคำอธิบายประกอบ
ใช้หลายวิธีในการระบุตำแหน่งวัตถุโดยพิจารณาจากประเภทของวัตถุและโครงสร้างของฉาก:
- การใส่คำอธิบายประกอบทรงสี่เหลี่ยมลูกบาศก์ 3 มิติ สำหรับวัตถุปริมาตรแบบแยกส่วน
- การใส่คำอธิบายประกอบเส้นโพลีไลน์ 3 มิติ สำหรับโครงสร้างที่เกี่ยวข้องกับรางเชิงเส้น
- กรอบสี่เหลี่ยม 2 มิติสำหรับการระบุตำแหน่งวัตถุในภาพ
- รูปหลายเหลี่ยม 2 มิติ สำหรับขอบเขตวัตถุที่ไม่เป็นรูปทรงปกติ
- เส้นโพลีไลน์ 2 มิติ สำหรับราง สายเคเบิล และเครื่องหมายต่างๆ
- รูปทรงสี่เหลี่ยมลูกบาศก์ 3 มิติในมุมมอง 2 มิติ ซึ่งจำเป็นต้องมีบริบทด้านการวางแนวและความลึก
การออกแบบระบบจำแนกประเภทเฉพาะสำหรับทางรถไฟ
ประกอบด้วยคลาสที่กำหนดไว้ล่วงหน้า 29 คลาส ซึ่งครอบคลุมถึงผู้คน สิ่งของส่วนตัว ยานพาหนะ รถไฟ ตู้รถไฟ สัตว์ รางรถไฟ สวิตช์ เสาไฟฟ้าแรงสูง เสาสัญญาณ สัญญาณไฟ สะพานสัญญาณ ตัวหยุดกันชน วัตถุทดสอบสะท้อนแสง และเอนทิตีอื่นๆ ในฉากทางรถไฟ
คำอธิบายประกอบที่อุดมไปด้วยคุณลักษณะ
บันทึกคุณลักษณะทั้งที่จำเป็นและไม่จำเป็น รวมถึง:
- ระดับการอุดตัน
- รัฐและประเภท
- การเชื่อมต่อผ่าน connectedTo
- ตัวระบุข้างรางและรางรถไฟ
- ลำดับและการวางแนวของวัตถุ
- ลักษณะพื้นผิว ทิศทาง และคุณสมบัติเชิงโครงสร้างของสัญญาณ
ความถูกต้องของข้อมูลประจำตัวและความสัมพันธ์
ตรวจสอบให้แน่ใจว่าคำอธิบายประกอบทุกรายการมีรหัสคำอธิบายประกอบที่ไม่ซ้ำกัน และวัตถุแต่ละชิ้นมีรหัสวัตถุที่ไม่ซ้ำกันในรูปแบบ UUID พร้อมด้วยความสัมพันธ์แบบเชื่อมต่อสองทิศทางในลักษณะที่รับรู้ถึงเซ็นเซอร์
กฎเกณฑ์ความแม่นยำและการควบคุมคุณภาพ
มีการนำกฎการใส่คำอธิบายประกอบมาใช้ ซึ่งรวมถึง:
- การประมาณการบดบังในมิติ 2 มิติและ 3 มิติ
- เกณฑ์การติดป้ายกำกับ 2 มิติสำหรับวัตถุที่มีความสูงหรือความกว้าง ≥25 พิกเซล
- ค่าความคลาดเคลื่อน 2 มิติ ±3 พิกเซล
- ความคลาดเคลื่อนแบบ 3 มิติ สูงสุดถึง 10 ซม.
- การจัดแนวการหมุนบนแกน z เพื่อความสม่ำเสมอในการหันวัตถุ
- การตรวจสอบคุณภาพแบบ 3 ชั้น พร้อมวงจรแก้ไขสำหรับเอาต์พุตที่ต่ำกว่าเกณฑ์
ขอบเขตโครงการ
| องค์ประกอบชุดข้อมูล | Specification |
|---|---|
| รูปแบบหลัก | ข้อมูลจุดเมฆ LiDAR |
| รูปแบบอ้างอิง | ภาพ 2 มิติที่ซิงโครไนซ์กัน 5 ภาพต่อเฟรม LiDAR: ภาพอินฟราเรด 3 ภาพ และภาพ RGB 5 ภาพ |
| จำนวนชั้นเรียนทั้งหมด | 29 คลาสเฉพาะทางรถไฟ |
| ประเภทคำอธิบายประกอบ 3 มิติ | ทรงสี่เหลี่ยมลูกบาศก์ 3 มิติ, เส้นหลายเหลี่ยม 3 มิติ |
| ประเภทคำอธิบายประกอบ 2 มิติ | กรอบสี่เหลี่ยม 2 มิติ, รูปหลายเหลี่ยม 2 มิติ, เส้นหลายเหลี่ยม 2 มิติ, ทรงสี่เหลี่ยมลูกบาศก์ 3 มิติ ในมุมมอง 2 มิติ |
| ปริมาณนำร่อง | 2 ลำดับ |
| มาตรฐาน ID | รหัสระบุคำอธิบายประกอบและรหัสระบุวัตถุแบบ UUID |
| เป้าหมายความแม่นยำ | ความสอดคล้องโดยรวม ≥99%, ความสอดคล้องตามคุณลักษณะ ≥99%, ความสอดคล้องระหว่างเซ็นเซอร์ ≥99% |
ตัวอย่างการครอบคลุมคลาส
| Category | ตัวอย่างคลาส | ประเภทคำอธิบายประกอบ |
|---|---|---|
| มนุษย์และการเคลื่อนที่ | คน, รถเข็น, สกูเตอร์, จักรยาน, ฝูงชน | BB 2 มิติ / รูปหลายเหลี่ยม 4 จุด / BB 3 มิติ |
| สินทรัพย์ทางรถไฟ | รถไฟ, ด้านหน้ารถไฟ, ตู้รถไฟ, ราง, สวิตช์ราง, รางลาก | โครงร่างรูปหลายเหลี่ยม / เส้นหลายเหลี่ยม / 3D BB |
| ระบบสัญญาณและสายส่งเหนือศีรษะ | สัญญาณ, เสาสัญญาณ, สะพานสัญญาณ, เสาสายส่งไฟฟ้าแรงสูง | BB 2 มิติ / รูปหลายเหลี่ยมแบบเส้นขอบ / BB 3 มิติ |
| สิ่งแวดล้อมและอื่นๆ | ยานพาหนะบนท้องถนน, สัตว์, กลุ่มสัตว์, วัตถุสะท้อนแสง, ควัน, เปลวไฟ | แตกต่างกันไปตามชั้นเรียน |
ผลลัพธ์
- สร้างกรอบการทำงานสำหรับการระบุข้อมูลหลายรูปแบบเฉพาะสำหรับระบบราง โดยใช้ข้อมูล LiDAR และภาพถ่าย
- กำหนดระบบจำแนกประเภททางรถไฟ 29 ประเภท พร้อมการจัดการคุณลักษณะโดยละเอียด
- กำหนดเกณฑ์คุณภาพที่ ≥99% ในด้านความถูกต้องของการระบุข้อมูล คุณลักษณะ และความสอดคล้องระหว่างเซ็นเซอร์ต่างๆ
- สร้างพื้นฐานที่พร้อมสำหรับการทดลองใช้งานเพื่อสร้างแบบจำลองการรับรู้ทางรถไฟที่มีความน่าเชื่อถือสูง
ในเชิงกลยุทธ์ โครงการนี้จะช่วยเสริมศักยภาพระบบ AI สำหรับรถไฟของลูกค้าให้มีความเข้าใจสภาพแวดล้อมบนรางรถไฟได้ดียิ่งขึ้น โดยเฉพาะอย่างยิ่งในด้านรูปทรงเรขาคณิต ความต่อเนื่องของวัตถุ และบริบทของโครงสร้างพื้นฐาน
แนวทางการสร้างคำอธิบายประกอบแบบหลายโมดอลของ Shaip ช่วยให้เราจัดโครงสร้างชุดข้อมูลรถไฟที่มีความเชี่ยวชาญสูงด้วยความแม่นยำที่จำเป็นสำหรับการพัฒนารูปแบบการรับรู้ การมุ่งเน้นที่ความลึกของอนุกรมวิธาน ความถูกต้องทางเรขาคณิต และความสอดคล้องระหว่างเซ็นเซอร์ต่างๆ ได้สร้างรากฐานที่แข็งแกร่งสำหรับระบบ AI ด้านรถไฟของเรา
