ชุดข้อมูลแบบมุมมองบุคคลที่หนึ่ง (Egocentric dataset) คือชุดข้อมูลที่มีโครงสร้างซึ่งประกอบด้วยวิดีโอและบันทึกจากเซ็นเซอร์ในมุมมองบุคคลที่หนึ่ง—ที่บันทึกจากกล้องที่ติดตั้งบนศีรษะ หน้าอก หรือข้อมือ—เพื่อใช้ในการฝึกฝนหุ่นยนต์และระบบ AI ที่จำลองร่างกายมนุษย์ให้เข้าใจวิธีการมองเห็น การเคลื่อนไหว และการกระทำของมนุษย์ ชุดข้อมูลนี้มีความใกล้เคียงที่สุดกับสิ่งที่กล้องบนตัวหุ่นยนต์จะมองเห็นระหว่างการทำงาน ซึ่งเป็นเหตุผลว่าทำไมจึงกลายเป็นพื้นฐานสำคัญในการฝึกฝนโมเดลการมองเห็น-ภาษา-การกระทำ (VLA)
หุ่นยนต์ที่ได้รับการฝึกฝนโดยใช้เพียงภาพวิดีโอจากห้องทดลอง มักจะเกิดข้อผิดพลาดในวันแรกที่ออกจากห้องทดลอง สาเหตุนั้นแทบจะไม่ใช่ที่ตัวโมเดล แต่เป็นเพราะข้อมูล
วิดีโอฝึกอบรมส่วนใหญ่ถ่ายจากขาตั้งกล้องหรือกล้องติดเพดาน ภาพแบบนั้นแสดงให้เห็นห้อง แต่ไม่ได้แสดงให้เห็นการทำงาน ไม่ได้แสดงให้เห็นมือ ไม่ได้แสดงให้เห็นวัตถุ ไม่ได้แสดงให้เห็นมุมที่แน่นอนที่กล้องบนตัวหุ่นยนต์จะมองเห็นเมื่อมันหยิบถ้วยหรือเปิดลิ้นชักจริงๆ ช่องว่างนี้เองที่ชุดข้อมูลแบบมองจากมุมมองของตนเองถูกสร้างขึ้นมาเพื่อเติมเต็ม
คู่มือนี้จะอธิบายว่าชุดข้อมูลแบบมุมมองบุคคลที่หนึ่งคืออะไร เหตุใดข้อมูลจากมุมมองบุคคลที่หนึ่งจึงกลายเป็นรากฐานของหุ่นยนต์สมัยใหม่และปัญญาประดิษฐ์แบบมีร่างกาย ข้อมูลที่ดีควรมีลักษณะอย่างไร และทีมควรพิจารณาอะไรบ้างก่อนที่จะขออนุญาตหรือว่าจ้างใช้ชุดข้อมูลดังกล่าว
ชุดข้อมูลที่ยึดตัวเองเป็นศูนย์กลางคืออะไร?
ชุดข้อมูลแบบอัตตาเป็นศูนย์กลาง (Egocentric dataset) คือชุดข้อมูลวิดีโอและข้อมูลจากเซ็นเซอร์ที่จัดโครงสร้างขึ้น โดยบันทึกจากมุมมองบุคคลที่หนึ่ง กล้องจะติดตั้งอยู่บนศีรษะ หน้าอก หรือข้อมือของบุคคลที่กำลังทำภารกิจ — บางครั้งอาจติดตั้งบนหุ่นยนต์เอง — ดังนั้นการบันทึกจึงแสดงโลกในแบบที่ผู้แสดงเห็นอย่างแท้จริง
คำว่า “อัตตานิยม” หมายถึง มุมมองจากตัวผู้แสดงเองกล้องมุมมองบุคคลที่สามจะแสดงให้เห็นสิ่งที่เกิดขึ้นในห้อง แต่กล้องอัตตานิยมจะแสดงให้เห็นสิ่งที่มือ ตา และอุปกรณ์ของผู้แสดงกำลังทำอยู่ขณะที่เหตุการณ์นั้นเกิดขึ้น ความแตกต่างนี้อาจดูเล็กน้อย แต่สำหรับทีมหุ่นยนต์แล้ว มันคือทุกสิ่งทุกอย่าง
ชุดข้อมูลแบบมุมมองบุคคลที่หนึ่งสมัยใหม่ส่วนใหญ่จะจับคู่ภาพวิดีโอกับสัญญาณเสริมอื่นๆ เช่น ความลึก การเคลื่อนไหว เสียง และบางครั้งอาจรวมถึงการติดตามดวงตาหรือมือ เพื่อให้สามารถศึกษาช่วงเวลาเดียวจากหลายมุมมองพร้อมกันได้
[อ่านเพิ่มเติม: กลยุทธ์ข้อมูลการฝึกหุ่นยนต์ ]
เหตุใดข้อมูลที่เน้นตนเองจึงมีความสำคัญต่อวิทยาการหุ่นยนต์และปัญญาประดิษฐ์แบบมีร่างกาย
หุ่นยนต์ล้มเหลวในโลกแห่งความเป็นจริงด้วยเหตุผลเพียงไม่กี่ประการ มุมมองที่ผิดพลาดเป็นหนึ่งในเหตุผลสำคัญที่สุด
การฝึกฝนโดยใช้ข้อมูลจากมุมมองบุคคลที่หนึ่งช่วยขจัดขั้นตอนการแปลงข้อมูลนั้นออกไป โมเดลจะเรียนรู้จากมุมมองเดียวกันกับที่จะใช้ในภายหลัง งานวิจัยด้านการเรียนรู้ของหุ่นยนต์ล่าสุดแสดงให้เห็นว่า นโยบายที่ฝึกฝนโดยใช้ข้อมูลจากมุมมองบุคคลที่หนึ่งสามารถทำงานได้ดีกว่านโยบายที่ฝึกฝนโดยใช้ข้อมูลจากมุมมองบุคคลที่สามถึง 15-30% ในงานที่เกี่ยวข้องกับการจัดการวัตถุ ขึ้นอยู่กับประเภทของงาน ผลลัพธ์ที่ได้นั้นปรากฏให้เห็นในผลงานเอง เช่น การจับวัตถุได้แน่นขึ้น การประสานงานระหว่างมือและตาดีขึ้น การตอบสนองที่ชาญฉลาดขึ้นต่อสิ่งกีดขวางและมุมมองที่ไม่สมบูรณ์
นี่จึงเป็นเหตุผลว่าทำไมข้อมูลจากมุมมองบุคคลที่หนึ่งจึงเป็นหัวใจสำคัญของระบบ AI ทางกายภาพ และโมเดลการมองเห็น-ภาษา -การกระทำรุ่นใหม่ ซึ่งเป็นระบบที่รับข้อมูลภาพและคำสั่งที่พูดหรือเขียน จากนั้นจึงแสดงผลออกมาเป็นการกระทำจริงในโลกแห่งความเป็นจริง
ภายในชุดข้อมูลคุณภาพสูงที่เน้นตนเองเป็นศูนย์กลาง
วิดีโอดิบอย่างเดียวไม่เพียงพอการเก็บรวบรวมข้อมูลแบบมุมมองบุคคลที่หนึ่งคุณภาพสูงนั้นต้องนำวิดีโอจากมุมมองบุคคลที่หนึ่งมาผสานรวมกับสัญญาณอื่นๆ อีกหลายอย่าง:
- วิดีโอซิงโครไนซ์ ด้วยความละเอียดสูง มักถ่ายจากหลายมุม (ศีรษะ หน้าอก หรือข้อมือ)
- ข้อมูลความลึก นั่นช่วยให้โมเดลเข้าใจว่าวัตถุอยู่ห่างออกไปแค่ไหน ไม่ใช่แค่ว่ามันปรากฏอยู่ที่ใดในเฟรม
- ข้อมูลจากเซ็นเซอร์ตรวจจับการเคลื่อนไหว (IMU) ที่ติดตามการเคลื่อนไหวของศีรษะและร่างกายแบบเฟรมต่อเฟรม
- เสียง — ซึ่งแฝงไปด้วยบริบทมากมายอย่างน่าประหลาดใจ เช่น มีดบนเขียง หรือคนกำลังพูดอยู่ใกล้ๆ
- การติดตามมือหรือดวงตา สำหรับงานที่ต้องใช้สมาธิและการจับยึดอย่างแม่นยำ
ข้อสำคัญคือ ทุกอย่างต้องตรงกันอย่างแม่นยำระดับมิลลิวินาที หากข้อมูลความลึกคลาดเคลื่อนไปเพียงหนึ่งในสี่ของวินาทีจากวิดีโอ โมเดลจะเรียนรู้ความสัมพันธ์เชิงสาเหตุและผลลัพธ์ที่ผิดพลาดการใส่คำอธิบายประกอบข้อมูล แบบอัตตาที่แม่นยำ ควบคู่กับการบันทึกที่ปรับเทียบอย่างดี จะเปลี่ยนการบันทึกดิบให้กลายเป็นข้อมูลพร้อมสำหรับการฝึกฝน
ภาพจากห้องแล็บเทียบกับภาพที่บันทึกจากสภาพแวดล้อมจริง
การนึกภาพปัญหาการฝึกอบรมประเภทอื่นจะช่วยได้
ลองนึกภาพการสอนใครสักคนให้ขี่จักรยานโดยเปิดแต่ภาพจากโดรนที่ถ่ายจากด้านบนให้ดู พวกเขาจะเห็นจักรยาน ถนน และทางเดิน แต่พวกเขาจะไม่เห็นการสั่นไหวของแฮนด์ การที่สายตาสำรวจไปข้างหน้าขณะเข้าโค้ง หรือการขยับตัวก่อนเลี้ยว พวกเขาอาจจะรู้ว่าการขี่จักรยานหน้าตาเป็น อย่างไร แต่พวกเขาจะไม่รู้ว่าต้องทำอย่างไร
ข้อมูลจากห้องแล็บก็มีปัญหาเดียวกันเมื่อนำไปใช้งานในวงกว้าง แสงสว่างสะอาดตา วัตถุเพียงชิ้นเดียวบนโต๊ะที่สะอาด งานเดียวต่อคลิป – มันดูเรียบร้อย แต่ไม่ใช่โลกที่หุ่นยนต์จะเข้าไปใช้งาน โมเดลที่ฝึกฝนด้วยภาพจากห้องแล็บมักจะทำงานได้ดีในวันแรกและพังลงในวันที่สามสิบ เมื่อแสงสว่างกระพริบ คนสองคนเดินสวนกัน หรือมีสินค้าสามรายการวางอยู่บนชั้นวางเดียวกัน
การบันทึกภาพแบบยึดตนเองเป็นศูนย์กลางในโลกแห่งความเป็นจริงนำเอาสัญญาณรบกวนกลับเข้ามา สัญญาณรบกวนเหล่านั้นเองที่ทำให้แบบจำลองยังคงใช้งานได้ดีหลังจากนำไปใช้งานจริง
[อ่านเพิ่มเติม: วิธีที่โมเดล VLA ใช้ภาพวิดีโอแบบมุมมองบุคคลที่หนึ่ง ]
สี่ชั้นของชุดข้อมูลแบบยึดตนเองเป็นศูนย์กลาง
ปัญหาที่แตกต่างกันต้องการเลเยอร์ข้อมูลที่แตกต่างกัน ชุดข้อมูลที่สร้างขึ้นสำหรับงานหนึ่งมักจะไม่ครอบคลุมงานอื่นได้ดี นี่คือวิธีคิดง่ายๆ เกี่ยวกับเลเยอร์ที่ทีม AI ทางกายภาพส่วนใหญ่ใช้ในการสร้างชุดข้อมูล AI ที่สมบูรณ์แบบ:
| ชั้น | สิ่งที่มันบันทึกไว้ | สิ่งที่มันฝึกฝน |
|---|---|---|
| ความเข้าใจของมนุษย์ | กิจกรรมของมนุษย์ในสภาพแวดล้อมจริงในชีวิตประจำวัน | การรับรู้พื้นฐาน — วิธีที่ผู้คนเคลื่อนไหว ถือสิ่งของ และเปลี่ยนงาน |
| การดำเนินการงาน | ข้อมูลการควบคุม: วิถีการเคลื่อนที่, การจับยึด, สถานะของข้อต่อ | การควบคุมการเคลื่อนไหวของหุ่นยนต์และการฝึกฝนทักษะซ้ำๆ |
| คำแนะนำการปฏิบัติตาม | วิสัยทัศน์ + คำสั่งด้วยวาจาหรือเป็นลายลักษณ์อักษร + การกระทำ | แบบจำลองวิสัยทัศน์-ภาษา-การกระทำ ที่เปลี่ยนคำแนะนำให้เป็นการกระทำจริง |
| การดำเนินการตามขั้นตอนเสร็จสมบูรณ์ | ข้อมูลงานที่มีขั้นตอนยาวและซับซ้อน พร้อมการจัดการข้อผิดพลาด | การคิดวิเคราะห์และวางแผนระยะยาวเมื่อเกิดปัญหา |
ทีมงานฝ่ายผลิตส่วนใหญ่ดึงข้อมูลจากหลายระดับ ตัวอย่างเช่น หุ่นยนต์ฮิวมานอยด์ที่ต้องใส่จานลงในเครื่องล้างจาน จะดึงข้อมูลจากอย่างน้อยสามระดับ ได้แก่ การสาธิตโดยมนุษย์ การควบคุมการเคลื่อนไหวอย่างละเอียด และโครงสร้างงานแบบทีละขั้นตอน
ที่ซึ่งข้อมูลที่เน้นตนเองเป็นศูนย์กลางขับเคลื่อนความต้องการที่แท้จริง
ช่องว่างลักษณะนี้กำลังปรากฏให้เห็นในหลายอุตสาหกรรม และนี่คือเหตุผลที่ความต้องการข้อมูลการฝึกอบรมมุมมองบุคคลที่หนึ่งเพิ่มสูงขึ้นในบางแห่ง:
- หุ่นยนต์ฮิวมานอยด์และหุ่นยนต์สำหรับใช้ในบ้าน การทำอาหาร การทำความสะอาด การจัดเก็บของชำ งานที่ดูเหมือนง่ายจนกว่าคุณจะได้เห็นหุ่นยนต์ลองทำดู
- การขับเคลื่อนอัตโนมัติ การขับขี่ พฤติกรรมภายในห้องโดยสาร การจัดส่งสินค้าในขั้นตอนสุดท้าย การบันทึกภาพแบบมุมมองบุคคลที่หนึ่งช่วยลดช่องว่างระหว่างการจำลองและท้องถนนจริง
- ชุดข้อมูลที่เน้นตนเองเป็นศูนย์กลางในภาคอุตสาหกรรม โรงงาน สายการผลิต และแหล่งผลิตน้ำมันและก๊าซ ถูกนำมาใช้ในการฝึกอบรมหุ่นยนต์ตรวจจับความปลอดภัย การติดตามการทำงานตามหลักสรีรศาสตร์ และการช่วยเหลือผู้ปฏิบัติงาน
- ข้อมูลวิดีโอจากมุมมองบุคคลที่หนึ่งระหว่างการผ่าตัด การบันทึกขั้นตอนการผ่าตัดจากกล้องติดศีรษะที่ศัลยแพทย์สวมใส่ ถูกนำมาใช้ในการฝึกอบรมโมเดลช่วยเหลือและระบบ AR ทางการแพทย์
- ข้อมูลเชิงพฤติกรรมผู้บริโภคค้าปลีกที่เน้นตนเองเป็นศูนย์กลาง บันทึกภาพจากอุปกรณ์สวมใส่ของผู้ซื้อในร้านค้าจริง ถูกนำมาใช้เพื่อศึกษาความสนใจ การนำทาง และการตัดสินใจเลือกซื้อสินค้าที่ชั้นวาง
อุตสาหกรรมต่างกัน แต่มีความต้องการพื้นฐานเหมือนกัน คือ ข้อมูลที่แสดงให้เห็นถึงการทำงานจริง ไม่ใช่ข้อมูลจากห้องทดลอง
อะไรทำให้ชุดข้อมูลที่เน้นตนเองเป็นศูนย์กลางพร้อมสำหรับการสร้างแบบจำลอง?
ไม่ว่าคุณจะสร้างระบบเองภายในองค์กรหรือประเมินผู้ให้บริการข้อมูลที่มีมุมมองแบบเห็นแก่ตัว มี 5 สิ่งที่แยกข้อมูลระดับงานวิจัยออกจากข้อมูลที่ใช้ได้จริงในการใช้งาน:
- ความลึกของการติดป้ายกำกับข้อมูลแบบยึดตนเองเป็นศูนย์กลาง ไม่ใช่แค่กรอบสี่เหลี่ยมเท่านั้น ท่าทางของมือ สถานะของวัตถุ ขั้นตอนการกระทำ และเจตนา ทั้งหมดนี้จัดเรียงให้ตรงกับเฟรมด้านขวา
- การสอบเทียบเซ็นเซอร์ การซิงค์เวลาให้ตรงกันระหว่างวิดีโอ ความลึก เสียง และการเคลื่อนไหว เพื่อให้โมเดลเห็นช่วงเวลาที่สอดคล้องกันเพียงช่วงเดียว ไม่ใช่ภาพที่กระจัดกระจายห้าภาพ
- การครอบคลุมกรณีพิเศษ สภาพแสงน้อย การบดบัง ฉากที่มีผู้คนหนาแน่น เหตุการณ์หายาก กรณีที่ข้อมูลจากห้องปฏิบัติการมักมีช่องว่างอยู่บ้าง การสำรวจความคิดเห็นของผู้ซื้อในอุตสาหกรรมจัดอันดับคุณภาพการระบุข้อมูลและการครอบคลุมกรณีพิเศษเป็นสองเกณฑ์สำคัญที่สุดในการประเมินพันธมิตรด้านข้อมูลอย่างสม่ำเสมอ
- ความยินยอมและการปฏิบัติตาม วิดีโอแบบมุมมองบุคคลที่หนึ่งนั้นมีความละเอียดอ่อนโดยนิยามอยู่แล้ว ชุดข้อมูลจึงต้องมีเอกสารแสดงความยินยอมจากผู้เข้าร่วม การปกปิดใบหน้าในกรณีที่จำเป็น และสอดคล้องกับกรอบการทำงานต่างๆ เช่น GDPR และ HIPAA การควบคุมจากผู้ให้บริการ เช่น ISO 27001 และ SOC 2 Type II เพิ่มขั้นตอนการดำเนินการที่ทีมกฎหมายขององค์กรคาดหวัง
- ความพร้อมจากการจำลองสู่ความเป็นจริง ภาพวิดีโอจากโลกแห่งความเป็นจริงที่ผสานเข้ากับข้อมูลสังเคราะห์ได้อย่างลงตัว ช่วยให้ทีมสามารถขยายขอบเขตการฝึกอบรมได้โดยไม่สูญเสียพื้นฐานที่ทำให้โมเดลมีความน่าเชื่อถือ
การเก็บรวบรวมข้อมูลที่มีคุณภาพเป็นส่วนที่แก้ไขได้ยากที่สุดในภายหลัง หากทำได้ถูกต้องตั้งแต่ต้นทาง กระบวนการที่เหลือก็จะง่ายขึ้น
ประเด็นที่สำคัญ
- ชุดข้อมูลแบบมุมมองบุคคลที่หนึ่ง คือ วิดีโอและข้อมูลจากเซ็นเซอร์ในมุมมองบุคคลที่หนึ่ง — ซึ่งถ่ายทำจากมุมมองของนักแสดงเอง — ถูกนำมาใช้เพื่อฝึกฝนหุ่นยนต์และแบบจำลอง AI ที่มีร่างกายให้มองเห็นโลกในแบบที่พวกมันจะได้เห็นจริงเมื่อใช้งานจริง
- ข้อมูลจากประสบการณ์ตรงช่วยลดช่องว่างระหว่างการรับรู้และการกระทำ นั่นเป็นสาเหตุที่ทำให้หุ่นยนต์ที่ได้รับการฝึกฝนในห้องทดลองทำงานผิดพลาดเมื่อต้องปฏิบัติงานจริง
- ข้อมูลเชิงคุณภาพที่เน้นตนเองเป็นศูนย์กลางนั้นมีหลากหลายรูปแบบ — วิดีโอ ความลึก เสียง การเคลื่อนไหว และการติดตาม — ซิงโครไนซ์กันอย่างแม่นยำระดับมิลลิวินาที
- คำว่า "พร้อมสำหรับการผลิต" หมายถึงมากกว่าแค่การใส่คำอธิบายประกอบ — นั่นหมายถึงการครอบคลุมกรณีพิเศษ สภาพแวดล้อมในโลกแห่งความเป็นจริง ความพร้อมจากแบบจำลองสู่สถานการณ์จริง และบันทึกการปฏิบัติตามข้อกำหนดอย่างเป็นระบบ
ไชป์สามารถช่วยได้อย่างไร
หากทีมของคุณผ่านพ้นขั้นตอน "เราจำเป็นต้องใช้ข้อมูลที่เน้นตนเองเป็นศูนย์กลางหรือไม่" ไปสู่ขั้นตอน "เราจะได้ข้อมูลนั้นมาได้อย่างไร" นั่นคือจุดที่ Shaip เข้ามามีบทบาท
เราดำเนินการประมวลผลข้อมูลแบบครบวงจรสำหรับโปรแกรม AI ทางกายภาพ ตั้งแต่การบันทึกภาพมุมมองบุคคลที่หนึ่งในสภาพแวดล้อมจริง การใส่คำอธิบายประกอบระดับ VLA ข้อมูลสังเคราะห์ RLHF และเกณฑ์มาตรฐานการประเมินผล ภายใต้การทำงานเพียงครั้งเดียว รายละเอียดบางส่วนมีดังนี้:
- บันทึกจากสถานการณ์จริง ไม่ใช่ภาพจากห้องแล็บ กล้องติดศีรษะ แว่นตาอัจฉริยะ และอุปกรณ์สวมใส่ได้ถูกนำไปใช้ในห้องครัว โกดัง โรงงาน สถานพยาบาล และร้านค้าต่างๆ
- การซิงโครไนซ์เซ็นเซอร์หลายตัว วิดีโอ, IMU, LiDAR, เสียง และความลึก — ปรับเทียบและจัดเรียงเวลาให้ตรงกันระดับมิลลิวินาที
- คำอธิบายประกอบนี้สร้างขึ้นเพื่อใช้ในการฝึกอบรม VLA วัตถุ การกระทำ ปฏิสัมพันธ์ระหว่างมือกับวัตถุ เจตนา และบริบทเชิงพื้นที่
- การสนับสนุนการจำลองสู่ความเป็นจริง การสร้างข้อมูลสังเคราะห์และกระบวนการ Real2Sim ที่ขยายขอบเขตการใช้งานโดยไม่สูญเสียความสมจริงในโลกแห่งความเป็นจริง
- ปฏิบัติตามกฎระเบียบตั้งแต่วันแรก เป็นไปตามมาตรฐาน ISO 27001, SOC 2 Type II, HIPAA และ GDPR — พร้อมสำหรับการเก็บรวบรวมข้อมูลโดยได้รับความยินยอมก่อน และแหล่งที่มาของข้อมูลที่พร้อมสำหรับการตรวจสอบ
หากนั่นสอดคล้องกับทิศทางที่โปรแกรม AI ทางกายภาพของคุณกำลังมุ่งไป เรายินดีที่จะหารือเกี่ยวกับโครงการนำร่อง
สรุป
ชุดข้อมูลแบบมุมมองบุคคลที่หนึ่งไม่ได้หมายถึงแค่เพียงวิดีโอแบบบุคคลที่หนึ่งเท่านั้น แต่เป็นวิธีการสอนเครื่องจักรให้มองเห็นและกระทำในแบบที่มนุษย์ทำอย่างเป็นระบบ สำหรับทีมพัฒนาหุ่นยนต์และปัญญาประดิษฐ์แบบมีตัวตน (Embodied AI) นี่คือความแตกต่างระหว่างโมเดลที่สาธิตได้ดีกับโมเดลที่ใช้งานได้จริง ไม่ว่าเป้าหมายจะเป็นหุ่นยนต์ฮิวมานอยด์ ระบบอัตโนมัติ หรือโรงงานอัจฉริยะ ข้อมูลแบบมุมมองบุคคลที่หนึ่งสำหรับการพัฒนาหุ่นยนต์และ AI กำลังกลายเป็นส่วนสำคัญของกลยุทธ์ชุดข้อมูล Embodied AI ที่จริงจังทุกกลยุทธ์ ไม่ใช่ส่วนเสริม ทีมที่ทำได้ถูกต้องคือทีมที่จัดการข้อมูล — การรวบรวม การใส่คำอธิบายประกอบ การตรวจสอบความถูกต้อง และการปฏิบัติตามข้อกำหนด — เป็นส่วนสำคัญของระบบ ไม่ใช่ขั้นตอนก่อนหน้า
อธิบายง่ายๆ ก็คือ ชุดข้อมูลที่เน้นตนเองเป็นศูนย์กลางคืออะไร?
เป็นชุดข้อมูลวิดีโอและการบันทึกจากเซ็นเซอร์ที่มีโครงสร้าง ซึ่งถ่ายจากมุมมองบุคคลที่หนึ่ง โดยปกติจะมาจากกล้องที่สวมไว้บนศีรษะ หน้าอก หรือข้อมือ เพื่อใช้ในการฝึกระบบ AI เกี่ยวกับวิธีที่มนุษย์มองเห็นและทำภารกิจต่างๆ
เหตุใดทีมหุ่นยนต์จึงต้องการข้อมูลจากมุมมองบุคคลที่หนึ่งแทนที่จะเป็นวิดีโอจากมุมมองบุคคลที่สามทั่วไป?
วิดีโอแบบบุคคลที่สามแสดงภาพเหตุการณ์จากมุมมองของผู้เห็นเหตุการณ์ หุ่นยนต์จะทำงานจากมุมมองของตนเอง การฝึกฝนด้วยข้อมูลจากมุมมองบุคคลที่หนึ่งช่วยลดช่องว่างระหว่างสิ่งที่แบบจำลองเรียนรู้กับสิ่งที่หุ่นยนต์เห็นจริงในระหว่างการทำงาน โดยมีรายงานว่าความแม่นยำเพิ่มขึ้น 15–30% ในงานเกี่ยวกับการควบคุมวัตถุ
เซ็นเซอร์ชนิดใดบ้างที่นิยมใช้ในการเก็บข้อมูลแบบมุมมองบุคคลที่หนึ่ง?
กล้อง RGB เซ็นเซอร์วัดความลึก เซ็นเซอร์ตรวจจับการเคลื่อนไหว (IMU) และระบบเสียง หลายระบบยังเพิ่มการติดตามมือหรือดวงตาเข้าไปด้วย สำหรับหุ่นยนต์อัตโนมัติ บางครั้งมีการใช้ LiDAR เข้ามาเพื่อสร้างแผนที่เชิงพื้นที่
ข้อมูลที่เน้นตนเองเป็นศูนย์กลางนั้นเหมาะสมกับการฝึกอบรมด้านวิสัยทัศน์ ภาษา และการกระทำ (VLA) อย่างไร?
แบบจำลอง VLA รับข้อมูลภาพและคำสั่งภาษา จากนั้นส่งออกเป็นการกระทำ ข้อมูลแบบยึดตนเองเป็นศูนย์กลางจะให้ข้อมูลภาพ คำสั่ง และผลลัพธ์ที่ตรงกัน ซึ่งจำเป็นต่อการเรียนรู้การจับคู่ข้อมูลอย่างน่าเชื่อถือ
อะไรคือสิ่งที่แยกชุดข้อมูลแบบเน้นตนเองที่ใช้ในการวิจัยออกจากชุดข้อมูลที่ใช้ในการใช้งานจริง?
สามสิ่งสำคัญ ได้แก่ คุณภาพการระบุข้อมูลที่เข้มงวดมากขึ้น การครอบคลุมด้านสิ่งแวดล้อมที่กว้างขึ้นในสภาพแวดล้อมจริงมากกว่าในห้องปฏิบัติการ และบันทึกการปฏิบัติตามข้อกำหนดที่ครอบคลุมถึงการยินยอม ความเป็นส่วนตัว และแหล่งที่มาของข้อมูลที่พร้อมสำหรับการตรวจสอบ
