โมเดล AI ที่ใช้งานได้นั้นสร้างขึ้นจากชุดข้อมูลที่มั่นคง เชื่อถือได้ และเป็นไดนามิก ไร้ซึ่งความร่ำรวยและรายละเอียด ข้อมูลการฝึกอบรม AI เป็นไปไม่ได้ที่จะสร้างโซลูชัน AI ที่มีคุณค่าและประสบความสำเร็จอย่างแน่นอน เรารู้ว่าความซับซ้อนของโครงการเป็นตัวกำหนดและกำหนดคุณภาพของข้อมูลที่ต้องการ แต่เราไม่แน่ใจแน่ชัดว่าต้องใช้ข้อมูลการฝึกอบรมเท่าใดเพื่อสร้างแบบจำลองที่กำหนดเอง
ไม่มีคำตอบที่ตรงไปตรงมาว่าปริมาณที่เหมาะสมของ ข้อมูลการฝึกอบรมสำหรับแมชชีนเลิร์นนิง มันจำเป็น. แทนที่จะทำงานกับหุ่นเบสบอล เราเชื่อว่าวิธีการมากมายสามารถให้แนวคิดที่แม่นยำเกี่ยวกับขนาดข้อมูลที่คุณอาจต้องการ แต่ก่อนหน้านั้น มาทำความเข้าใจว่าทำไมข้อมูลการฝึกอบรมจึงมีความสำคัญต่อความสำเร็จของโครงการ AI ของคุณ
ความสำคัญของข้อมูลการฝึกอบรม
Arvind Krishna ซีอีโอของ IBM กล่าวในงาน Future of Everything Festival ของ The Wall Street Journal ว่าเกือบ 80% ของงานในโครงการ AI คือการรวบรวม การล้างข้อมูล และการเตรียมข้อมูล' และเขายังมีความเห็นว่าธุรกิจต่างๆ ละทิ้งการลงทุนด้าน AI เนื่องจากไม่สามารถตามต้นทุน งาน และเวลาที่จำเป็นในการรวบรวมข้อมูลการฝึกอบรมอันมีค่าได้
การกำหนดข้อมูล ขนาดตัวอย่าง ช่วยในการออกแบบโซลูชัน นอกจากนี้ยังช่วยประมาณการต้นทุน เวลา และทักษะที่จำเป็นสำหรับโครงการได้อย่างถูกต้อง
หากใช้ชุดข้อมูลที่ไม่ถูกต้องหรือไม่น่าเชื่อถือในการฝึกโมเดล ML แอปพลิเคชันที่เป็นผลลัพธ์จะไม่ให้การคาดการณ์ที่ดี
ข้อมูลเท่าไหร่จึงเพียงพอ?
มันขึ้นอยู่กับ.
ปริมาณข้อมูลที่ต้องการขึ้นอยู่กับปัจจัยหลายประการ ได้แก่
- ความซับซ้อนของ โครงการแมชชีนเลิร์นนิง คุณกำลังดำเนินการ
- ความซับซ้อนของโครงการและ งบ ยังกำหนดวิธีการฝึกอบรมที่คุณใช้อยู่
- ความต้องการการติดฉลากและคำอธิบายประกอบของโครงการเฉพาะ
- พลวัตและความหลากหลายของชุดข้อมูลที่จำเป็นในการฝึกอบรมโครงการที่ใช้ AI อย่างถูกต้อง
- ความต้องการด้านคุณภาพข้อมูลของโครงการ
คาดเดาการศึกษา
ไม่มีตัวเลขวิเศษเกี่ยวกับจำนวนข้อมูลขั้นต่ำที่ต้องการ แต่มีกฎง่ายๆ สองสามข้อที่คุณสามารถใช้เพื่อให้ได้จำนวนตรรกยะ
กฎของ10
ในฐานะที่เป็น หลักการง่ายๆในการพัฒนาแบบจำลอง AI ที่มีประสิทธิภาพ จำนวนชุดข้อมูลการฝึกอบรมที่จำเป็นควรมากกว่าพารามิเตอร์แต่ละรุ่นถึงสิบเท่า หรือที่เรียกว่าองศาอิสระ กฎ '10' ครั้งมีจุดมุ่งหมายเพื่อจำกัดความแปรปรวนและเพิ่มความหลากหลายของข้อมูล ดังนั้น กฎทั่วไปนี้สามารถช่วยให้คุณเริ่มต้นโครงการโดยให้แนวคิดพื้นฐานเกี่ยวกับปริมาณชุดข้อมูลที่ต้องการ
การเรียนรู้ลึก ๆ
วิธีการเรียนรู้เชิงลึกช่วยพัฒนาแบบจำลองคุณภาพสูงหากมีการให้ข้อมูลในระบบมากขึ้น เป็นที่ยอมรับกันโดยทั่วไปว่าการมีรูปภาพที่ติดป้ายกำกับ 5000 ภาพต่อหมวดหมู่น่าจะเพียงพอสำหรับการสร้างอัลกอริธึมการเรียนรู้เชิงลึกที่สามารถทำงานได้เทียบเท่ามนุษย์ ในการพัฒนาแบบจำลองที่ซับซ้อนเป็นพิเศษ จำเป็นต้องมีอย่างน้อย 10 ล้านรายการที่มีป้ายกำกับ
วิสัยทัศน์คอมพิวเตอร์
หากคุณกำลังใช้การเรียนรู้เชิงลึกสำหรับการจัดประเภทรูปภาพ มีฉันทามติว่าชุดข้อมูลที่มีป้ายกำกับ 1000 รูปสำหรับแต่ละคลาสเป็นจำนวนที่เหมาะสม
เส้นโค้งการเรียนรู้
เส้นโค้งการเรียนรู้ใช้เพื่อแสดงประสิทธิภาพของอัลกอริธึมการเรียนรู้ของเครื่องเทียบกับปริมาณข้อมูล การมีทักษะแบบจำลองบนแกน Y และชุดข้อมูลการฝึกบนแกน X ทำให้เข้าใจได้ว่าขนาดของข้อมูลส่งผลต่อผลลัพธ์ของโครงการอย่างไร
ข้อเสียของการมีข้อมูลน้อยเกินไป
คุณอาจคิดว่ามันค่อนข้างชัดเจนว่าโครงการต้องการข้อมูลจำนวนมาก แต่บางครั้ง แม้แต่ธุรกิจขนาดใหญ่ที่เข้าถึงข้อมูลที่มีโครงสร้างก็ไม่สามารถจัดหาได้ การฝึกอบรมเกี่ยวกับปริมาณข้อมูลที่จำกัดหรือแคบสามารถหยุด โมเดลการเรียนรู้ของเครื่อง จากการบรรลุศักยภาพสูงสุดและเพิ่มความเสี่ยงในการทำนายที่ผิดพลาด
แม้ว่าจะไม่มีกฎทองและมักจะสร้างภาพรวมคร่าวๆ เพื่อคาดการณ์ความต้องการข้อมูลการฝึกอบรม แต่การมีชุดข้อมูลขนาดใหญ่ย่อมดีกว่าการได้รับข้อจำกัด ข้อจำกัดของข้อมูลที่โมเดลของคุณได้รับจะเป็นข้อจำกัดของโปรเจ็กต์ของคุณ
จะทำอย่างไรถ้าคุณต้องการชุดข้อมูลเพิ่มเติม
แม้ว่าทุกคนต้องการเข้าถึงชุดข้อมูลขนาดใหญ่ แต่ก็พูดง่ายกว่าทำ การเข้าถึงชุดข้อมูลคุณภาพและความหลากหลายในปริมาณมากเป็นสิ่งจำเป็นสำหรับความสำเร็จของโครงการ ที่นี่เราให้ขั้นตอนเชิงกลยุทธ์แก่คุณเพื่อทำให้การรวบรวมข้อมูลง่ายขึ้นมาก
เปิดชุดข้อมูล
ชุดข้อมูลแบบเปิดมักจะถือเป็น 'แหล่งข้อมูลฟรีที่ดี' แม้ว่าสิ่งนี้อาจเป็นความจริง แต่ชุดข้อมูลแบบเปิดไม่ใช่สิ่งที่โครงการต้องการในกรณีส่วนใหญ่ มีสถานที่หลายแห่งที่สามารถจัดหาข้อมูลได้ เช่น แหล่งข้อมูลของรัฐบาล พอร์ทัลข้อมูล EU Open เครื่องมือสำรวจข้อมูลสาธารณะของ Google และอื่นๆ อย่างไรก็ตาม มีข้อเสียมากมายของการใช้ชุดข้อมูลแบบเปิดสำหรับโครงการที่ซับซ้อน
เมื่อคุณใช้ชุดข้อมูลดังกล่าว คุณเสี่ยง การฝึกอบรมและการทดสอบ โมเดลของคุณมีข้อมูลที่ไม่ถูกต้องหรือขาดหายไป โดยทั่วไปไม่ทราบวิธีการรวบรวมข้อมูล ซึ่งอาจส่งผลต่อผลลัพธ์ของโครงการ ความเป็นส่วนตัว ความยินยอม และการขโมยข้อมูลประจำตัวเป็นข้อเสียที่สำคัญของการใช้แหล่งข้อมูลแบบเปิด
ชุดข้อมูลเสริม
เมื่อคุณมีบ้าง จำนวนข้อมูลการฝึก แต่ไม่เพียงพอต่อความต้องการโครงการของคุณทั้งหมด คุณต้องใช้เทคนิคการเสริมข้อมูล ชุดข้อมูลที่มีอยู่ถูกนำไปใช้ใหม่เพื่อตอบสนองความต้องการของโมเดล
ตัวอย่างข้อมูลจะได้รับการแปลงรูปแบบต่างๆ ที่ทำให้ชุดข้อมูลสมบูรณ์ หลากหลาย และไดนามิก ตัวอย่างง่ายๆ ของการเสริมข้อมูลสามารถเห็นได้เมื่อต้องจัดการกับรูปภาพ สามารถเพิ่มรูปภาพได้หลายวิธี ไม่ว่าจะเป็นการตัด ปรับขนาด สะท้อน เปลี่ยนเป็นมุมต่างๆ และการตั้งค่าสีสามารถเปลี่ยนแปลงได้
ข้อมูลสังเคราะห์
เมื่อมีข้อมูลไม่เพียงพอ เราสามารถเปลี่ยนเป็นเครื่องกำเนิดข้อมูลสังเคราะห์ได้ ข้อมูลสังเคราะห์มีประโยชน์ในแง่ของการถ่ายโอนการเรียนรู้ เนื่องจากโมเดลสามารถฝึกกับข้อมูลสังเคราะห์ก่อนแล้วค่อยใช้ชุดข้อมูลจริงในภายหลัง ตัวอย่างเช่น ขั้นแรก รถยนต์ที่ขับเคลื่อนด้วยตนเองที่ใช้ AI สามารถฝึกให้จดจำและวิเคราะห์วัตถุใน วิสัยทัศน์คอมพิวเตอร์ วีดีโอเกมส์.
ข้อมูลสังเคราะห์จะเป็นประโยชน์เมื่อไม่มีชีวิตจริง ข้อมูลในการฝึกอบรม และทดสอบ .ของคุณ โมเดลฝึกหัด. นอกจากนี้ยังใช้เมื่อต้องรับมือกับความเป็นส่วนตัวและความอ่อนไหวของข้อมูล
การเก็บรวบรวมข้อมูลที่กำหนดเอง
การรวบรวมข้อมูลแบบกำหนดเองอาจเหมาะอย่างยิ่งสำหรับการสร้างชุดข้อมูลเมื่อแบบฟอร์มอื่นไม่ได้ผลลัพธ์ที่ต้องการ สามารถสร้างชุดข้อมูลคุณภาพสูงได้โดยใช้เครื่องมือขูดเว็บ เซ็นเซอร์ กล้อง และเครื่องมืออื่นๆ เมื่อคุณต้องการชุดข้อมูลที่ปรับแต่งได้ซึ่งช่วยเพิ่มประสิทธิภาพการทำงานของแบบจำลองของคุณ การจัดหาชุดข้อมูลที่กำหนดเองอาจเป็นแนวทางที่ถูกต้อง ผู้ให้บริการบุคคลที่สามหลายรายเสนอความเชี่ยวชาญของตน
ในการพัฒนาโซลูชัน AI ที่มีประสิทธิภาพสูง โมเดลเหล่านี้ต้องได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลคุณภาพดีที่เชื่อถือได้ อย่างไรก็ตาม มันไม่ง่ายเลยที่จะได้ชุดข้อมูลที่สมบูรณ์และมีรายละเอียดซึ่งส่งผลดีต่อผลลัพธ์ แต่เมื่อคุณเป็นพันธมิตรกับผู้ให้บริการข้อมูลที่เชื่อถือได้ คุณสามารถสร้างโมเดล AI ที่ทรงพลังด้วยรากฐานข้อมูลที่แข็งแกร่ง
คุณมีโครงการดีๆ ในใจอยู่แล้ว แต่กำลังรอชุดข้อมูลที่ปรับแต่งมาเพื่อฝึกแบบจำลองของคุณ หรือกำลังดิ้นรนเพื่อให้ได้ผลลัพธ์ที่ถูกต้องจากโครงการของคุณ เรามีชุดข้อมูลการฝึกอบรมที่ครอบคลุมสำหรับความต้องการของโครงการที่หลากหลาย ใช้ประโยชน์จากศักยภาพของ ไชยป์ โดยพูดคุยกับหนึ่งใน .ของเรา นักวิทยาศาสตร์ข้อมูล และทำความเข้าใจว่าเราได้ส่งมอบชุดข้อมูลคุณภาพสูงให้กับลูกค้าในอดีตอย่างไร
