การเก็บรวบรวมข้อมูลข้อความ

คำนิยาม

การรวบรวมข้อมูลข้อความเป็นกระบวนการรวบรวมภาษาเขียนจากแหล่งต่างๆ เช่น หนังสือ เว็บไซต์ หรือบันทึกการสนทนา เพื่อใช้ในการฝึกอบรม AI

จุดมุ่งหมาย

วัตถุประสงค์คือเพื่อสร้างคอร์ปัสสำหรับการพัฒนา NLP และ LLM

ความสำคัญ

• จัดเตรียมวัตถุดิบสำหรับโมเดลภาษา
• ยกประเด็นเรื่องลิขสิทธิ์และใบอนุญาต
• ความหลากหลายของข้อมูลมีอิทธิพลต่อความยุติธรรมและความถูกต้อง
• จะต้องกรองเนื้อหาที่เป็นอันตรายหรือไม่เกี่ยวข้อง

วิธีการทำงาน

1. ระบุแหล่งที่มาของข้อความ (เว็บไซต์ เอกสาร บทบรรยาย)
2. รวบรวมหรือขูดข้อความโดยได้รับอนุญาต
3. ทำความสะอาดและทำให้เนื้อหาเป็นปกติ
4. จัดเก็บข้อมูลพร้อมข้อมูลเมตาเพื่อการตรวจสอบย้อนกลับ
5. ใช้ในการฝึกอบรมล่วงหน้าหรือปรับแต่ง

ตัวอย่าง (โลกแห่งความเป็นจริง)

• Common Crawl: คอร์ปัสเว็บขนาดใหญ่
• ข้อมูลวิกิพีเดีย: ชุดข้อมูลข้อความที่มีโครงสร้าง
• BooksCorpus: ใช้สำหรับฝึกอบรม BERT

อ้างอิง/อ่านเพิ่มเติม

• มูลนิธิคลานร่วม
• Jurafsky & Martin. การประมวลผลคำพูดและภาษา
• ISO/IEC TR 20547-5: สถาปัตยกรรมอ้างอิงข้อมูลขนาดใหญ่
• การเก็บรวบรวมข้อมูลข้อความเฉพาะกรณี