ชุดข้อมูลข้อความที่ได้รับอนุญาตสำหรับการฝึกอบรม LLM และ AI
อนุญาตให้ใช้คลังข้อมูลข้อความพร้อมใช้งานสำหรับการฝึกอบรมด้าน LLM, NLP และ AI เชิงสร้างสรรค์ — คำถามและคำตอบเชิงสนทนา, โค้ด, ข่าว, ข้อมูลทางคลินิก, ข้อมูลทางวิชาการ และข้อมูลหลายภาษา โดยปรับขอบเขตให้เหมาะสมกับโครงการของคุณ
ชุดข้อมูลข้อความที่ได้รับอนุญาตสำหรับการฝึกอบรม LLM และ NLP
แคตตาล็อกข้อมูลข้อความของ Shaip มอบชุดข้อมูลข้อความที่พร้อมใช้งานให้แก่ทีม AI เพื่อใช้ในการฝึกฝน ปรับแต่ง และประเมินผลโมเดลภาษาขนาดใหญ่ (LLM) และระบบประมวลผลภาษาธรรมชาติ (NLP) โดยครอบคลุมแปดหมวดหมู่ ชุดข้อมูลแต่ละชุดมาจากแหล่งข้อมูลจริงและสามารถปรับขอบเขตให้เหมาะสมกับโครงการของคุณได้
แคตตาล็อกนี้ประกอบด้วยชุดข้อมูลคำถามและคำตอบเชิงสนทนาและคำแนะนำในภาษาอังกฤษและภาษาอาหรับ ครอบคลุมภาษาอาหรับมาตรฐานสมัยใหม่และสำเนียงซาอุดีอาระเบีย สหรัฐอาหรับเอมิเรตส์ อียิปต์ และเลแวนไทน์ นอกจากนี้ยังมีชุดข้อมูลคลังเก็บโค้ดในภาษาโปรแกรมเก้าภาษา หลายภาษามีประวัติการร้องขอและประวัติการคอมมิตที่สมบูรณ์ สำหรับโมเดลเหตุการณ์ปัจจุบันและ RAG มีชุดข้อมูลข่าวสารในภาษาอังกฤษ สเปน และอาหรับ รวมถึงคลังบทความ 975,000 บทความย้อนหลังไปถึงปี 1999 ทีม AI ด้านการดูแลสุขภาพสามารถใช้ชุดข้อมูลคำถามและคำตอบทางคลินิกและกรณีศึกษาซึ่งมีให้เลือกทั้งชุดข้อมูลสีทองและสีเงิน โดยมีการปกปิดข้อมูลส่วนบุคคลไว้ด้วย
สำหรับการฝึกฝนเบื้องต้น มีคลังข้อมูลข้อความดิบและคลังข้อมูลขนาดใหญ่บนเว็บรวมถึงคลังข้อมูลภาษาอาหรับขนาด 20 ล้านคำคลังข้อมูลเอกสารที่สแกนแล้วสนับสนุน AI ด้านเอกสารและการสกัดข้อมูลข้อความทางวิชาการและจากสำนักพิมพ์ครอบคลุม 12 สาขาวิทยาศาสตร์และวิศวกรรมศาสตร์ และข้อความบันเทิงที่เขียนบทไว้ครอบคลุมภาพยนตร์ โทรทัศน์ แอนิเมชั่น และละครสั้น
ชุดข้อมูลทุกชุดมาพร้อมกับข้อกำหนดด้านลิขสิทธิ์และการตรวจสอบคุณภาพที่ชัดเจน มีตัวอย่างให้คุณประเมินชุดข้อมูลก่อนซื้อได้ เลือกดูหมวดหมู่ด้านล่าง หรือติดต่อเราเพื่อพูดคุยเกี่ยวกับการรวบรวมข้อมูลข้อความแบบกำหนดเอง
ชุดข้อมูลคำถามและคำตอบเชิงสนทนาและคำแนะนำ
ชุดข้อมูลเหล่านี้ประกอบด้วยคู่คำถามและคำตอบที่เขียนโดยมนุษย์ และคำแนะนำในรูปแบบข้อความในภาษาอาหรับและภาษาอังกฤษ ครอบคลุมทั้งภาษาอาหรับมาตรฐานสมัยใหม่ รวมถึงสำเนียงซาอุดีอาระเบีย สหรัฐอาหรับเอมิเรตส์ อียิปต์ และเลแวนไทน์ ชุดข้อมูลเฉพาะด้านครอบคลุมวิทยาศาสตร์ เทคโนโลยี วิศวกรรมศาสตร์ และคณิตศาสตร์ (STEM) อาหาร และเกษตรกรรม ชุดข้อมูลเหล่านี้สนับสนุนการปรับแต่งคำแนะนำ การปรับแต่งอย่างละเอียด และการประเมินแบบจำลองภาษาในกรณีที่การครอบคลุมสำเนียงท้องถิ่นและความรู้ที่อิงตามวัฒนธรรมมีความสำคัญ
ชุดข้อมูลคลังโค้ดและซอฟต์แวร์
โค้ดเบสที่ใช้ในการผลิตนั้นมาจากซอฟต์แวร์ที่ใช้งานจริงแล้ว ครอบคลุมภาษา C#, React, TypeScript, Angular, Java, Go, PHP, Swift และ BrightScript หลายรายการมีประวัติการขอแก้ไข (pull-request) และการคอมมิต (commit) อย่างครบถ้วน แสดงให้เห็นว่าโค้ดมีการเปลี่ยนแปลงอย่างไรในระหว่างการตรวจสอบ โค้ดเบสเหล่านี้รองรับการเติมโค้ดอัตโนมัติ การสร้างโค้ด การทำความเข้าใจโค้ด และการฝึกอบรมโมเดลการตรวจสอบโค้ด โดยมีคลังเก็บโค้ดให้ประเมินผลก่อนการให้สิทธิ์ใช้งาน
ชุดข้อมูลข้อความข่าวและวารสารศาสตร์
บทความข่าวที่เขียนและเรียบเรียงอย่างมืออาชีพจากองค์กรข่าวต่างประเทศชั้นนำ มีให้เลือกอ่านในรูปแบบฟีดข่าวต่อเนื่องเป็นภาษาอังกฤษ สเปน และอาหรับ รวมถึงมีคลังบทความกว่า 975,000 บทความที่ตีพิมพ์ตั้งแต่ปี 1999 บทความทุกชิ้นมีชื่อผู้เขียน วันที่ หัวข้อข่าว เนื้อหา และแท็กหัวข้อ เหมาะสำหรับงานฝึกอบรมแบบจำลองเหตุการณ์ปัจจุบัน การสร้างข้อมูลที่เสริมด้วยการค้นหา และงานการให้เหตุผลเชิงเวลา
คำถามและคำตอบทางคลินิกและชุดข้อมูลกรณีศึกษา
ชุดคำถาม-คำตอบทางการแพทย์ บทสรุปกรณีศึกษาทางคลินิก และบทความทางการแพทย์ฉบับเต็ม สำหรับการฝึกอบรมและการประเมินแบบจำลองที่เน้นด้านการดูแลสุขภาพ มีชุดข้อมูลสีทองและสีเงินให้เลือกใช้ โดยชุดข้อมูลสีทองจัดเตรียมตามมาตรฐานการตรวจสอบที่สูงกว่าสำหรับการเปรียบเทียบ ในกรณีที่แหล่งข้อมูลมีข้อมูลส่วนบุคคลที่สามารถระบุตัวตนได้หรือข้อมูลสุขภาพที่ได้รับการคุ้มครอง การแก้ไข การลบข้อมูลส่วนบุคคล และการปกปิดข้อมูลจะถูกรวมอยู่ในขอบเขตของการทำงาน
ข้อความดิบและคลังข้อมูลขนาดใหญ่ระดับเว็บ
ชุดข้อมูลข้อความดิบขนาดใหญ่ ทั้งข้อความแจ้งเตือนและสคริปต์แปลงข้อความเป็นเสียงพูด ครอบคลุมทั้งภาษาอาหรับมาตรฐานสมัยใหม่และภาษาถิ่นต่างๆ รวมถึงชุดข้อมูลดิบขนาด 20 ล้านคำ ชุดข้อมูลนี้สนับสนุนการฝึกฝนโมเดลภาษาเบื้องต้นและการขยายขอบเขตคำศัพท์และการครอบคลุมภาษาถิ่นในโมเดลที่จัดการกับภาษาอาหรับมาตรฐานสมัยใหม่ได้ดี แต่ทำงานได้ไม่ดีกับภาษาพูดถิ่นต่างๆ
คลังเอกสารและข้อความที่สแกนแล้ว
เอกสารที่สแกนจากโลกแห่งความเป็นจริงและแบบฟอร์มที่มีโครงสร้างจะถูกส่งเป็นไฟล์ PDF ในรูปแบบและคุณภาพการสแกนที่สมจริง ไม่ใช่การแสดงผลแบบสังเคราะห์ ระบบนี้รองรับ AI สำหรับเอกสาร การประมวลผลภาษาธรรมชาติที่คล้ายกับ OCR และการดึงข้อมูล โดยเฉพาะอย่างยิ่งสำหรับการทำความเข้าใจเอกสารแบบคีย์-ค่าและตาราง ซึ่งรูปแบบการจัดวางมีความสำคัญพอๆ กับตัวข้อความเอง
ชุดข้อมูลข้อความทางวิชาการและสำนักพิมพ์
หนังสือและบทความวารสารฉบับเต็มที่ได้รับอนุญาตจากสำนักพิมพ์วิชาการและจัดส่งผ่าน API ครอบคลุม 12 สาขาวิทยาศาสตร์กายภาพและวิศวกรรม ได้แก่ ดาราศาสตร์ ชีวการแพทย์ โยธา ไฟฟ้าและอิเล็กทรอนิกส์ พลังงาน อุตสาหกรรม วัสดุศาสตร์ เครื่องกล นาโนเทคโนโลยี ฟิสิกส์ วิทยาศาสตร์พอลิเมอร์ และการจัดการความปลอดภัย เหมาะสำหรับการฝึกอบรมเบื้องต้นทางวิทยาศาสตร์และเทคนิคและการสืบค้นข้อมูลจากแหล่งข้อมูลที่ผ่านการตรวจสอบโดยผู้ทรงคุณวุฒิ
ความบันเทิงที่เขียนบทและบทบรรยาย
บทภาพยนตร์ บทถอดเสียง และบทบรรยายที่ดึงมาจากแคตตาล็อกบทบันเทิงขนาดใหญ่ ซึ่งครอบคลุมภาพยนตร์สารคดี รายการโทรทัศน์ แอนิเมชั่น และละครสั้นแนวตั้ง ในหลากหลายแนว เช่น ดราม่า ตลก วิทยาศาสตร์ สยองขวัญ คาวบอย แอ็คชั่น ลึกลับ โรแมนติก ระทึกขวัญ และศาสนา เนื้อหาเหล่านี้สนับสนุนการสร้างบทบรรยายและบทสนทนา การสร้างแบบจำลองรูปแบบบทภาพยนตร์ และการจัดเรียงบทให้ตรงกับฉาก
คำถามที่พบบ่อย (FAQ)
1. ชุดข้อมูลข้อความสำหรับการฝึกอบรม AI คืออะไร?
ชุดข้อมูลข้อความสำหรับการฝึกอบรม AI คือชุดข้อมูลที่คัดสรรมาอย่างดีของภาษาเขียน เช่น คู่คำถามและคำตอบ คำแนะนำ บทความ รหัส บันทึกทางการแพทย์ หนังสือ และบทละคร ซึ่งใช้ในการฝึกฝนเบื้องต้น ปรับแต่ง และประเมินผลโมเดลภาษาขนาดใหญ่ (LLM) และระบบ NLP แคตตาล็อกข้อมูลข้อความของ Shaip นำเสนอชุดข้อมูลที่พร้อมให้ใช้งานในแปดหมวดหมู่ โดยแต่ละหมวดหมู่มาจากแหล่งข้อมูลจริง
2. Shaip มีชุดข้อมูลข้อความประเภทใดบ้าง?
แคตตาล็อกนี้ครอบคลุมแปดหมวดหมู่ ได้แก่ ชุดข้อมูลคำถามและคำตอบเชิงสนทนาและคำแนะนำ ชุดข้อมูลรหัสและคลังซอฟต์แวร์ ข่าวและบทความเชิงวารสารศาสตร์ ชุดข้อมูลคำถามและคำตอบทางคลินิกและกรณีศึกษา ข้อความดิบและคลังข้อมูลขนาดใหญ่บนเว็บ คลังข้อมูลเอกสารที่สแกน ข้อความทางวิชาการและสำนักพิมพ์ และข้อความบันเทิงและเรื่องเล่าที่มีบทพูด
3. ครอบคลุมภาษาและสำเนียงใดบ้าง?
ชุดข้อมูลมีให้เลือกทั้งภาษาอังกฤษ อาหรับ และสเปน ชุดข้อมูลภาษาอาหรับครอบคลุมทั้งภาษาอาหรับมาตรฐานสมัยใหม่ รวมถึงสำเนียงซาอุดีอาระเบีย สหรัฐอาหรับเอมิเรตส์ อียิปต์ และเลแวนไทน์ ซึ่งช่วยให้โมเดลที่จัดการกับภาษาอาหรับมาตรฐานสมัยใหม่ได้ดี แต่มีปัญหาในการจัดการกับสำเนียงท้องถิ่นที่ใช้พูดกันทั่วไป สามารถใช้ประโยชน์จากข้อมูลชุดนี้ได้ดียิ่งขึ้น
4. ชุดข้อมูลเหล่านี้รองรับกรณีการใช้งาน AI ใดบ้าง?
กรณีการใช้งานทั่วไป ได้แก่ การฝึกอบรม LLM เบื้องต้น การปรับแต่งคำสั่งและการปรับแต่งอย่างละเอียด การประเมินและการเปรียบเทียบประสิทธิภาพของโมเดล การสร้างเนื้อหาเสริมการค้นหา (RAG) การเติมโค้ดอัตโนมัติและการตรวจสอบโค้ด AI ด้านการดูแลสุขภาพ AI ด้านเอกสารและการสกัดข้อมูล และการสร้างบทสนทนาและบทภาพยนตร์
5. ฉันสามารถประเมินชุดข้อมูลก่อนที่จะอนุญาตให้ใช้งานได้หรือไม่?
ใช่ค่ะ เราสามารถจัดหาตัวอย่างหรือสิทธิ์การเข้าถึงเพื่อทดลองใช้ก่อนที่คุณจะได้รับใบอนุญาตชุดข้อมูล เพื่อให้ทีมของคุณสามารถตรวจสอบความเหมาะสม รูปแบบ และคุณภาพได้ ติดต่อเราพร้อมแจ้งกรณีการใช้งานของคุณเพื่อขอตัวอย่างจากหมวดหมู่ที่เกี่ยวข้องค่ะ
6. ข้อมูลที่ละเอียดอ่อน เช่น ข้อมูลส่วนบุคคลที่ระบุตัวตนได้ (PII) และข้อมูลสุขภาพส่วนบุคคล (PHI) ถูกจัดการอย่างไร?
ในกรณีที่แหล่งข้อมูลมีข้อมูลส่วนบุคคลที่สามารถระบุตัวตนได้ หรือข้อมูลสุขภาพที่ได้รับการคุ้มครอง เช่น ข้อมูลทางคลินิก การแก้ไข การทำให้ไม่สามารถระบุตัวตนได้ และการปกปิดข้อมูล จะรวมอยู่ในขอบเขตของข้อตกลง เพื่อให้ข้อมูลเป็นไปตามข้อกำหนดด้านความเป็นส่วนตัวและการปฏิบัติตามกฎระเบียบของคุณ
7. ชุดข้อมูลสีทองและชุดข้อมูลสีเงินแตกต่างกันอย่างไร?
ชุดข้อมูลระดับ Golden คือชุดข้อมูลที่ผ่านการตรวจสอบมาตรฐานสูงกว่า และเหมาะสมที่สุดสำหรับการเปรียบเทียบและประเมินผล ส่วนชุดข้อมูลระดับ Silver คือชุดข้อมูลที่ผ่านการตรวจสอบตามมาตรฐาน และเหมาะสำหรับการฝึกอบรมขนาดใหญ่ที่ปริมาณข้อมูลมีความสำคัญมากกว่า
8. สามารถปรับแต่งหรือขยายชุดข้อมูลได้หรือไม่?
ใช่แล้ว ชุดข้อมูลสามารถปรับให้เหมาะสมกับโครงการของคุณได้โดยแบ่งตามภาษา โดเมน ปริมาณ หรือรูปแบบ หากแคตตาล็อกไม่ครอบคลุมสิ่งที่คุณต้องการ Shaip สามารถรวบรวมและใส่คำอธิบายประกอบข้อมูลข้อความแบบกำหนดเองตามข้อกำหนดของคุณได้
9. มีตัวเลือกใบอนุญาตอะไรบ้าง?
การอนุญาตใช้งานจะกำหนดขอบเขตตามแต่ละโครงการ โดยพิจารณาจากชุดข้อมูล ปริมาณ การใช้งานที่ตั้งใจไว้ และระยะเวลา ชุดข้อมูลบางชุด เช่น เนื้อหาข่าว สามารถใช้งานได้ทั้งในรูปแบบการรับข้อมูลอย่างต่อเนื่องและในรูปแบบการเก็บถาวรแบบครั้งเดียว
10. ข้อมูลชุดต่างๆ ถูกส่งมอบอย่างไร?
รูปแบบการส่งมอบขึ้นอยู่กับชุดข้อมูล ตัวเลือกต่างๆ ได้แก่ ไฟล์ที่มีโครงสร้าง ไฟล์ PDF สำหรับเอกสารที่สแกน ฟีดข่าวแบบต่อเนื่อง และการส่งมอบผ่าน API สำหรับเนื้อหาทางวิชาการและสำนักพิมพ์ รูปแบบการส่งมอบสามารถปรับให้สอดคล้องกับขั้นตอนการฝึกอบรมของคุณได้
11. ชุดข้อมูลข้อความมีราคาเท่าไหร่?
ราคาขึ้นอยู่กับประเภท ปริมาณ ความเป็นเอกสิทธิ์ และเงื่อนไขการอนุญาตใช้งาน แจ้งความต้องการของคุณให้ทีมงานของเราทราบเพื่อขอใบเสนอราคาที่เหมาะสมกับโครงการของคุณ
12. ฉันจะเริ่มต้นได้อย่างไร?
เลือกดูหมวดหมู่ที่ตรงกับกรณีการใช้งานของคุณ จากนั้นติดต่อ Shaip พร้อมแจ้งความต้องการของคุณ ทีมงานของเราจะแจ้งรายละเอียดชุดข้อมูล จัดเตรียมตัวอย่าง และประเมินขอบเขตใบอนุญาตสำหรับโครงการของคุณ
