โมเดลภาษาขนาดใหญ่แบบมัลติโมดัลคืออะไร แอปพลิเคชัน ความท้าทาย และการทำงาน

ลองนึกภาพว่าคุณมีรายงานผลเอ็กซ์เรย์และคุณจำเป็นต้องเข้าใจว่าคุณได้รับบาดเจ็บที่ใดบ้าง ทางเลือกหนึ่งคือไปพบแพทย์ ซึ่งโดยปกติแล้วคุณควรไปพบแพทย์ แต่ด้วยเหตุผลบางประการ หากคุณทำไม่ได้ คุณสามารถใช้ Multimodal Large Language Models (MLLM) ซึ่งจะประมวลผลการสแกนเอ็กซ์เรย์ของคุณและบอกคุณได้อย่างแม่นยำว่าคุณได้รับบาดเจ็บที่ใดบ้างตามผลการสแกน 

หากอธิบายอย่างง่ายๆ MLLM ก็คือการผสมผสานของโมเดลต่างๆ เช่น ข้อความ รูปภาพ เสียง วิดีโอ เป็นต้น ซึ่งไม่เพียงแต่สามารถประมวลผลข้อความสอบถามปกติได้เท่านั้น แต่ยังสามารถประมวลผลคำถามในรูปแบบต่างๆ เช่น รูปภาพและเสียงได้อีกด้วย  

ในบทความนี้ เราจะพาคุณไปดูว่า MLLM คืออะไร ทำงานอย่างไร และ MMLM ตัวไหนที่คุณสามารถใช้ได้ 

LLM แบบหลายรูปแบบคืออะไร?

ต่างจาก LLM แบบดั้งเดิมที่สามารถทำงานกับข้อมูลได้เพียงประเภทเดียวเท่านั้น โดยส่วนใหญ่เป็นข้อความหรือรูปภาพ LLM แบบหลายโหมดเหล่านี้สามารถทำงานกับข้อมูลได้หลายรูปแบบ ซึ่งคล้ายกับการที่มนุษย์สามารถประมวลผลภาพ เสียง และข้อความได้ทั้งหมดในคราวเดียว 

โดยพื้นฐานแล้วAI แบบมัลติโมดอลจะรับข้อมูลหลากหลายรูปแบบ เช่น ข้อความ รูปภาพ เสียง วิดีโอ และแม้แต่ข้อมูลจากเซ็นเซอร์เพื่อให้เกิดความเข้าใจและการโต้ตอบที่สมบูรณ์และซับซ้อนยิ่งขึ้น ลองนึกถึงระบบ AI ที่ไม่เพียงแต่ดูภาพ แต่ยังสามารถอธิบายภาพ เข้าใจบริบท ตอบคำถามเกี่ยวกับภาพ และแม้กระทั่งสร้างเนื้อหาที่เกี่ยวข้องโดยอิงจากข้อมูลหลายประเภทได้

ตอนนี้เรามาดูตัวอย่างเดียวกันของรายงานเอ็กซ์เรย์พร้อมบริบทว่า LLM แบบหลายโหมดจะเข้าใจบริบทของรายงานได้อย่างไร นี่คือแอนิเมชั่นง่ายๆ ที่อธิบายวิธีการประมวลผลภาพผ่านตัวเข้ารหัสภาพเพื่อแปลงภาพเป็นเวกเตอร์ และต่อมาใช้ LLM ที่ได้รับการฝึกอบรมจากข้อมูลทางการแพทย์เพื่อตอบคำถาม

ที่มา: Google Multimodal Medical AI

LLM แบบหลายรูปแบบทำงานอย่างไร?

แม้ว่าการทำงานภายในของ LLM หลายรูปแบบจะค่อนข้างซับซ้อน (มากกว่า LLM) แต่เราได้พยายามแบ่งมันออกเป็น 6 ขั้นตอนง่ายๆ ดังต่อไปนี้

ขั้นตอนที่ 1: การรวบรวมข้อมูล – นี่คือขั้นตอนแรกที่รวบรวมข้อมูลและทำการประมวลผลเบื้องต้น ตัวอย่างเช่น รูปภาพจะถูกแปลงเป็นพิกเซล โดยทั่วไปจะใช้สถาปัตยกรรมโครงข่ายประสาทเทียมแบบคอนโวลูชัน (CNN)

อินพุตข้อความจะถูกแปลงเป็นโทเค็นโดยใช้อัลกอริทึมเช่น BytePair Encoding (BPE) หรือ SentencePiece ในทางกลับกัน สัญญาณเสียงจะถูกแปลงเป็นสเปกโตรแกรมหรือค่าสัมประสิทธิ์เซปสตรัลความถี่เมล (MFCC) อย่างไรก็ตาม ข้อมูลวิดีโอจะถูกแบ่งย่อยเป็นแต่ละเฟรมในรูปแบบลำดับ 

ขั้นตอนที่ 2: การแบ่งคำเป็นโทเค็น –แนวคิดเบื้องหลังการแบ่งคำเป็นโทเค็นคือการแปลงข้อมูลให้อยู่ในรูปแบบมาตรฐานเพื่อให้เครื่องจักรสามารถเข้าใจบริบทของข้อมูลได้ ตัวอย่างเช่น ในการแปลงข้อความให้เป็นโทเค็น จะใช้การประมวลผลภาษาธรรมชาติ (NLP)

สำหรับการสร้างโทเค็นภาพ ระบบจะใช้เครือข่ายประสาทเทียมที่ผ่านการฝึกอบรมไว้ล่วงหน้า เช่น สถาปัตยกรรม ResNet หรือ Vision Transformer (ViT) สัญญาณเสียงจะถูกแปลงเป็นโทเค็นโดยใช้เทคนิคการประมวลผลสัญญาณ เพื่อให้สามารถแปลงคลื่นเสียงเป็นการแสดงออกที่กระชับและมีความหมายได้ 

ขั้นตอนที่ 3: เลเยอร์การฝังข้อมูล –ในขั้นตอนนี้ โทเค็น (ที่เราได้มาในขั้นตอนก่อนหน้า) จะถูกแปลงเป็นเวกเตอร์หนาแน่นในลักษณะที่เวกเตอร์เหล่านี้สามารถจับบริบทของข้อมูลได้ สิ่งที่ควรทราบคือ แต่ละรูปแบบจะสร้างเวกเตอร์ของตัวเองซึ่งสามารถใช้งานร่วมกันได้กับรูปแบบอื่นๆ

ขั้นตอนที่ 4: การผสานรวมข้ามรูปแบบ – จนถึงตอนนี้ โมเดลสามารถเข้าใจข้อมูลได้ถึงระดับโมเดลแต่ละตัว แต่ตั้งแต่ขั้นตอนที่ 4 เป็นต้นไป ทุกอย่างจะเปลี่ยนไป ในการผสานรวมข้ามรูปแบบ ระบบจะเรียนรู้ที่จะเชื่อมโยงจุดต่างๆ ระหว่างหลายรูปแบบเพื่อสร้างความสัมพันธ์เชิงบริบทที่ลึกซึ้งยิ่งขึ้น

ตัวอย่างที่ดีอย่างหนึ่งคือรูปภาพของชายหาด ข้อความที่แสดงวันหยุดพักผ่อนบนชายหาด และคลิปเสียงของคลื่น ลม และฝูงชนที่ร่าเริง โต้ตอบกัน วิธีนี้ทำให้ LLM แบบหลายโหมดไม่เพียงแต่เข้าใจอินพุต แต่ยังรวบรวมทุกอย่างเข้าด้วยกันเป็นประสบการณ์เดียว 

ขั้นตอนที่ 5: การประมวลผลด้วยโครงข่ายประสาทเทียม –การประมวลผลด้วยโครงข่ายประสาทเทียมเป็นขั้นตอนที่ข้อมูลที่รวบรวมได้จากการหลอมรวมข้อมูลข้ามรูปแบบ (ขั้นตอนก่อนหน้า) จะถูกแปลงเป็นข้อมูลเชิงลึกที่มีความหมาย ในขั้นตอนนี้ โมเดลจะใช้การเรียนรู้เชิงลึกเพื่อวิเคราะห์ความเชื่อมโยงที่ซับซ้อนซึ่งพบได้ในระหว่างการหลอมรวมข้อมูลข้ามรูปแบบ

ลองนึกภาพกรณีที่คุณใช้รายงานผลเอ็กซ์เรย์ บันทึกของผู้ป่วย และคำอธิบายอาการร่วมกัน การประมวลผลเครือข่ายประสาทจะไม่เพียงแต่แสดงรายการข้อเท็จจริงเท่านั้น แต่ยังสร้างความเข้าใจแบบองค์รวมที่สามารถระบุความเสี่ยงต่อสุขภาพที่อาจเกิดขึ้นและแนะนำการวินิจฉัยที่เป็นไปได้

ขั้นตอนที่ 6 – การสร้างผลลัพธ์ –นี่คือขั้นตอนสุดท้ายที่ MLLM จะสร้างผลลัพธ์ที่แม่นยำสำหรับคุณ แตกต่างจากโมเดลแบบดั้งเดิมซึ่งมักมีข้อจำกัดด้านบริบท ผลลัพธ์ของ MLLM จะมีความลึกซึ้งและเข้าใจบริบทได้ดียิ่งขึ้น

นอกจากนี้เอาต์พุตอาจมีได้มากกว่าหนึ่งรูปแบบ เช่น การสร้างชุดข้อมูล การสร้างการแสดงภาพของสถานการณ์ หรือแม้กระทั่งเอาต์พุตเสียงหรือวิดีโอของเหตุการณ์เฉพาะ 

[อ่านเพิ่มเติม: RAG กับการปรับแต่งอย่างละเอียด: วิธีไหนเหมาะกับหลักสูตร LLM ของคุณ ?]

การประยุกต์ใช้งานโมเดลภาษาขนาดใหญ่หลายโหมดมีอะไรบ้าง?

แม้ว่า MLLM จะเป็นคำที่เพิ่งถูกเลิกใช้ไป แต่ก็มีแอปพลิเคชันนับร้อยที่คุณจะพบว่ามีการปรับปรุงที่ดีขึ้นอย่างเห็นได้ชัดเมื่อเทียบกับวิธีการดั้งเดิม ซึ่งทั้งหมดนี้ต้องขอบคุณ MLLM ต่อไปนี้คือแอปพลิเคชันสำคัญบางส่วนของ MLLM: