AI อ่านและเข้าใจภาษายังไง? เครื่องที่เห็นแค่ตัวเลข เข้าใจคำของเราได้ยังไง — สามขั้นจบในคลิปเดียวค่ะ: สับเป็น token → เปลี่ยนเป็น embedding ที่มีความหมาย → ใช้ attention โยงคำตามบริบท
How does AI read & understand language? The whole story in one video — tokens, embeddings, and attention.
📑 ช่วงเวลา / Chapters
What is a token? How AI reads text
AI อ่านข้อความยังไง? รู้จัก Token
เวลาเราพิมพ์ข้อความให้ ChatGPT มันไม่ได้เห็นเป็นคำๆ เหมือนที่เราอ่านนะคะ มันสับข้อความออกเป็นชิ้นเล็กๆ ที่เรียกว่า token ก่อน แล้ว token คืออะไร ทำไมต้องสับด้วยคะ ครูนารีค่ะ วันนี้มาเข้าใจขั้นแรกที่ AI อ่านภาษากัน
token คือชิ้นส่วนของข้อความค่ะ บางทีเป็นคำเต็มๆ บางทีเป็นแค่ส่วนของคำ ยกตัวอย่างคำว่า playing อาจถูกสับเป็นสองชิ้น คือ play กับ ing ภาษาไทยก็เหมือนกัน คำยาวๆ ถูกสับเป็นชิ้นที่โมเดลรู้จักค่ะ
ทำไมต้องสับแบบนี้คะ เพราะโมเดลมีคลังคำจำกัด จำทุกคำในโลกไม่ไหว แต่ถ้าเก็บเป็นชิ้นเล็กๆ ที่ใช้ซ้ำได้ มันก็ประกอบเป็นคำอะไรก็ได้ แม้แต่คำใหม่ คำพิมพ์ผิด หรือภาษาอื่น ก็ยังอ่านออกค่ะ
ที่สำคัญคือ AI ไม่ได้ทำงานกับตัวอักษรนะคะ มันทำงานกับตัวเลข แต่ละ token เลยมีเลขประจำตัว หรือ ID พอเราพิมพ์ประโยคไป มันก็กลายเป็นลิสต์ของตัวเลข ที่โมเดลเอาไปคำนวณต่อได้ค่ะ
สรุปนะคะ ก่อน AI จะเข้าใจอะไร มันต้องสับข้อความเป็น token แล้วแปลงเป็นตัวเลขก่อน แต่เลข ID พวกนี้เป็นแค่ป้ายชื่อ ยังไม่มีความหมายในตัว เลข 500 กับ 501 ไม่ได้แปลว่าใกล้กัน แล้ว AI ทำให้ตัวเลขมีความหมายได้ยังไง ไปต่อกันที่ embeddings ค่ะ
What is an embedding? How AI grasps meaning
AI เข้าใจความหมายยังไง? รู้จัก Embedding
ตอนที่แล้วเราได้ token เป็นตัวเลข ID แล้ว แต่ ID เป็นแค่ป้ายชื่อ เลข 500 กับ 501 ไม่ได้แปลว่าความหมายใกล้กันนะคะ แล้ว AI รู้ได้ยังไงว่าคำว่า king กับ queen เกี่ยวข้องกัน คำตอบคือ embeddings ค่ะ ไปดูกันเลย
embedding คือการเปลี่ยนแต่ละ token ให้เป็นพิกัด หรือจุดในปริภูมิความหมายค่ะ ลองนึกภาพแผนที่ ที่คำซึ่งความหมายใกล้กัน จะอยู่ใกล้กันบนแผนที่ เช่น แมว กับ หมา อยู่ใกล้กัน ส่วน แมว กับ รถยนต์ อยู่ไกลกันค่ะ
ที่เจ๋งกว่านั้นคือ ทิศทางบนแผนที่นี้มีความหมายด้วยค่ะ ระยะจาก king ไป queen ก็คล้ายกับระยะจาก man ไป woman โมเดลเลยจับความสัมพันธ์แบบ ผู้ชาย-ผู้หญิง ได้ จากตัวเลขล้วนๆ เลยนะคะ
แล้วแผนที่ความหมายนี้มาจากไหนคะ มันไม่ได้มีใครมานั่งกำหนด แต่โมเดลเรียนรู้เองตอนฝึก จากหลักง่ายๆ ว่า คำที่มักโผล่มาในบริบทคล้ายๆ กัน ก็น่าจะมีความหมายใกล้กัน พอเห็นข้อความมหาศาล มันเลยค่อยๆ จัดตำแหน่งคำได้เองค่ะ
สรุปนะคะ embedding ทำให้ตัวเลขมีความหมาย และจับความสัมพันธ์ระหว่างคำได้ แต่ยังมีปัญหาอยู่นิดนึง embedding พื้นฐานของแต่ละคำ เป็นค่าคงที่ ไม่ขึ้นกับประโยค คำว่า bank ในธนาคาร กับ ริมฝั่งแม่น้ำ ได้ตัวเลขชุดเดียวกัน แล้ว AI แยกตามบริบทยังไง ไปต่อที่ attention ค่ะ
What is attention? How AI links words (Transformers)
AI โยงคำเข้าหากันยังไง? รู้จัก Attention
คำว่า bank ในประโยค นั่งเล่นริมฝั่งแม่น้ำ กับ ไปถอนเงินที่ธนาคาร ความหมายต่างกันสุดๆ เลยนะคะ แล้ว AI รู้ได้ยังไง ว่าอันไหนคืออันไหน ทั้งที่เป็นคำเดียวกัน ด้วยกลไกที่ชื่อ attention ค่ะ ไปดูกันเลย
attention คือการให้แต่ละคำ มองไปที่คำอื่นๆ ในประโยค แล้วชั่งน้ำหนักว่าคำไหนสำคัญกับมันบ้างค่ะ คำว่า bank จะหันไปสนใจคำรอบๆ ถ้าเจอคำว่า แม่น้ำ มันก็รู้ว่าเป็นริมฝั่ง ถ้าเจอคำว่า เงิน ก็รู้ว่าเป็นธนาคารค่ะ
พอชั่งน้ำหนักเสร็จ แต่ละคำก็ได้ความหมายใหม่ ที่ปรับตามบริบทรอบตัวค่ะ embedding เดิมเป็นค่าคงที่ แต่หลังผ่าน attention คำว่า bank ในสองประโยค จะมีความหมายต่างกันแล้ว เพราะมันอ่านเพื่อนบ้านของตัวเองมาแล้วนั่นเองค่ะ
กลไกนี้แหละค่ะ คือหัวใจของ Transformer ที่อยู่เบื้องหลัง ChatGPT จุดที่เจ๋งคือ มันมองทุกคำในประโยค พร้อมกันได้ และโยงคำที่อยู่ห่างกันมากๆ เข้าหากันได้ด้วย เลยเข้าใจประโยคยาวๆ ที่ซับซ้อนได้ดีค่ะ
สรุปทั้งซีรีส์นะคะ AI อ่านและเข้าใจภาษาด้วยสามขั้น หนึ่ง สับข้อความเป็น token สอง เปลี่ยนเป็น embedding ที่มีความหมาย และสาม ใช้ attention โยงคำเข้าหากันตามบริบท สามขั้นนี้แหละค่ะ ที่ทำให้เครื่องทายคำ เข้าใจภาษาเราได้ ใครอยากฝึกภาษาอังกฤษไปกับ AI ทุกวัน แอดไลน์ครูนารีไว้ได้เลยนะคะ เจอกันในบทเรียนต่อไปบนไลน์ค่ะ
เรียน AI ตั้งแต่ศูนย์ ไปด้วยกันนะคะ
ดูทั้งซีรีส์ How Machines Learn บน YouTube — ฟรีทุกตอนค่ะ