Why does ChatGPT make things up?

Why does ChatGPT make things up? It confidently "hallucinates" for two reasons: it guesses the next word even when unsure, and it's trained like a test-taker that's rewarded for guessing over saying "I don't know."

ทำไม ChatGPT ตอบมั่ว — เข้าใจสองสาเหตุของอาการหลอนแบบง่ายๆ ค่ะ

📑 ช่วงเวลา / Chapters

Why does ChatGPT make things up?

ทำไม ChatGPT ตอบมั่ว

ถามอะไรยากๆ บางที ChatGPT ตอบผิดแบบหน้าตาเฉย มั่นใจเต็มร้อย แต่มั่วล้วนๆ ค่ะ อาการนี้เรียกว่า hallucination หรือการหลอน แล้วเครื่องที่ฉลาดขนาดนี้ ทำไมยังมั่วได้คะ ครูนารีค่ะ วันนี้เราจะเข้าใจสองสาเหตุที่แท้จริงกัน

จำได้ไหมคะว่า ChatGPT คือเครื่องทายคำถัดไป มันเลือกคำที่น่าจะตามมามากที่สุด จากสิ่งที่เคยเห็นมา แต่ปัญหาคือ มันไม่มีปุ่มบอกว่า ฉันไม่รู้ ค่ะ ถ้าเราถามเรื่องที่มันไม่เคยเห็นชัดๆ มันก็ยังเดาคำที่ฟังดูเข้าท่าออกมาอยู่ดี

นี่คือสาเหตุแรกค่ะ เป็นเรื่องสถิติล้วนๆ ตั้งแต่ตอน pretraining ข้อเท็จจริงที่หายาก หรือเจอแค่ครั้งเดียว โมเดลจำไม่แม่น พอไม่แน่ใจ มันก็เติมคำที่ดูเป็นไปได้มากที่สุดออกมา เป็นคำตอบที่ฟังดูดีแต่ผิด การหลอนแบบนี้เลยติดมาตั้งแต่เกิด ไม่ใช่บั๊ก แต่เป็นผลของการเดาคำใต้ความไม่แน่นอนค่ะ

แต่เดี๋ยวก่อนค่ะ ถ้ามันไม่แน่ใจ ทำไมมันไม่บอกตรงๆ ว่าไม่รู้ล่ะ คำตอบอยู่ที่สาเหตุที่สอง ซึ่งน่าสนใจมากค่ะ

สาเหตุที่สองคือ เราฝึกมันเหมือนติวเด็กให้สอบเก่งค่ะ ลองนึกถึงข้อสอบแบบฝนคำตอบนะคะ ถ้าตอบว่าไม่รู้ ได้ศูนย์แน่ๆ แต่ถ้าเดา ยังมีโอกาสได้คะแนน เพราะงั้นกลยุทธ์ที่ดีที่สุดคือ เดาให้มั่นใจไว้ก่อน โมเดลก็เรียนรู้แบบนั้นเป๊ะเลย เพราะการวัดผลส่วนใหญ่ ให้รางวัลกับคำตอบที่มั่นใจ มากกว่าการยอมรับว่าไม่รู้ค่ะ

และนี่คือจุดสำคัญค่ะ การหลอนไม่ได้หายไปด้วย SFT หรือ RLHF ที่เราเรียนกันไปนะคะ เพราะขั้นตอนพวกนั้นก็ยังให้รางวัลกับคำตอบที่ดูดีและมั่นใจอยู่ดี การหลอนเลยเป็นข้อจำกัดที่ยังเหลืออยู่ ไม่ใช่สิ่งที่แก้ขาดได้ง่ายๆ ค่ะ

แล้วจะแก้ยังไงคะ ทางออกที่นักวิจัยเสนอ คือเปลี่ยนวิธีให้คะแนน ให้รางวัลกับการบอกว่าไม่รู้เมื่อไม่แน่ใจ แทนที่จะลงโทษ สรุปนะคะ ChatGPT หลอนเพราะสองอย่าง หนึ่ง มันเดาคำใต้ความไม่แน่นอน และสอง เราฝึกมันให้เดาอย่างมั่นใจ มากกว่ายอมรับว่าไม่รู้ค่ะ

พอเข้าใจสองข้อนี้ เราก็ใช้ AI ได้ฉลาดขึ้น อย่าเชื่อทุกอย่างที่มันตอบ ตรวจสอบเรื่องสำคัญเสมอนะคะ ถ้าอยากเข้าใจว่า ChatGPT ถูกสร้างมายังไงตั้งแต่ต้น ไปดูคลิปรวมของเราได้เลยค่ะ See you next time! แล้วเจอกันใหม่นะคะ