AI ฟรี สู้ Jev AI ได้ไหม? วัดเอง 112 ข้อ

หน้านี้คู่กับวิดีโอ How Machines Learn แชตบอตสำหรับห้องเรียนตัวหนึ่งทำได้หกอย่าง และต้องมีตัวเลือกว่าข้อความไหนควรใช้เครื่องมือไหน เราให้โมเดล System 1 ฟรีหกตัว กับ Jev ซึ่งเป็นบริการเสียเงินบนเซิร์ฟเวอร์ของ TypeSafe ทำข้อสอบชุดเดียวกัน 112 ข้อ ในภาษาอังกฤษ ไทย และจีน แล้ววัดแค่ว่าเลือกถูกไหม

A classroom chatbot can do six things, and something has to pick. Six free System 1 models and Jev, TypeSafe's paid and hosted one, took the same 112 messages in English, Thai and Chinese. Only the pick is scored.

ลองเอง · Try it yourself

Two steps, on a CPU. The script below is the file we ran; the output is what it printed.

pip install openthai-systemone

# pick_tool.py — a free System 1 model picks the tool for a message, on this computer.
#
#   pip install openthai-systemone
#   python pick_tool.py
#
# The first run downloads the model, about 1.5 GB, once. It runs on the CPU.
# The choosing happens here: no message is sent to a service.
from openthai_systemone import Choice, SystemOneClient

# What each helper is for. The model reads these words, so they matter: change
# one and the picks can change. If you do, test again on NEW messages.
HELPERS = {
    "coin_price": "the price of a cryptocurrency coin, like Bitcoin or ETH, in Thai baht",
    "wikipedia": "a fact about a person, place, thing or history, from an encyclopedia",
    "web_search": "news, weather, or anything happening today or recently, found on the web",
    "make_map": "showing where a place is, or a map of a place",
    "make_page": "making or building a new web page or HTML page",
    "chat": "greetings, thanks, small talk, jokes, or help practising or correcting English",
}
MESSAGES = ["ขอดูแผนที่ปาย", "บิตคอยน์ตอนนี้กี่บาท", "Tell me a joke about cats.",
            "ค้นหาร้านกาแฟแถวนิมมาน"]

model = SystemOneClient("iapp/OpenThai-SystemOne", device="cpu")
question = {"tool": Choice(instructions="Which helper should answer this message?",
                           criteria=HELPERS)}

for message in MESSAGES:
    answer = model.system_one(state=message, questions=question).answers["tool"]
    print(f"{message}\n    -> {answer.choice}  ({answer.probabilities[answer.choice]:.2f})")

ขอดูแผนที่ปาย
    -> make_map  (0.99)
บิตคอยน์ตอนนี้กี่บาท
    -> coin_price  (0.99)
Tell me a joke about cats.
    -> chat  (1.00)
ค้นหาร้านกาแฟแถวนิมมาน
    -> make_map  (0.68)

ข้อสอบ · The test

112 messages, each with the helper a person chose for it before any model was run.

แชตบอตตัวนี้ทำไว้สำหรับห้องเรียน ทำงานบน Raspberry Pi 5 และมีผู้ช่วยหกตัว โมเดลได้รับคำถามว่า "Which helper should answer this message?" พร้อมคำอธิบายของผู้ช่วยแต่ละตัว:

• 112 ข้อความ: อังกฤษ 38 ไทย 37 จีน 37 · ชุดแรก 76 ข้อ และอีก 36 ข้อที่เขียนเพิ่มหลังการแข่งรอบแรก เพื่อดูว่าเจอคำถามใหม่แล้วยังทำได้ไหม
• ราว 45 คำถาม: หลายข้อเป็นคำถามเดียวกันในสามภาษา (ถ้านับเหรียญหรือสถานที่ที่ต่างกันเป็นคนละคำถาม จะได้ 49) หลักฐานจึงบางกว่าที่เลข 112 ทำให้รู้สึก
• คนเดียวเขียนทั้งข้อสอบและเฉลย คือเจ้าของแชตบอต และเขียนเฉลยก่อนรันโมเดล บางข้อเถียงได้ว่าเฉลยควรเป็นอะไร
• รอบเดียวต่อหนึ่งตัว และวัดแค่การเลือก ไม่มีเครื่องมือไหนถูกเรียกใช้จริง และไม่ได้วัดคำตอบสุดท้าย

คำถามทั้งหมดพร้อมเฉลย: pick_questions.json · ตัวเลือกของทุกตัวในทุกข้อ: picks.json

One author wrote the messages and their labels, before any run. Many messages are one question in three languages, so there are about 45 different questions (49 if a different coin or place makes a different question). One run each. No tool was called: only the pick is scored.

ผล · Results

Messages sent to the right helper. Yellow is the paid, hosted one; grey rows are baselines, not System 1 models.

ตัวเลขทุกช่องคือจำนวนข้อที่เลือกตรงกับเฉลย · "การ์ด" คือหน้าข้อมูลของโมเดล ซึ่งบอกว่าผู้ทำรองรับภาษาอะไร · คู่ Laya ใช้รุ่นอังกฤษกับข้อความอังกฤษ และรุ่นหลายภาษากับข้อความไทยและจีน
ใครวัดอะไร: Jev กฎคำสำคัญ และวิธีเทียบความหมาย เป็นการรันของเจ้าของแชตบอต (Jev เรียกผ่านอินเทอร์เน็ต อีกสองแบบรันบน Raspberry Pi 5) · โมเดลฟรีหกตัวเรารันบนซีพียูของ DGX Spark · Laya ทั้งสองรุ่นถูกรันบน Raspberry Pi ด้วย และพลาดข้อเดียวกันทุกข้อ (ตรงกัน 112 จาก 112) · OpenThai-SystemOne รันซ้ำบนโน้ตบุ๊ก ได้ 106 และพลาดหกข้อเดิม

โมเดลฟรีหกตัว · The six free models

ทั้งหกตัวใช้สัญญาอนุญาต Apache 2.0 ตามที่การ์ดของแต่ละตัวเขียนไว้ (อ่านเมื่อ 2026-09-29) · "ไฟล์" คือขนาดที่ไลบรารีของแต่ละตัวโหลดลงเครื่องของเรา · ไลบรารี: openthai-systemone, laya, von-sdk อยู่บน PyPI ส่วน decider ติดตั้งจาก github.com/Mapika/decider (แพ็กเกจชื่อ decider บน PyPI เป็นโครงการอื่น)

เครื่องมือ: ดูข้อที่พลาด · Browse the misses

Choose a picker and a language. Every miss is listed, with what it picked.

ต่างกันสี่ข้อ ต่างกันจริงไหม · Is a gap of four a real gap?

Count only the messages where one of the two was right and the other wrong.

ถ้าสองตัวเก่งเท่ากัน ข้อที่มีตัวเดียวถูกก็เหมือนการโยนเหรียญ ว่าจะตกเป็นของใคร ค่า p คือโอกาสที่จะได้ผลเอียงขนาดนี้หรือมากกว่า ทั้งที่สองตัวเก่งเท่ากัน ถ้า p ต่ำกว่า 0.05 เราพูดว่าตัวหนึ่ง "นำ บนข้อสอบนี้" ถ้าสูงกว่า เราพูดว่า "น้อยเกินไปที่จะแยกออกจากกัน"

"12 : 2" คือ ตัวแรกถูกอยู่ตัวเดียว 12 ข้อ ตัวหลังถูกอยู่ตัวเดียว 2 ข้อ · OpenThai คือ OpenThai-SystemOne

สี่ต่อศูนย์ฟังเหมือนขาดลอย แต่เท่ากับโยนเหรียญสี่ครั้งแล้วออกหน้าเดียวกันหมด ซึ่งเกิดได้ 1 ใน 8 · ค่า p ในตารางยังมองโลกในแง่ดีเกินไปด้วย เพราะข้อความ 112 ข้อไม่ได้เป็นอิสระต่อกัน หลายข้อเป็นคำถามเดียวกันในสามภาษา
Four to nothing sounds decisive; it is four coin tosses landing the same way, which happens one time in eight. The p values are optimistic, too: many of the 112 messages are one question in three languages.

สองข้อที่ Jev พลาด · The two messages Jev missed

OpenThai-SystemOne พลาดสองข้อนี้เหมือนกัน และเลือกแบบเดียวกับ Jev ทั้งสองข้อ เฉลยของสองข้อนี้เถียงได้ ส่วนอีกสี่ข้อที่ OpenThai พลาด สามข้อเป็นคำถามว่าอะไรอยู่ที่ไหน ซึ่งมันส่งไปสารานุกรมแทนแผนที่

ตัวเลขในวงเล็บคือคะแนนที่ Jev ให้ตัวเลือกของมันเอง เราไม่สรุปอะไรเรื่องความมั่นใจของโมเดลจากสองข้อ · The number is the score Jev gave its own pick. Two misses are too few to say anything about how well its scores can be trusted.

ของเสียเงิน มีราคาอะไรอีก · What the paid one costs, besides money

In TypeSafe's own words, read on 29 September 2026.

ทุกข้อความออกไปที่เซิร์ฟเวอร์ของเขา

บริการนี้ไม่ได้ทำมาสำหรับเด็ก แชตบอตของเราทำไว้สำหรับห้องเรียน เรื่องนี้ครูและโรงเรียนต้องชั่งน้ำหนักเอง

ชื่อรุ่นที่เราเรียกใช้ชี้ไปที่รุ่นล่าสุดเสมอ เราเรียก jev-latest คะแนนในหน้านี้จึงเป็นของ Jev ตามที่ให้บริการเมื่อ 29 กันยายน 2026 การรันของเราไม่ได้บันทึกว่ารุ่นไหนเป็นตัวตอบ

ภาษาอื่นนอกจากอังกฤษ เขาบอกเองว่าให้ทดสอบกับเนื้อหาของเรา

ค่าบริการ และการฝึกโมเดล หน้าราคาเขียนว่า $0.042 ต่อหนึ่งล้านโทเคนขาเข้า และ Output tokens are free. เราไม่ได้ตรวจบิลของเราเอง

ของฟรี: เลือกในเครื่อง แต่ยังใช้อินเทอร์เน็ต · Picked on your machine, still online

กับโมเดลฟรี การเลือกเครื่องมือเกิดขึ้นในเครื่องของเราเอง ข้อความไม่ต้องส่งไปให้ใครช่วยเลือก แต่ถ้าโมเดลเลือกค้นเว็บ เปิดแผนที่ หรือดูราคาเหรียญ คำค้นก็ยังออกอินเทอร์เน็ตอยู่ดี และคำว่า "ฟรี" หมายถึงตัวโมเดลเปิดให้โหลดมาใช้ได้ ค่าเครื่องกับค่าไฟเรายังจ่ายเอง

กับดัก: เปลี่ยนคำ คะแนนเปลี่ยน · The trap: change a word, change the score

Same model, same messages. Only the words describing the choices changed.

ตัวเลือกข้อเดียว ตั้งชื่อสามแบบ · One option, three names

หลังการแข่ง เจ้าของแชตบอตถอดเครื่องมือสารานุกรมออก คำถามเชิงข้อเท็จจริงจึงไปที่การค้นเว็บแทน แล้วลองตั้งชื่อตัวเลือกนั้นสามแบบ กับคู่ Laya:

การรันของเจ้าของแชตบอต บนซีพียูของ DGX Spark · ตารางนี้มีห้าเครื่องมือ จึงเทียบกับตารางผลข้างบนซึ่งมีหกเครื่องมือไม่ได้ · The owner's probe: five tools, so these scores are not comparable with the table of six above.

คำอธิบายเป็นภาษาไทย · The meanings, written in Thai

เราเขียนคำอธิบายของผู้ช่วยทั้งหกเป็นภาษาไทย เขียนครั้งเดียวก่อนรัน และไม่แก้หลังเห็นคะแนน

ความเร็ว · Speed

Each on its own machine, so no picker is called the fastest.

Jev และ Raspberry Pi เป็นการรันของเจ้าของแชตบอต (Jev สองรอบ) · โน้ตบุ๊กมีโปรแกรมอื่นเปิดอยู่ · DGX Spark ใช้ 8 เธรด และไม่มีงานอื่นของเรารันอยู่
ยังไม่ได้วัด: OpenThai-SystemOne decider และ von บน Raspberry Pi เราจึงไม่บอกว่าบนนั้นจะเร็วแค่ไหน หรือใช้หน่วยความจำเท่าไร · Not measured: OpenThai-SystemOne, decider and von on a Raspberry Pi.

วัดกับคำถามของคุณเอง · Score it on your own messages

The same 112 messages, on your computer. Then yours.

ดาวน์โหลด score.py กับ pick_questions.json ไว้ในโฟลเดอร์เดียวกัน แล้วรัน python score.py pick_questions.json

# score.py — how many messages does a free System 1 model send to the right helper?
#
#   pip install openthai-systemone
#   python score.py pick_questions.json
#
# The file holds the question put to the model, what each helper is for, and the
# messages, each with the helper a person chose for it BEFORE any model was run.
# To test your own messages, put them in the file, and write each "want" first.
import json
import sys
from collections import Counter

from openthai_systemone import Choice, SystemOneClient

asked = json.load(open(sys.argv[1], encoding="utf-8"))
model = SystemOneClient("iapp/OpenThai-SystemOne", device="cpu")
question = {"tool": Choice(instructions=asked["instructions"], criteria=asked["criteria"])}

right, of, missed = Counter(), Counter(), []
for q in asked["questions"]:
    picked = model.system_one(state=q["text"], questions=question).answers["tool"].choice
    language = q.get("lang", "all")
    of[language] += 1
    if picked == q["want"]:
        right[language] += 1
    else:
        missed.append(f'  wanted {q["want"]}, picked {picked}: {q["text"]}')

print(f"right: {sum(right.values())} of {sum(of.values())}")
for language in of:
    print(f"  {language}: {right[language]} of {of[language]}")
print("missed:")
print("\n".join(missed))

ผลที่ได้บนโน้ตบุ๊กของเรา ใช้เวลา 2 นาที 37 วินาที สำหรับ 112 ข้อ:

right: 106 of 112
  en: 37 of 38
  th: 33 of 37
  zh: 36 of 37
missed:
  wanted make_map, picked wikipedia: Where is Chiang Mai University?
  wanted coin_price, picked wikipedia: อีเธอเรียมราคาเท่าไหร่
  wanted make_map, picked wikipedia: มหาวิทยาลัยเชียงใหม่อยู่ที่ไหน
  wanted web_search, picked make_map: ค้นหาร้านกาแฟแถวนิมมาน
  wanted make_map, picked wikipedia: 塔佩门在哪里？
  wanted make_map, picked wikipedia: สวนสัตว์เชียงใหม่อยู่ที่ไหน

ตรงกับผลบนซีพียูของ DGX Spark ทุกข้อ: 106 จาก 112 และพลาดหกข้อเดิม · บน Windows ถ้าจะเก็บผลลงไฟล์ ให้ตั้งค่า PYTHONUTF8=1 ก่อน ไม่อย่างนั้นตัวอักษรไทยและจีนจะเขียนลงไฟล์ไม่ได้
The same as on the DGX Spark's CPU, message for message. On Windows, set PYTHONUTF8=1 before sending the output to a file.

ใช้ตัวไหนดี · Which one should you use?

• งานภาษาอังกฤษ · โมเดลฟรีเกือบทุกตัวที่เราลอง ทำได้พอๆ กับ Jev บนข้อสอบนี้
• งานภาษาไทย และส่งข้อความออกนอกเครื่องได้ · Jev พลาดน้อยที่สุดในข้อสอบของเรา (36 จาก 37) อ่านเงื่อนไขของเขาก่อน
• อยากให้การเลือกอยู่ในเครื่อง · เริ่มจากโมเดลที่การ์ดบอกว่ารองรับภาษาไทย แล้วทดสอบด้วยคำถามของเราเอง
• ไม่ว่าใช้ตัวไหน · ให้ Python ตรวจซ้ำเสมอ เช่นโมเดลเลือก "ราคาเหรียญ" แต่ในข้อความไม่มีชื่อเหรียญ ก็ให้แชตบอตถามกลับว่าเหรียญไหน

For English, nearly every free model we tried did about as well as Jev on this test. For Thai, where messages may leave the device, Jev missed the fewest. To keep the choosing on your machine, start from a model whose card covers Thai and test it on your own messages. Whichever you use, check its pick in code.

ทำไมไม่ให้โมเดลแชตเลือกเอง · Why not let the chat model choose?

เจ้าของแชตบอตลองแล้ว โมเดลแชตขนาด 1.5B บนบอร์ด AI HAT+ 2 ของ Raspberry Pi เลือกเครื่องมือถูก 8 จาก 16 ข้อ ใช้เวลาราว 18 วินาทีต่อข้อ และแต่งราคาเหรียญขึ้นมาเองสองครั้ง นั่นเป็นการทดสอบคนละชุด (ข้อความอื่น 16 ข้อ) จึงเทียบกับตัวเลขข้างบนโดยตรงไม่ได้ รายละเอียดอยู่ในหน้าแชตบอตบน Raspberry Pi

📚 แหล่งข้อมูล · Sources

• ตัวเลขของโมเดลฟรี: วัดเอง สคริปต์และผลอยู่ในโฟลเดอร์ spark/bench ของโครงการ (pick_contest.py, pick_report.py) · our own measurements
• ข้อสอบ ตัวเลขของ Jev กฎคำสำคัญ วิธีเทียบความหมาย และ Laya บน Raspberry Pi: เจ้าของแชตบอต ดู ขั้นที่ 29 ของหน้าแชตบอต
• การ์ดของโมเดล: OpenThai-SystemOne · Laya · Laya multilingual · decider-0.8b · decider-2b · von
• TypeSafe: รุ่นและราคา · นโยบายความเป็นส่วนตัว · "System One" เป็นชื่อที่ TypeSafe ใช้ ยืมมาจากแนวคิดคิดเร็วและคิดช้า เป็นชื่อเล่น ไม่ได้แปลว่าโมเดลคิดเหมือนสมอง
• ตอนที่เกี่ยวข้อง: รัน AI แบบ Jev ฟรีด้วย Laya · Jev · ถอดเสียงประชุมเป็นข้อความ ฟรี ในเครื่อง · AI ฟรี ไม่มีรายเดือน ติดตั้ง Ollama

🔗 LINE @741nnbso · YouTube · Krueng AI · krueng.ai