แชทบอท AI เข้าใจภาษาไทยแม่นแค่ไหน? จุดอ่อน NLP ที่ต้องรู้ก่อนใช้จริง
ลูกค้าพิมพ์ "พรุ่งนี้ไปส่งได้มั้ยคะ งง จ. หรือ อ. ดี" แชทบอทหลายเจ้าจะตอบผิดจุดประสงค์ทันที — ไม่ใช่เพราะ AI "โง่" แต่เพราะภาษาไทยไม่มีการเว้นวรรคระหว่างคำ
ทำให้ระบบตัดคำผิดตำแหน่งได้ง่ายกว่าภาษาอังกฤษมาก บวกกับคนไทยพิมพ์คำทับศัพท์ปนอังกฤษและคำย่อในชีวิตจริงตลอดเวลา
นี่คือจุดอ่อนเชิงโครงสร้างของการประมวลผลภาษาไทย (Thai NLP) ที่มีอยู่จริงในหลายระบบ ไม่ใช่แค่ความเห็นทางการตลาด
บทความนี้อธิบายว่าปัญหาอยู่ตรงไหนจริง ๆ และวิธีที่ควรใช้เช็กก่อนตัดสินใจจ้างแชทบอทมาใช้กับธุรกิจ
สารบัญ
- Thai NLP คืออะไร ทำไมถึงยากกว่าภาษาอังกฤษ
- ทำไมเรื่องนี้ถึงสำคัญกับธุรกิจที่จะใช้แชทบอท
- จุดอ่อนที่พบจริงในการประมวลผลภาษาไทย
- ตัวอย่างจริง: 4 ประโยคที่บอทมือใหม่มักตอบผิด
- เช็กลิสต์: วิธีทดสอบว่าแชทบอทเข้าใจภาษาไทยจริงหรือแค่โฆษณา
- แล้วธุรกิจควรเช็กอะไร ไม่ใช่แค่เชื่อคำโฆษณา "รองรับภาษาไทย"
- FAQ
Thai NLP คืออะไร ทำไมถึงยากกว่าภาษาอังกฤษ
Thai NLP (Natural Language Processing) คือกระบวนการที่ระบบ AI แปลงข้อความภาษาไทยที่ลูกค้าพิมพ์ ให้กลายเป็นความหมายที่ระบบเข้าใจและตอบกลับได้ถูกต้อง หัวใจของปัญหาคือ "การตัดคำ" (word segmentation)
ภาษาอังกฤษใช้เว้นวรรคแบ่งคำอยู่แล้ว แต่ภาษาไทยเขียนติดกันเป็นพรืด ระบบต้องเดาเองว่าตรงไหนคือจุดแบ่งคำ
ซึ่งงานวิจัยด้าน NLP ยืนยันตรงกันว่านี่คือความท้าทายพื้นฐานของภาษาไทยเมื่อเทียบกับภาษาที่มีตัวคั่นคำชัดเจน (arxiv.org/pdf/1911.07056)
ในทางเทคนิค ตัวตัดคำ (tokenizer) ของภาษาไทยแบ่งออกได้เป็นสองแนวทางหลัก ที่ให้ผลลัพธ์ต่างกันชัดเจน:
- แบบพจนานุกรม (dictionary-based / maximal matching) — ระบบไล่จับคู่ตัวอักษรกับคำในพจนานุกรมที่โหลดไว้ล่วงหน้า ข้อดีคือเร็วมาก แต่ถ้าเจอคำนอกพจนานุกรม เช่น ชื่อสินค้า แสลง หรือคำที่เพิ่งเกิดใหม่ ระบบจะตัดผิดทันทีเพราะไม่มีคำนั้นให้จับคู่
- แบบดีปเลิร์นนิง (neural-based) — โมเดลเรียนรู้รูปแบบการตัดคำจากข้อมูลจำนวนมาก แม่นยำกว่าในภาพรวมและรับมือคำนอกพจนานุกรมได้ดีกว่า แต่ใช้ทรัพยากรประมวลผลสูงกว่าและตอบสนองช้ากว่า
ตัวเลขที่ชี้ให้เห็นช่องว่างนี้ชัดเจนคือผลทดสอบบนชุดข้อมูลมาตรฐาน BEST 2010 ซึ่งเป็นชุดข้อมูลอ้างอิงที่ใช้วัดความแม่นยำของตัวตัดคำภาษาไทยในวงการวิจัย
ตัวตัดคำแบบพจนานุกรมที่เน้นความเร็ว (newmm) ทำความแม่นยำได้ราว 71% เท่านั้น ขณะที่โมเดลดีปเลิร์นนิงระดับ state-of-the-art ทำได้ถึงราว 95%
ส่วนโมเดลรุ่นกลาง (AttaCut) ที่ออกแบบมาให้เร็วกว่าโมเดลดีปเลิร์นนิงเต็มรูปแบบราว 6 เท่า ทำความแม่นยำได้ราว 91% (github.com/PyThaiNLP/attacut)
ตัวเลขนี้สำคัญกับธุรกิจเพราะแปลว่า "ตัวตัดคำ" ที่ผู้ให้บริการแต่ละเจ้าเลือกใช้ — ซึ่งลูกค้าแทบไม่เคยถามหรือรู้ — ส่งผลต่อความแม่นยำของบอทได้มากถึงหลักสิบเปอร์เซ็นต์ ไม่ใช่ความต่างเล็กน้อย
ทำไมเรื่องนี้ถึงสำคัญกับธุรกิจที่จะใช้แชทบอท
ถ้าแชทบอทตัดคำผิด ความหมายทั้งประโยคเปลี่ยนได้ทันที
ตัวอย่างคลาสสิกในวงการ NLP ไทยคือ "ตากลม" ที่ตัดได้ทั้ง "ตา-กลม" (ดวงตากลม) และ "ตาก-ลม" (ผึ่งลม) — ถ้าเป็นแชทบอทลูกค้าที่คุยเรื่องจองคิว ถามราคา หรือแจ้งปัญหา
การตัดคำผิดแบบนี้แปลว่าบอทเข้าใจ intent ผิด ตอบไม่ตรงคำถาม หรือแย่กว่านั้นคือส่งข้อมูลผิดประเภทเข้าระบบหลังบ้าน
สำหรับธุรกิจที่ใช้บอทเก็บข้อมูลลูกค้าหรือปิดการขาย ความแม่นยำของการตัดคำจึงไม่ใช่เรื่องเทคนิคเบื้องหลังที่มองไม่เห็นผลกระทบ แต่กระทบตรงประสบการณ์ลูกค้าและอัตราการปิดงานจริง
ผลกระทบจริงมักเกิดในสามจุดของการทำงานบอท ไม่ใช่แค่ "ตอบผิด" แบบเดียว:
- เข้าใจ intent ผิด — บอทจับคำผิดตำแหน่งแล้วส่งไปเข้ากฎ (rule) หรือ intent ที่ไม่เกี่ยวข้อง เช่น ลูกค้าถามเรื่องยกเลิกนัด แต่บอทตอบเป็นเรื่องราคาแทน เพราะตัดคำแล้วไปจับคำว่า "ยก" กับ "เลิก" คนละกลุ่ม
- ดึงข้อมูล (entity) ผิด — เมื่อบอทต้องดึงชื่อ วันที่ หรือหมายเลขออกจากประโยคเพื่อบันทึกเข้าระบบหลังบ้าน การตัดคำผิดตำแหน่งเดียวอาจทำให้ดึงวันที่ผิด หรือรวมคำที่ไม่เกี่ยวเข้าไปเป็นชื่อสินค้า ซึ่งกระทบตรงกับข้อมูลที่ทีมงานเอาไปใช้ต่อ
- ลูกค้าเสียเวลาพิมพ์ซ้ำ — เมื่อบอทตอบไม่ตรง ลูกค้าต้องพิมพ์อธิบายใหม่ ยิ่งพิมพ์มากยิ่งมีโอกาสเจอคำกำกวมซ้ำอีก กลายเป็นวงจรที่ทำให้ลูกค้าหมดความอดทนและออกจากบทสนทนาไปคุยกับพนักงานแทน ซึ่งขัดกับจุดประสงค์ที่จ้างบอทมาตั้งแต่ต้น
จุดอ่อนที่พบจริงในการประมวลผลภาษาไทย
1. การตัดคำ (Word Segmentation) — ไม่มีเว้นวรรคให้ยึด
ภาษาไทยไม่มีตัวคั่นคำที่ชัดเจนเหมือนช่องว่างในภาษาอังกฤษ โมเดลต้องอาศัยการเดาความน่าจะเป็นจากบริบทรอบข้าง
ซึ่งยังมีความกำกวมและคำนอกพจนานุกรม (out-of-vocabulary) เป็นปัญหาที่ยังไม่จบสิ้นในงานวิจัยสาย NLP ไทย แม้จะมีโมเดลใหม่ ๆ อย่าง AttaCut ที่พัฒนาขึ้นมาเพื่อแก้ปัญหานี้โดยเฉพาะ (arxiv.org/pdf/1911.07056)
ความกำกวมแบบนี้ไม่ได้เกิดแค่กับคำสองพยางค์อย่าง "ตากลม" เท่านั้น แต่เกิดได้ทั้งประโยคเมื่อไม่มีจุดแบ่งคำชัดเจน
ตัวอย่างเช่นประโยค "ไม่เอาแล้วครับ" กับ "ไม่ เอาแล้วครับ" (สองคำแยกที่แปลว่า "ไม่ [เรื่องอื่น] แต่เอาเรื่องนี้")
ในข้อความแชทจริงที่ไม่มีวรรคตอนช่วยแบ่งประโยคย่อย ระบบต้องอาศัยบริบทของข้อความก่อนหน้าทั้งหมดในการตัดสินใจ
ซึ่งเป็นเหตุผลที่บอทที่ประมวลผลทีละข้อความแบบไม่มี context ของบทสนทนาก่อนหน้ามีโอกาสตีความผิดสูงกว่าบอทที่ดึงประวัติแชทมาประกอบการตัดคำด้วย
2. คำทับศัพท์และภาษาปนกัน (Code-Switching)
คนไทยพิมพ์ผสมกันเป็นปกติ เช่น "ขอ tracking number หน่อยค่ะ" หรือ "จองรอบ evening ได้ไหม"
งานวิจัยชี้ว่าเนื้อหาที่ผู้ใช้พิมพ์เองในภาษาไทยมักมีคำทับศัพท์ที่เขียนด้วยตัวอักษรภาษาอังกฤษปนอยู่ ซึ่งเป็นจุดที่ตัวตัดคำ (tokenizer) ของหลายโมเดลสับสน
ถ้าตัวตัดคำไม่ได้เทรนด้วยชุดข้อมูลภาษาอังกฤษร่วมด้วย ระบบจะต้องถอยไปตัดทีละตัวอักษร ทำให้ประมวลผลช้าลงและแม่นยำน้อยลงกับข้อความไทย-อังกฤษปนกัน (arxiv.org/pdf/2311.12475)
ปัญหานี้ยิ่งซับซ้อนขึ้นเมื่อคำภาษาอังกฤษถูกเขียนแบบไม่มีมาตรฐานตายตัว — คำเดียวกันปรากฏได้หลายรูปในข้อความลูกค้าจริง เช่น "โอเค" / "OK" / "ok" / "โอเค่" หรือ "ไลน์" / "LINE" / "line"
ตัวตัดคำที่เทรนมาจากข้อมูลทางการมักเจอแค่รูปแบบเดียวและจำไม่ได้เมื่อเจอรูปแบบอื่น
ธุรกิจที่มีศัพท์เฉพาะทางของตัวเอง เช่น ชื่อรุ่นสินค้า คำย่อในวงการ หรือชื่อบริการที่เป็นภาษาอังกฤษ จึงมีความเสี่ยงสูงกว่าธุรกิจทั่วไป
เพราะคำเหล่านี้แทบไม่มีทางอยู่ในชุดข้อมูลที่ใช้เทรนโมเดลสำเร็จรูปมาก่อน ต้องอาศัยการทดสอบและปรับแต่งเฉพาะธุรกิจนั้นจริง ๆ
3. คำพ้องเสียง คำพ้องรูป และการสะกดไม่เป๊ะ
ลูกค้าจริงพิมพ์เร็ว พิมพ์ผิด ใช้คำย่อ หรือพิมพ์วรรณยุกต์คลาดเคลื่อนตลอดเวลา ระบบที่เทรนมาจากข้อความที่ "สะอาด" เกินไปมักสะดุดกับข้อความแชทจริงที่ไม่เป็นทางการ
นี่คือช่องว่างระหว่างข้อมูลที่ใช้เทรนโมเดลกับข้อความที่ลูกค้าพิมพ์จริงในไลน์หรือเฟซบุ๊ก
รูปแบบการพิมพ์ไม่เป็นทางการที่พบบ่อยในแชทจริงและมักไม่ได้อยู่ในชุดข้อมูลเทรนโมเดล มีอย่างน้อยสี่แบบ:
- การพิมพ์เว้นวรรคผิดตำแหน่งโดยไม่ตั้งใจ (เช่นกดเว้นวรรคกลางคำเพราะรีบพิมพ์)
- การละคำหรือคำเชื่อมประโยค (พิมพ์สั้นแบบภาษาแชท ไม่ใช่ภาษาเขียนทางการ)
- การใช้คำเลียนเสียงพูดหรือคำแสลงตามกลุ่มอายุ/ภูมิภาค
- การพิมพ์ตัวอักษรซ้ำเพื่อเน้นน้ำเสียง (เช่น "แพงมากกกก" หรือ "จริงอ่ะ")
ซึ่งไม่ตรงกับรูปคำมาตรฐานในพจนานุกรมเลย
บอทที่ไม่เคยเจอรูปแบบเหล่านี้ในขั้นทดสอบมักตอบไม่ตรงจุดหรือไม่เข้าใจ intent เลย ทั้งที่ความหมายที่มนุษย์อ่านแล้วเข้าใจทันที
4. โมเดลภาษาไทยเฉพาะทาง vs. โมเดลทั่วไป
วงการ NLP ไทยมีความพยายามแก้ปัญหานี้อย่างจริงจัง หนึ่งในตัวอย่างที่ชัดเจนคือ PhayaThaiBERT ซึ่งพัฒนาต่อยอดจาก WangchanBERTa โดยทีมวิจัยด้านภาษาศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย
จุดเด่นของโมเดลนี้คือการขยายชุดคำศัพท์ (vocabulary) ให้ครอบคลุมคำทับศัพท์ภาษาอังกฤษที่ไม่ได้ถูกปรับรูปเขียนเป็นไทย ซึ่งเป็นจุดอ่อนเดิมของ WangchanBERTa (arxiv.org/abs/2311.12475)
เป็นหลักฐานทางวิชาการที่ยืนยันว่าปัญหาคำทับศัพท์ปนภาษาที่พูดถึงข้างต้นเป็นเรื่องจริง ไม่ใช่แค่ความรู้สึก
สิ่งที่ธุรกิจควรเข้าใจจากจุดนี้คือ โมเดลภาษาไทยเฉพาะทางแบบนี้ไม่ได้ "แก้ปัญหาให้จบ" ในตัวมันเอง มันแค่ลดจุดอ่อนบางจุดลง (เช่นคำทับศัพท์)
แต่ยังต้องผ่านการนำไปต่อยอดเป็นระบบแชทบอทจริง ซึ่งมีชั้นการประมวลผลอื่นอีกหลายชั้นต่อจากตัวตัดคำ เช่น การจับ intent, การดึง entity, และการเลือกคำตอบ — แต่ละชั้นมีจุดที่ผิดพลาดได้เองอีก
การเลือกใช้โมเดลที่แม่นในงานวิจัยจึงเป็นแค่จุดเริ่มต้น ไม่ใช่หลักประกันว่าแชทบอทที่สร้างจากโมเดลนั้นจะตอบถูกทุกครั้งในสถานการณ์จริงของธุรกิจหนึ่ง ๆ
ตัวอย่างจริง: 4 ประโยคที่บอทมือใหม่มักตอบผิด
ตัวอย่างต่อไปนี้เป็นกรณีจำลองเพื่อให้เห็นภาพว่าปัญหาข้างต้นเกิดขึ้นจริงในบทสนทนาแบบไหน ไม่ใช่ transcript จริงของลูกค้ารายใด แต่สร้างจากรูปแบบปัญหาที่พบบ่อยตามที่อธิบายไว้ในหัวข้อก่อนหน้า
ตัวอย่างที่ 1 — ความกำกวมจากการไม่มีเว้นวรรค ลูกค้าพิมพ์: "ตากลมดีไหมคะรุ่นนี้"
- บอทที่ไม่ได้ทดสอบดี: ตัดคำเป็น "ตาก-ลม-ดี-ไหม-คะ-รุ่น-นี้" แล้วเข้าใจว่าลูกค้าถามเรื่อง "การผึ่งลม" ของสินค้า ตอบผิดเรื่องทันที
- บอทที่ผ่านการทดสอบจริง: ใช้บริบทของสินค้าที่กำลังคุยอยู่ก่อนหน้า (เช่นกำลังดูสินค้าประเภทแว่นตาหรือของตกแต่ง) มาช่วยตัดสินว่าน่าจะเป็น "ตา-กลม" มากกว่า แล้วตอบตรงคำถาม
ตัวอย่างที่ 2 — คำทับศัพท์ปนอังกฤษ ลูกค้าพิมพ์: "ขอ track เลขพัสดุหน่อยค่ะ ยังไม่ถึงเลย"
- บอทที่ไม่ได้ทดสอบดี: ตัวตัดคำไม่รู้จักคำว่า "track" ในบริบทนี้ ถอยไปตัดทีละตัวอักษรแล้วจับ intent ไม่ได้ ตอบกลับด้วยข้อความทั่วไปที่ไม่เกี่ยวกับการติดตามพัสดุ
- บอทที่ผ่านการทดสอบจริง: มีการเทรนหรือปรับแต่งให้รู้จักคำทับศัพท์เฉพาะทางของธุรกิจ (เช่น track, tracking, เลขพัสดุ) ล่วงหน้า จับ intent "ติดตามพัสดุ" ได้ถูกต้อง
ตัวอย่างที่ 3 — การสะกดแบบไม่เป็นทางการและคำเน้นเสียง ลูกค้าพิมพ์: "แพงไปป่าววว ลดได้มั้ยง่ะ"
- บอทที่ไม่ได้ทดสอบดี: เจอคำว่า "ป่าววว" และ "ง่ะ" ซึ่งไม่อยู่ในพจนานุกรมมาตรฐาน ตัดคำผิดตำแหน่งจนจับไม่ได้ว่าลูกค้ากำลังต่อรองราคา ตอบกลับแบบไม่เข้าใจคำถาม
- บอทที่ผ่านการทดสอบจริง: ผ่านการทดสอบกับข้อความแชทจริงที่ไม่เป็นทางการมาก่อน จึงรู้จักรูปแบบคำเน้นเสียงและคำลงท้ายแบบภาษาพูด ตอบกลับเรื่องส่วนลดได้ตรงจุด
ตัวอย่างที่ 4 — ประโยคกำกวมที่ต้องอาศัยบริบทบทสนทนา ลูกค้าพิมพ์: "พรุ่งนี้ไปส่งได้มั้ยคะ งง จ. หรือ อ. ดี"
- บอทที่ไม่ได้ทดสอบดี: ตัดคำและตีความ "จ." "อ." เป็นตัวย่อที่ไม่รู้จัก (อาจสับสนกับชื่ออำเภอ/จังหวัด) หรือมองข้ามไปเลย แล้วตอบยืนยันวันส่งแบบทั่วไปโดยไม่ถามกลับให้ชัด ทำให้นัดผิดวัน
- บอทที่ผ่านการทดสอบจริง: จับได้ว่าลูกค้ากำลังลังเลระหว่างสองตัวเลือก (วันจันทร์/วันอังคาร) จากบริบทของประโยค แล้วถามกลับให้ยืนยันก่อนบันทึกนัดหมาย แทนที่จะเดาเอง
เช็กลิสต์: วิธีทดสอบว่าแชทบอทเข้าใจภาษาไทยจริงหรือแค่โฆษณา
ก่อนจ้างหรือก่อนเซ็นอนุมัติให้แชทบอทไป live จริง ผู้ซื้อสามารถทดสอบได้เองด้วยคำถาม/ประโยคทดสอบต่อไปนี้ โดยไม่ต้องรู้เรื่องเทคนิคเชิงลึก:
- ลองพิมพ์ประโยคที่มีคำกำกวมจากการตัดคำ เช่น "ตากลม" "ไม่เอาแล้วครับ" หรือคำในวงการธุรกิจของตัวเองที่มีความหมายได้สองแบบ แล้วดูว่าบอทตอบตรงบริบทที่คุยอยู่ก่อนหน้าหรือไม่ ไม่ใช่แค่จับคำเดี่ยว ๆ แล้วเดาสุ่ม
- ลองพิมพ์ไทยปนอังกฤษแบบที่ลูกค้าจริงพิมพ์ โดยใช้ศัพท์เฉพาะของธุรกิจตัวเอง (ชื่อรุ่นสินค้า คำย่อในวงการ ชื่อบริการภาษาอังกฤษ) ไม่ใช่แค่คำทั่วไปอย่าง "OK" — เพราะคำเฉพาะทางคือจุดที่โมเดลสำเร็จรูปมักไม่รู้จักมาก่อน
- ลองพิมพ์แบบไม่เป็นทางการ เช่น พิมพ์ผิด สะกดวรรณยุกต์เพี้ยน ใช้คำลงท้ายแบบภาษาพูด (ป่าว, ง่ะ, อ่ะ) หรือพิมพ์ตัวอักษรซ้ำเพื่อเน้นน้ำเสียง แล้วดูว่าบอทยังจับ intent ได้ถูกอยู่ไหม
- ลองส่งประโยคที่มีสองความหมายให้เลือก เช่นถามวันนัดที่ลังเลระหว่างสองตัวเลือก แล้วดูว่าบอทถามกลับให้ชัดก่อนบันทึกข้อมูล หรือเดาเอาเองแล้วบันทึกผิด — บอทที่ดีควรรู้ว่าเมื่อไหร่ต้อง "ถามย้ำ" แทนที่จะเดา
- ลองพิมพ์คำย่อหรือศัพท์เฉพาะภูมิภาค/กลุ่มลูกค้าจริงของธุรกิจ ถ้าฐานลูกค้าเป็นคนต่างจังหวัดหรือกลุ่มอายุเฉพาะ ให้ทดสอบด้วยคำที่กลุ่มนั้นใช้จริง ไม่ใช่ภาษาไทยกลางในตำรา เพราะโมเดลส่วนใหญ่เทรนจากข้อความทางการหรือข่าวเป็นหลัก
- ถามตรง ๆ ว่าตัวตัดคำ/โมเดลที่ใช้คืออะไร และเคยทดสอบกับ benchmark มาตรฐานไหม ผู้ให้บริการที่จริงจังควรตอบได้ว่าใช้เอนจินไหน (เช่นเทียบระหว่างเน้นความเร็วหรือเน้นความแม่นยำ) เพราะทางเลือกนี้กระทบความแม่นยำได้หลักสิบเปอร์เซ็นต์ตามที่อธิบายไว้ข้างต้น
- ถามว่ามีขั้นตอนทดสอบกับบทสนทนาจริงของธุรกิจก่อน go-live หรือไม่ ไม่ใช่แค่ทดสอบกับประโยคตัวอย่างมาตรฐานทั่วไป เพราะปัญหาส่วนใหญ่ที่พบจริงมาจากศัพท์เฉพาะและรูปแบบการพิมพ์ของลูกค้าแต่ละธุรกิจ ซึ่งต่างกันมากในแต่ละอุตสาหกรรม
- ถามว่าหลัง go-live มีกระบวนการตรวจสอบบทสนทนาจริงต่อเนื่องไหม เพราะแม้ทดสอบก่อน go-live ดีแค่ไหน ก็ยังมีคำหรือรูปแบบใหม่ที่ลูกค้าคิดขึ้นเองหลังใช้งานจริงเสมอ ระบบที่ดีควรมีรอบตรวจจับปัญหาที่ตอบผิดซ้ำ ๆ แล้วนำมาแก้ไข ไม่ใช่ปล่อยทิ้งไว้
แล้วธุรกิจควรเช็กอะไร ไม่ใช่แค่เชื่อคำโฆษณา "รองรับภาษาไทย"
ทุกเจ้าที่ขายแชทบอทในไทยจะบอกว่า "รองรับภาษาไทย" อยู่แล้ว แต่คำถามที่ควรถามจริง ๆ คือ "เคยผ่านการทดสอบกับบทสนทนาจริงของธุรกิจแบบผมหรือยัง" ไม่ใช่แค่โมเดลไหนแม่นกว่าในทางทฤษฎี
เพราะสำหรับ Sarunjade เอง เราไม่มีโมเดลภาษาไทยของตัวเองแบบที่ทีมวิจัยมหาวิทยาลัยพัฒนา — สิ่งที่เราทำได้และทำจริงคือเลือกใช้โมเดลและเครื่องมือที่มีอยู่ในตลาดให้เหมาะกับงาน
แล้วเอาไปทดสอบซ้ำกับบทสนทนาจริงของลูกค้าแต่ละราย ก่อน go-live เสมอ (อ่านเพิ่มเรื่องแนวทางนี้ได้ในบทความ "บอทที่ผ่านการทดสอบจริงก่อน go-live")
การตรวจเคสจริงแบบนี้เคยจับปัญหาการตอบผิดของบอทคลินิกได้ 2 จุดก่อนกระทบลูกค้าจริง
เป็นตัวอย่างว่าการทดสอบซ้ำแบบมีกระบวนการสำคัญกว่าการอ้างความแม่นยำของโมเดลเฉย ๆ
เหตุผลที่การทดสอบต่อเนื่องสำคัญกว่าการเลือกโมเดล "ดีที่สุด" ตั้งแต่แรก คือภาษาที่ลูกค้าพิมพ์เปลี่ยนไปตลอดเวลา คำแสลงใหม่เกิดขึ้นทุกปี
ศัพท์เฉพาะของแต่ละธุรกิจก็ต่างกัน และไม่มีโมเดลสำเร็จรูปเจ้าไหนครอบคลุมทุกกรณีได้ตั้งแต่วันแรก
สิ่งที่ตัดสินว่าแชทบอทหนึ่งจะใช้งานได้จริงหรือไม่ จึงไม่ใช่แค่ "ใช้โมเดลอะไร" แต่เป็น "มีกระบวนการจับและแก้จุดที่ตอบผิดต่อเนื่องหรือเปล่า"
ซึ่งเป็นงานที่ต้องทำหลัง go-live ไปแล้วด้วย ไม่ใช่จบแค่ตอนทดสอบก่อนส่งมอบ
FAQ
ทำไมแชทบอท AI ถึงตอบภาษาไทยผิดบ่อย? ส่วนใหญ่มาจากการตัดคำผิด (word segmentation) เพราะภาษาไทยไม่มีเว้นวรรคระหว่างคำเหมือนภาษาอังกฤษ ทำให้ระบบตีความประโยคผิดตำแหน่งได้ง่าย โดยเฉพาะกับคำที่มีความหมายกำกวมหรือคำนอกพจนานุกรม
แชทบอทเข้าใจภาษาถิ่นหรือคำย่อภาษาไทยได้ไหม? ขึ้นอยู่กับข้อมูลที่ใช้เทรนและทดสอบระบบ โมเดลที่เทรนจากข้อความทางการล้วนมักสะดุดกับคำย่อหรือข้อความแชทจริงที่ไม่เป็นทางการ
วิธีที่ช่วยได้คือทดสอบระบบด้วยบทสนทนาจริงของลูกค้าธุรกิจนั้น ๆ ก่อนใช้งานจริง ไม่ใช่แค่ทดสอบด้วยประโยคตัวอย่างมาตรฐาน
ถ้าลูกค้าพิมพ์ไทยปนอังกฤษ บอทจะงงไหม? มีโอกาสสูงถ้าตัวตัดคำของระบบไม่ได้ถูกออกแบบมารองรับคำทับศัพท์ปนภาษา งานวิจัยยืนยันว่านี่เป็นจุดที่ตัวตัดคำหลายตัวสับสน โดยเฉพาะเมื่อไม่มีชุดข้อมูลภาษาอังกฤษร่วมเทรน
PhayaThaiBERT คืออะไร แล้วดีกว่าโมเดลอื่นยังไง? เป็นโมเดลภาษาไทยที่พัฒนาต่อยอดจาก WangchanBERTa โดยทีมวิจัยจุฬาลงกรณ์มหาวิทยาลัย
จุดเด่นคือขยายชุดคำศัพท์ให้ครอบคลุมคำทับศัพท์ภาษาอังกฤษที่เขียนแบบไม่ปรับรูปมากขึ้น ถือเป็นความก้าวหน้าจริงของวงการ NLP ไทย
แต่การมีโมเดลที่แม่นในทางทฤษฎีไม่ได้แปลว่าบอทที่ใช้โมเดลนั้นจะตอบถูกทุกกรณีในธุรกิจจริง ยังต้องผ่านการทดสอบกับบทสนทนาจริงอยู่ดี
จะรู้ได้ยังไงว่าแชทบอทที่จ้างเข้าใจภาษาไทยจริง? ให้ถามผู้ให้บริการตรง ๆ ว่ามีขั้นตอนทดสอบระบบกับบทสนทนาจริงของธุรกิจก่อน go-live หรือไม่ และมีการตรวจสอบบทสนทนาจริงหลังใช้งานเพื่อจับจุดที่ตอบผิดต่อเนื่องหรือเปล่า
คำตอบที่วัดผลได้จริงสำคัญกว่าคำโฆษณาว่า "แม่นยำ" หรือ "รองรับภาษาไทย" เฉย ๆ
หากกำลังเทียบตัวเลือกแชทบอทสำหรับธุรกิจและอยากรู้ว่าระบบที่กำลังพิจารณาผ่านการทดสอบกับภาษาไทยจริงแค่ไหน ดูรายละเอียดบริการและกระบวนการทดสอบก่อน go-live ได้ที่ หน้าบริการ AI Chatbot
เขียนโดย Jade (Sarunjade) — ที่ปรึกษาและผู้พัฒนาระบบแชทบอท AI ให้ธุรกิจไทย