ข้ามไปบทความ

ทำ AI ให้ปลอดภัยก่อนใช้งานจริง: บทเรียนจากระบบโทรหาผู้ป่วยล้านราย

กรณี Dora ของ Ufonia วางการทดสอบ AI เสียงจากความเสี่ยง ผ่านผู้ป่วยจำลอง การตรวจผู้ตัดสิน และเกณฑ์ความเสียหายก่อนเพิ่มสิทธิ์ใช้งาน

โดย Insiderly
video thumbnail for 'Shipping AI to a Million Patients Without an A/B Test — Jared Joselowitz, Ufonia'
ภาพจาก วิดีโอต้นทาง
เผยแพร่:

ที่มา: วิดีโอต้นทาง และบทความ VideoToBlog วันที่ 2026-08-19 (วันที่แสดงในบทความต้นทาง ไม่ใช่วันที่อัปโหลดวิดีโอที่ตรวจยืนยันแล้ว) ฟีเจอร์ ตัวเลข และตัวอย่างเป็นสิ่งที่ต้นทางกล่าวไว้ในขณะนั้น ยังไม่ได้ทดสอบซ้ำหรือยืนยันสถานะล่าสุด ตัวอย่างธุรกิจไทยและข้อวิเคราะห์เพิ่มเติมเป็นส่วนของบทความต้นฉบับ ตัวเลขและผลทดสอบของ Ufonia เป็นสิ่งที่ผู้บรรยายรายงานในเวลานั้น ไม่ใช่ผลทดสอบอิสระหรือคำรับรองความปลอดภัยทางคลินิก · วิดีโอต้นทาง

การปล่อย AI ให้ลูกค้ากลุ่มเล็กลองใช้ แล้วค่อยดู dashboard ว่ามีปัญหาหรือไม่ เป็นวิธีที่ใช้ได้กับหลายธุรกิจ แต่ใช้ไม่ได้เสมอไป โดยเฉพาะเมื่อความผิดพลาดหนึ่งครั้งอาจกระทบต่อสุขภาพ ความปลอดภัย เงินก้อนใหญ่ หรือความเชื่อมั่นที่กู้คืนยาก

Jared Joselowitz จาก Ufonia อธิบายในงานของช่อง AI Engineer ว่าทีมของเขาสร้าง Dora ซึ่งเป็น voice AI ที่โทรคุยกับผู้ป่วยเพื่อ follow-up หลังผ่าตัดและตรวจสอบก่อนการรักษาได้อย่างไร โดยไม่ใช้ A/B test กับผู้ป่วยจริง บทเรียนสำคัญไม่ได้อยู่ที่วงการแพทย์เท่านั้น แต่คือกรอบคิดสำหรับธุรกิจไทยที่กำลังใช้ AI agent ติดต่อและตัดสินใจร่วมกับลูกค้า

แก่นของเรื่องคือ เราไม่ควรส่งมอบแค่ model หรือ prompt ที่ดูฉลาด แต่ต้องส่งมอบหลักฐานว่า AI รับมือกับความเสี่ยงสำคัญได้

สารบัญ

Step 1: แยกงานที่ลองผิดลองถูกได้ ออกจากงานที่พลาดไม่ได้

Dora โทรหาผู้ป่วยในโรงพยาบาลของสหราชอาณาจักรเพื่อเก็บข้อมูลอาการ ตอบคำถาม และให้คำแนะนำบางประเภท เช่น การดูแลตนเองหลังผ่าตัดต้อกระจก ระบบลักษณะนี้ไม่ใช่แค่ chatbot เพราะคำตอบมีผลต่อการตัดสินใจของผู้ป่วย จึงอยู่ในกลุ่มซอฟต์แวร์ที่ต้องพิสูจน์ความปลอดภัย

Ufonia มีข้อจำกัด 3 ข้อที่น่าสนใจมาก ประการแรก ไม่สามารถสุ่มให้ผู้ป่วยบางส่วนได้รับ AI เวอร์ชันที่แย่กว่าเพื่อทำ A/B test ได้ ประการที่สอง การโทรที่เกิดขึ้นแล้วไม่สามารถ rollback ได้ และประการสุดท้าย คะแนน benchmark ของผู้ให้บริการ model ไม่ใช่คำอธิบายที่เพียงพอหลังเกิดเหตุ

ธุรกิจไทยไม่จำเป็นต้องอยู่ใน healthcare จึงจะใช้หลักนี้ได้ ลองพิจารณา AI ที่ตอบเรื่องคืนเงิน อนุมัติสินเชื่อ คัดกรองเอกสารประกัน ให้คำแนะนำเรื่องกฎหมาย หรือคุยกับลูกค้าที่กำลังโกรธ งานเหล่านี้มี “ต้นทุนของความผิดพลาด” สูงกว่าการเขียนแคปชันหรือสรุปประชุมมาก

จุดเริ่มต้นที่ดีคือถามว่า หาก AI ตอบผิดหนึ่งครั้ง ใครเสียหาย และเสียหายมากแค่ไหน ถ้าคำตอบคือเงิน สุขภาพ สิทธิของลูกค้า หรือชื่อเสียงแบรนด์ การเปิดใช้แบบค่อยเป็นค่อยไปอย่างเดียวไม่พอ

Step 2: เริ่มออกแบบจากสิ่งที่อาจสร้างความเสียหาย

แทนที่จะเริ่มด้วยคำถามว่า AI ทำอะไรได้บ้าง ทีม Ufonia เริ่มจากคำถามว่าอะไรอาจทำร้ายผู้ป่วยได้ ตัวอย่างเช่น AI อาจพลาดอาการอันตรายอย่างการสูญเสียการมองเห็นกะทันหันหรืออาการปวดรุนแรง อาจสร้างคำตอบทางการแพทย์ขึ้นมาเอง หรืออาจเพิกเฉยต่อความทุกข์ใจของผู้ป่วย

แนวคิดนี้นำมาทำเป็น รายการความเสี่ยง สำหรับธุรกิจได้ทันที ตัวอย่าง AI ของร้านค้าออนไลน์อาจมีความเสี่ยงดังนี้

ข้อผิดพลาดที่พบบ่อยคือทีมเริ่มจาก prompt สวย ๆ เช่น “ตอบอย่างสุภาพและเป็นมิตร” แต่ยังไม่เคยนิยามว่าอะไรคือคำตอบต้องห้าม การทำ risk list ร่วมกับเจ้าของงานจริง เช่น ฝ่ายขาย ฝ่ายบริการลูกค้า ฝ่ายกฎหมาย หรือฝ่ายการเงิน จะทำให้ AI ถูกวัดด้วยโจทย์ธุรกิจ ไม่ใช่ความรู้สึกของทีมเทคนิคเพียงอย่างเดียว

Step 3: สร้างสนามจำลองก่อนให้ AI เจอลูกค้าจริง

เมื่อไม่ควรใช้ผู้ป่วยจริงเป็นสนามทดลอง Ufonia จึงสร้าง framework ชื่อ Matrix แนวคิดคล้ายการทดสอบรถไร้คนขับด้วยการจำลองเหตุการณ์จำนวนมากก่อนออกสู่ถนนจริง

Matrix ใช้ AI ตัวหนึ่งสวมบทบาทเป็นผู้ป่วยจำลอง เรียกว่า PatBot โดยกำหนด scenario ให้ชัดว่าผู้ป่วยจะพูดอะไร ถามอะไร หรือพยายามทำให้ระบบหลุดจากขั้นตอนอย่างไร จากนั้น PatBot สนทนากับ Dora เพื่อสร้างบทสนทนาจำลองจำนวนมากภายใต้ clinical workflow ที่มีอยู่จริง

สิ่งที่ธุรกิจควรหยิบไปใช้ไม่ใช่การสร้างระบบซับซ้อนระดับโรงพยาบาลตั้งแต่วันแรก แต่คือการสร้าง ชุดสถานการณ์จำลอง ก่อนเปิด AI agent เช่น

Ufonia ยังทดสอบว่า PatBot ดูเป็นธรรมชาติพอหรือไม่ โดยให้ผู้ป่วยจริงเปรียบเทียบบทสนทนาระหว่างคนจริงกับบทสนทนาจำลอง ผลใน 3 จาก 4 ชุดพบว่าคนส่วนใหญ่คิดว่าผู้ป่วยจำลองดูสมจริงกว่า ข้อค้นพบที่สำคัญกว่าผลลัพธ์นี้คือ ไม่มีบุคลิกผู้ใช้จริงเพียงแบบเดียว บางคนเล่าละเอียด บางคนตอบสั้น บางคนลังเล และบางคนขัดจังหวะตลอดเวลา

Step 4: ให้ AI ตรวจ AI ได้ แต่ต้องตรวจสอบผู้ตัดสินก่อน

เมื่อมีบทสนทนาจำลองนับพันรายการ มนุษย์อ่านทีละเคสไม่ไหว Ufonia จึงใช้ AI อีกตัวเป็นผู้ตัดสิน เรียกว่า BevJudge ระบบนี้รับบทสนทนา พฤติกรรมที่คาดหวัง และรายการความเสี่ยง แล้วตัดสินผ่านหรือไม่ผ่าน พร้อมระบุสาเหตุและความเสี่ยงที่พบ

จุดที่ควรระวังคือ “ใช้ AI เป็นกรรมการ” ไม่ได้แปลว่าเชื่อผลลัพธ์ทันที ทีม Ufonia ตรวจสอบ BevJudge เทียบกับผู้เชี่ยวชาญ 10 คนจาก 10 สาขา โดยใช้ตัวอย่าง 240 เคส ผลของ model ชั้นนำในขณะทำการศึกษามี F1 score 0.96 และมี sensitivity เกือบสมบูรณ์

สำหรับงานความเสี่ยงสูง sensitivity สำคัญมาก เพราะการแจ้งเตือนเกินจริงอาจทำให้เกิดขั้นตอนเพิ่มเล็กน้อย แต่การพลาดสัญญาณอันตรายอาจร้ายแรงกว่า ธุรกิจควรตัดสินใจให้ชัดว่าอะไรคือ false alarm ที่ยอมรับได้ และอะไรคือความผิดพลาดที่ห้ามเกิด

หากองค์กรใช้ AI ตรวจคุณภาพแชตหรืออีเมล ควรสุ่มให้ทีมผู้เชี่ยวชาญตรวจเทียบเป็นรอบ ๆ เสมอ และเก็บตัวอย่างที่ AI ตัดสินผิดไว้เป็นชุดทดสอบใหม่ วิธีนี้ทำให้ระบบตรวจสอบไม่กลายเป็นกล่องดำซ้อนกล่องดำ

Step 5: วัดผลตามต้นทุนของความผิดพลาด ไม่ใช่คะแนนเฉลี่ย

การวัดว่า AI “ตอบถูกกี่เปอร์เซ็นต์” อาจหลอกเราได้ เพราะความผิดพลาดไม่ได้มีน้ำหนักเท่ากัน การพลาดสัญญาณอันตรายของผู้ป่วยมีต้นทุนสูงมาก แต่การส่งต่อเคสที่ไม่น่ากังวลให้บุคลากรตรวจเพิ่ม มีต้นทุนต่ำกว่า

นี่คือแนวคิดของ cost matrix หรือการกำหนดคะแนนตามความเสียหาย ทีม Ufonia ให้รางวัลกับการจับ red flag มากกว่าความแม่นยำเฉลี่ย และลงโทษการพลาด red flag หนักกว่า false positive

ถ้าเป็นธุรกิจไทย เราอาจกำหนดตารางแบบง่ายดังนี้

มุมมองที่ควรเห็นต่างกับการไล่หา accuracy สูงสุดคือ AI ที่แม่นโดยเฉลี่ยอาจยังไม่เหมาะเปิดใช้ หากมันพลาดเพียง 1 เปอร์เซ็นต์ในกลุ่มเคสที่สร้างความเสียหายหนัก การตัดสินใจควรอิง “ความเสียหายที่หลีกเลี่ยงได้” มากกว่า “คะแนนที่ดูสวย”

Step 6: เปลี่ยน prompt จากงานฝีมือ เป็นวงจรปรับปรุงที่ตรวจสอบย้อนกลับได้

ทีม Ufonia ชี้ว่าการเขียน prompt ด้วยมือมีความเปราะบางสูง การปรับรูปแบบหรือสลับลำดับ few-shot examples อาจทำให้ผลลัพธ์เปลี่ยนอย่างมาก จึงใช้ prompt optimizer เช่น GEPA เพื่อหา prompt ที่เหมาะขึ้นจากข้อมูลการทดสอบ แทนการแก้ตามความรู้สึก

วงจรทำงานคือ นำข้อมูลทดสอบเข้าไปหาว่าเคสใดล้มเหลว ใช้ model ที่เก่งกว่าไตร่ตรองสาเหตุและเสนอ prompt ใหม่ ทำซ้ำภายใต้งบประมาณที่กำหนด แล้วคัด prompt ที่มีผลดีที่สุดตาม metric ที่ทีมกำหนด

ธุรกิจไม่จำเป็นต้องสร้าง prompt optimizer เองเพื่อใช้หลักนี้ เริ่มจากวินัยพื้นฐาน 3 อย่างก็สร้างความต่างได้มาก

  1. ตั้งชื่อและล็อกเวอร์ชันของ prompt ทุกครั้งที่แก้
  2. เก็บเคสที่พลาดพร้อมเหตุผลว่าเกิดอะไรขึ้น
  3. ทดสอบ prompt ใหม่กับชุดเคสเดิมก่อนนำไปใช้จริง

สิ่งสำคัญคือ prompt ไม่ควรเป็นเอกสารลับที่ใครสักคนแก้ได้ตามใจ แต่ควรเป็นส่วนหนึ่งของ workflow ที่มีประวัติการเปลี่ยนแปลงและหลักฐานผลทดสอบ

Step 7: เปิดใช้เป็นขั้นบันได และส่งมอบหลักฐาน ไม่ใช่แค่ AI

Simulation จำเป็น แต่ไม่เพียงพอ การผ่านเคสจำลองไม่ได้พิสูจน์ว่า AI ช่วยคนจริงได้ เพราะโลกจริงมีเรื่องที่คาดไม่ถึงเสมอ Ufonia จึงวาง simulation เป็น inner loop ที่ทดสอบได้รวดเร็ว ก่อนเข้าสู่ outer loop กับคนจริงอย่างระมัดระวัง

ลำดับที่ควรใช้คือ ทดสอบใน simulation ก่อน ทำ user testing ภายใต้การกำกับของผู้เชี่ยวชาญ จากนั้นเริ่ม deployment ที่ติดตามผล และเพิ่มระดับ autonomy ตามหลักฐานที่สะสมได้ ไม่ใช่ตามความมั่นใจของทีม

ข้อคิดที่คมที่สุดจากกรณีนี้คือ เราไม่ได้ส่ง model ออกไป แต่เราส่งหลักฐานออกไป ทุกชุดข้อมูล ทุก prompt ที่ล็อกเวอร์ชัน และทุกคำตัดสินควรเชื่อมกลับไปยังความเสี่ยงที่มันป้องกันได้

สำหรับแนวทางกำกับดูแล AI ระดับสากล สามารถศึกษาเอกสาร AI Risk Management Framework ของ NIST เพื่อใช้เป็นกรอบจัดการความเสี่ยงเพิ่มเติมได้

Actionable Insights: สิ่งที่นำไปทำกับธุรกิจได้ทันที

Troubleshooting: แก้ปัญหาที่มักเจอเมื่อเริ่มใช้ AI agent

การต่อยอด: จาก chatbot ธรรมดาสู่ระบบ AI ที่ไว้ใจได้

สรุป Checklist ทั้งหมด

บทเรียนจาก Dora ไม่ได้บอกว่า AI ต้องสมบูรณ์แบบก่อนเริ่มใช้ เพราะไม่มีระบบใดสมบูรณ์แบบได้ สิ่งที่ควรทำคือรู้ว่าความผิดพลาดแบบไหนรับไม่ได้ สร้างสถานการณ์เพื่อค้นหามันก่อนลูกค้าจริงเจอ และใช้หลักฐานตัดสินว่าระบบควรได้รับสิทธิ์ทำงานมากขึ้นหรือไม่ นี่คือวิธีใช้ AI ให้ธุรกิจเติบโตโดยไม่เอาความไวไปแลกกับความเสี่ยงที่มองไม่เห็น

Insiderly

บทความจากกองบรรณาธิการ Insiderly

อ่านบทความทั้งหมด

More in ชิปและโครงสร้างพื้นฐาน

See all
video thumbnail for 'Life Near OpenAI's Stargate Project'

AI Infrastructure กำลังเปลี่ยนเมืองเล็กอย่างไร โดยไม่ทำลายรากเดิม

โดย Insiderly
/
video thumbnail for 'The Prime Intellect Stack — Will Brown, Prime Intellect'

Prime Intellect Stack: แยก task, harness และ runtime ก่อนทำ post-training

โดย Insiderly
/
video thumbnail for 'Agent OS + Tailscale: FREE AI Everywhere!'

Tailscale: เปิด Dashboard ของ AI Agent บนมือถือผ่าน Tailnet

โดย Insiderly
/
video thumbnail for 'Jcode DESTROYS Claude Code?'

JCode ในคลิป Julian Goldie: ความไวของหน้าจอ Swarm และ Memory Graph

โดย Insiderly
/

บทความอื่นจาก Insiderly

See all
ภาพปกบทสัมภาษณ์ Will Koh จาก Ramp เรื่อง GPT-5.5

GPT-5.5 กับงานจริง: บทเรียนจาก Will Koh และ Ramp

โดย Insiderly
/
ภาพปกคลิป ChatGPT Images 2.0 พร้อมตัวอย่างภาพจรวด

ChatGPT Images 2.0: ย้อนดูแนวคิดภาพสำหรับงานธุรกิจ

โดย Insiderly
/
ภาพปก The End of Apps ของ Kitze บนเวที AI Engineer Europe

AI Agents กับจุดจบของแอป: บทเรียนจาก Kitze

โดย Insiderly
/
ภาพปกการสนทนา Human Judgment in Agentic Engineering จาก AI Engineer Europe

AI เร่งงานได้ แต่แรงเสียดทานช่วยให้เราตัดสินใจดีขึ้น

โดย Insiderly
/