งานวิจัย 2 ชิ้นชี้ watermark และ benchmark ทั่วไปอาจไม่ปลอดภัยพอสำหรับ LLM ทางการแพทย์

มีงานวิจัยจาก arXiv สองชิ้นที่เตือน dev และ PM ที่ทำ product ด้านการแพทย์เกี่ยวกับข้อจำกัดของการประเมิน LLM แบบเดิม ชิ้นแรกทดสอบ 5 watermarking schemes บน 11 LLM และ 7 VLM พบว่า watermark ที่เปลี่ยน token เล็กน้อยในบริบททางการแพทย์ทำให้ความหมายเพี้ยนจนอันตรายได้ ชิ้นที่สองเสนอ framework stress-test ชื่อ AI-MASLD ที่ใช้ 240 clinical cases พร้อม perturbation probes 6 แบบ พบว่า benchmark accuracy ปกติไม่สามารถตรวจจับ failure modes ที่เป็นอันตรายได้ เช่น การ flip คำตอบเมื่อเปลี่ยนบริบทนิดเดียว หรือ bias ต่อกลุ่มคนไข้บางกลุ่ม ทั้งสองชี้ว่าถ้าจะ deploy LLM ในคลินิก ต้องมี evaluation เฉพาะทางที่ sensitive กว่าแค่ accuracy บน benchmark ทั่วไป