นักวิจัยเปิดปัญหา LLM ที่ใช้ solver ตรรมชาติ — ผลลัพธ์ถูกต้องแต่เหตุผลอาจผิด

กลุ่มวิจัยพบช่องโหว่ในระบบที่ผสม LLM กับ SAT/SMT solver: แม้ solver ให้คำตอบที่พิสูจน์ได้ แต่ LLM อาจ \"แปลความ\" ผลลัพธ์ผิดเมื่อต้องอธิบายให้มนุษย์เข้าใจ นอกจากนี้ยังพบว่า LLM มีปัญหาในการให้เหตุผลแบบหลายขั้นตอน — บางครั้งเลือกเส้นทางคิดที่ขัดแย้งกันเอง ทีมจึงสร้างเครื่องมือประเมินใหม่ (Mask-Proof, CombEval) เพื่อวัดความน่าเชื่อถือของการให้เหตุผลทีละขั้น