นักวิจัยเรียกร้องสร้าง 'Data Probes' เพื่อเข้าใจว่าข้อมูลส่งผลต่อ LLM อย่างไร

กลุ่มนักวิจัย AI เสนอว่าต้องพัฒนาเครื่องมือ 'Data Probes' เพื่อเข้าใจลึกว่าข้อมูลประเภทไหนช่วยให้ LLM ทำงานได้ดีในแต่ละขั้นตอน (training, tuning, alignment, in-context learning) แทนที่จะพึ่งพาการทดลองแบบ trial-and-error กับ dataset ขนาดใหญ่ที่ใช้ compute มาก พร้อมเตือนว่า LLM มี bias ที่สามารถถูกจัดการได้ และความแม่นยำที่วัดได้นั้นมีความไม่แน่นอนที่ต้องรายงานด้วย