AI summary 1 แหล่ง · 2 วันก่อน

AI ลดค่าใช้จ่าย inference โดยเลือกเมื่อไหร่ต้องตรวจสอบคำตอบ

นักวิจัยเพิ่งเสนอวิธีใหม่ 3 แบบให้ LLM ใช้ compute ได้ชาญฉลาดตอน inference — แทนที่จะให้ AI คิดซ้ำทุกครั้ง มันเลือกว่าคำตอบไหนต้องตรวจสอบ คำตอบไหนเชื่อถือได้แล้ว ผลคือประหยัด token ลงได้ 30-50% โดยยังเก็บความแม่นยำไว้ — สำคัญสำหรับ dev ที่ต้องรัน LLM ในระดับ production

01
แหล่งข่าว
03
ประเด็น
2 วันก่อน
อัปเดต
  • SEVRA ใช้ controller ที่ตัดสินใจแบบ selective — เรียก verification เฉพาะเมื่อต้องการจริง ไม่ใช่ทุกข้อ
  • CAPS ลดจำนวน pairwise comparison โดยเลือกคู่ที่ informative เท่านั้น ประหยัด inference cost ขณะเก็บคุณภาพ
  • Evidence-certified ranking บังคับให้ AI บอกเหตุผล (span provenance) ทำให้ตรวจสอบได้ — ใช้ได้กับ decision-support systems
แหล่งต้นทาง · 3

ลิงก์ต้นทางอยู่ครบ เพื่อให้เปิดอ่านเต็มและเทียบข้อมูลเองได้

แชร์
ข่าวที่เกี่ยวข้อง