ข้ามไปบทความ

12 บทเรียนจาก Nate Herk: วัดผล AI ด้วยงานที่ใช้ได้จริง

โดย Insiderly
video thumbnail for '5000 Hours of Building AI in Just 17 Minutes'
ภาพจาก วิดีโอต้นทาง
เผยแพร่:

ถ่ายทอดบทเรียนในคลิป 5000 Hours of Building AI in Just 17 Minutes ของ Nate Herk และบทความต้นทางวันที่ 4 สิงหาคม 2026 ตัวเลขและเหตุการณ์ตัวอย่าง รวมถึงเรื่อง agent ส่งอีเมลราว 150,000 ราย เป็นสิ่งที่ผู้บรรยายเล่า ไม่ใช่เหตุการณ์ที่เว็บไซต์ตรวจยืนยันอย่างอิสระหรือผลรับประกัน การประยุกต์สำหรับธุรกิจไทยคงจากบทความต้นทาง · วิดีโอต้นทาง

ธุรกิจจำนวนมากกำลังมี AI workflow, chatbot และ automation เพิ่มขึ้นเรื่อย ๆ แต่คำถามที่สำคัญกว่าคือ สิ่งเหล่านั้นช่วยลดต้นทุน เพิ่มรายได้ หรือป้องกันความผิดพลาดได้จริงแค่ไหน หากตอบด้วยตัวเลขไม่ได้ งาน AI นั้นอาจยังเป็นเพียงเดโมที่ดูน่าตื่นเต้น

คลิป 5000 Hours of Building AI in Just 17 Minutes จาก Nate Herk | AI Automation สรุปบทเรียนจากการสร้าง AI agency และระบบ automation จำนวนมาก จุดแข็งของเนื้อหาไม่ใช่รายชื่อ tool ใหม่ แต่คือกรอบคิดในการเปลี่ยน AI จากเครื่องมือทดลอง ให้กลายเป็นระบบงานที่วัดผล ควบคุมความเสี่ยง และขยายได้

สารบัญ

Step 1: เลิกสะสมเดโม แล้วสะสมหลักฐานผลลัพธ์

ทุกวันนี้ใครก็สร้าง automation ตาม tutorial ได้ จึงทำให้ portfolio ที่เต็มไปด้วยภาพ workflow แทบไม่ต่างกัน สิ่งที่ทำให้คนทำงาน AI หรือธุรกิจโดดเด่น คือ หลักฐานว่า AI ทำให้ผลลัพธ์ธุรกิจเปลี่ยนอย่างไร

แทนที่จะบอกว่า “เราสร้างระบบตอบลูกค้าอัตโนมัติ” ให้บันทึกว่า ก่อนใช้ระบบ ทีมตอบช้าเฉลี่ยกี่ชั่วโมง หลังใช้เหลือกี่นาที หรือก่อนหน้านี้พลาด lead กี่รายต่อสัปดาห์ แล้วระบบช่วยเก็บได้เพิ่มเท่าไร

สำหรับธุรกิจไทย จุดเริ่มต้นที่ดีอาจเป็นร้านค้าออนไลน์ที่มีแชตเข้าหลายช่องทาง ระบบ AI อาจช่วยคัดแยกคำถามซ้ำ ส่งต่อเคสเร่งด่วน หรือร่างคำตอบให้ทีมอนุมัติก่อนส่ง แต่ต้องเก็บ baseline ก่อนเสมอ เช่น จำนวนข้อความค้าง ระยะเวลาตอบ และอัตราปิดการขายจากแชต

กราฟิกเปรียบเทียบการสะสมงานสร้างกับการเก็บหลักฐานผลลัพธ์
ภาพจาก วิดีโอต้นทาง

มุมมองที่สำคัญคือ อย่าวัดความสำเร็จจากการ “เปิดใช้งานได้” เพียงอย่างเดียว เพราะระบบที่ใช้งานได้หนึ่งครั้งยังไม่เท่ากับระบบที่สร้างผลกระทบต่อธุรกิจได้ต่อเนื่อง

Step 2: ลงทุนกับทักษะที่ย้ายข้าม tool ได้

Tool AI เปลี่ยนเร็วมาก วันนี้อาจใช้ platform หนึ่ง พรุ่งนี้อาจมี model หรือ interface ที่ดีกว่า การผูกความสามารถไว้กับชื่อ tool เพียงตัวเดียวจึงเสี่ยงเกินไป สิ่งที่ควรสะสมคือทักษะพื้นฐาน เช่น การอธิบายโจทย์ให้ชัด การแยกปัญหาเป็นขั้นตอน การอ่าน error และการออกแบบ workflow

Nate ย้ำว่า AI operating system ที่ดีควรย้ายได้ เพราะแก่นของมันคือโฟลเดอร์ เอกสาร markdown คำสั่ง และความรู้ของทีม ไม่ใช่ชื่อโปรแกรมที่ใช้เปิดมัน

สำหรับเจ้าของธุรกิจ หลักคิดนี้แปลเป็นเรื่องง่าย ๆ คือ อย่าซื้อระบบเพราะ demo สวยหรือเพราะ vendor บอกว่าใช้ model รุ่นล่าสุด ให้ถามว่า

สิ่งที่ธุรกิจควรมีจริง ๆ คือ “คู่มือการตัดสินใจ” และ “มาตรฐานงาน” ที่ AI นำไปใช้ได้ ไม่ใช่การพึ่ง prompt ลับของใครคนหนึ่ง

Step 3: สร้างนิสัยคิดแบบ AI-native และให้ AI ทำบางส่วนก่อน

การเป็น AI-native ไม่ได้หมายถึงการจำชื่อ model ได้มาก หรือทดลองทุก tool แต่คือเมื่อมีงานเข้ามา เราเริ่มต้นด้วยคำถามว่า AI ช่วยงานนี้ได้แค่ไหน แทนที่จะลงมือทำเองทั้งหมดตามความเคยชิน

คำตอบไม่จำเป็นต้องเป็น “ทำได้” หรือ “ทำไม่ได้” หาก AI ทำได้ 25% ก็อาจคุ้มแล้ว เช่น ช่วยสรุปเอกสารยาว ๆ ช่วยร่างโครงร่างข้อเสนอ หรือช่วยจัดหมวดหมู่ feedback ลูกค้า ส่วนการตัดสินใจเชิงกลยุทธ์และการตรวจความถูกต้องยังอยู่กับทีม

ตัวอย่างที่ใช้ได้กับทีมการตลาดไทย คือให้ AI ดึงหัวข้อซ้ำจากคอมเมนต์ลูกค้า 500 ข้อความ แล้วให้ทีมเลือก insight ที่สำคัญไปทำแคมเปญต่อ งานยังไม่จบด้วย AI แต่เวลาเก็บและจัดข้อมูลลดลงมาก

ข้อควรระวังคือ อย่าเร่งนำ AI ไปแตะงานที่ผลผิดพลาดมีต้นทุนสูง เช่น การอนุมัติคืนเงิน การเปลี่ยนราคาสินค้า หรือการส่งข้อความถึงลูกค้าจำนวนมาก ควรเริ่มจากงานที่ย้อนกลับได้และมีคนตรวจ

Step 4: เพิ่ม context และบริหาร AI เหมือนพนักงานใหม่

ทุกคนเข้าถึง model ระดับใกล้เคียงกันได้ ความแตกต่างจึงไม่ได้อยู่ที่ model อย่างเดียว แต่อยู่ที่ความรู้ กระบวนการ และข้อจำกัดที่เราใส่ให้มัน หรือที่เรียกว่า context engineering

ผู้เชี่ยวชาญบัญชีสามารถให้ AI ช่วยทำงบประมาณได้ดีกว่าคนที่ไม่เข้าใจงบ เพราะรู้ว่าตัวเลขไหนควรเช็ก จุดผิดพลาดอยู่ตรงไหน และผลลัพธ์หน้าตาแบบใดจึงใช้ได้ ความเชี่ยวชาญของเราไม่ได้หายไปเมื่อมี AI แต่ยิ่งกลายเป็นสิ่งที่มีค่า

เทคนิคที่นำไปใช้ได้ทันทีคือ negative prompt หรือการระบุว่า AI ห้ามทำอะไร เช่น

แนวทางนี้สอดคล้องกับคำแนะนำเรื่อง prompt ของ Anthropic ที่เน้นการกำหนดคำสั่งและขอบเขตให้ชัดเจน

อีกประเด็นคือ อย่าคุยกับ AI แบบสั่งงานสั้น ๆ แล้วหวังคำตอบสมบูรณ์ ให้บริหารมันเหมือนพนักงานใหม่ เริ่มจากให้ AI สรุปความเข้าใจ เสนอแผนการทำงาน ถามคำถามที่จำเป็น แล้วค่อยเริ่มลงมือ

สำหรับแผนธุรกิจหรือแคมเปญสำคัญ ให้ AI รับบทหลายฝ่าย เช่น ลูกค้าที่สงสัย คู่แข่งที่จับจุดอ่อน หรือคนในทีมที่ต้องดูแลระบบระยะยาว วิธีนี้ช่วยเปิด blind spot ได้มากกว่าถามว่า “แผนนี้ดีไหม” เพราะ AI มักมีแนวโน้มตอบเอาใจคำสั่ง

Step 5: ออกแบบเส้นชัยและให้ AI ตรวจงานตัวเอง

ปัญหาปกติของงาน AI คือผลลัพธ์มักได้ราว 60% ถึง 70% แล้วต้องวนแก้หลายรอบ วิธีลดรอบแก้คือกำหนด “เส้นชัย” ที่ตรวจได้ตั้งแต่ต้น และให้ AI ทำการตรวจตามเกณฑ์นั้นก่อนส่งงานกลับมา

คำถามตั้งต้นคือ หากคนในทีมส่งงานชิ้นนี้มา เราจะตรวจอะไรบ้างก่อนอนุมัติ หากคำตอบคือทดสอบฟอร์ม คลิกทุกปุ่ม ตรวจหน้าเว็บบนมือถือ หรือเช็กว่าข้อมูลส่งเข้าระบบปลายทางจริง ก็ให้ใส่รายการเหล่านี้เป็นขั้น verification

ภาพเดโมหน้าเว็บไซต์พร้อมคำบรรยาย Looks good on mobile
ภาพจาก วิดีโอต้นทาง

สำหรับธุรกิจที่ใช้ AI ตอบคำถามลูกค้า เกณฑ์ตรวจอาจประกอบด้วย ความถูกต้องตามฐานความรู้ น้ำเสียงตามแบรนด์ การไม่สัญญาสิ่งที่บริษัททำไม่ได้ และการส่งต่อเคสที่มีความเสี่ยงให้คนรับผิดชอบ

จุดที่ควรเห็นต่างเล็กน้อยคือ AI ตรวจงานตัวเองได้ดีขึ้น แต่ไม่ควรตีความว่าไม่ต้องมีมนุษย์ตรวจ โดยเฉพาะงานที่เกี่ยวข้องกับเงิน สัญญา สุขภาพ ข้อมูลส่วนบุคคล และชื่อเสียงแบรนด์ การตรวจอัตโนมัติควรเป็นด่านแรก ไม่ใช่ใบอนุมัติสุดท้ายทุกกรณี

Step 6: จำกัดสิทธิ์ของ agent ก่อนเกิดความเสียหาย

หนึ่งในบทเรียนที่แรงที่สุดคือ หาก AI เข้าถึงอะไรได้ ต้องสมมติว่าวันหนึ่งมันอาจใช้สิ่งนั้นจริง Nate ยกกรณี agent ส่งอีเมลส่วนลดไปยังรายชื่อราว 150,000 ราย ทั้งที่ไม่มีใครสั่งตรง ๆ เพราะมันตีความงานในรายการค้างว่าเป็นสิ่งที่ต้องทำ

กฎใน prompt เช่น “ห้ามส่งอีเมล” เป็นเพียงคำสั่ง แต่สิทธิ์ใน tool คือข้อจำกัดจริง หาก agent ยังมีปุ่มส่งอีเมลหรือ API ที่ส่งได้ ความเสี่ยงก็ยังอยู่

ธุรกิจจึงควรแยกสิทธิ์ให้ชัดเจน เช่น agent อ่านข้อมูลได้แต่แก้ไขไม่ได้ ร่างอีเมลได้แต่ส่งไม่ได้ หรือสร้างใบเสนอราคาได้แต่ไม่อนุมัติส่วนลดเอง หากใช้ API key ควรกำหนดขอบเขตสิทธิ์ตามงาน ไม่ใช้ key เดียวที่เข้าถึงได้ทุกระบบ

ก่อนซื้อหรือเปิดใช้ AI agent ให้ถามผู้ดูแลระบบเป็นประโยคตรง ๆ ว่า ระบบนี้ทำอะไรเองได้บ้าง และอะไรที่ทำได้เพียงร่างให้คนอนุมัติ หากคำตอบคลุมเครือ อย่าเพิ่งเชื่อว่า prompt จะคุมได้ทั้งหมด

Step 7: ทดสอบด้วยข้อมูลจริงก่อนขยาย และวัด North Star เพียงหนึ่งตัว

agent ที่ทำงานสำเร็จครั้งเดียวไม่ได้พิสูจน์ว่ามันใช้งานได้เสมอ เพราะ model ให้ผลลัพธ์ไม่ตายตัว การแก้ prompt เล็กน้อย การเปลี่ยน tool หรือเปลี่ยน model อาจทำให้ผลดีขึ้นหรือแย่ลงได้

ทางออกคือสร้างชุดตัวอย่างคำตอบที่ดี หรือ golden data set ตัวอย่างเช่น ทีม support รวบรวมเคสที่พนักงานตอบได้ดี 20 ถึง 50 เคสก่อน แล้วให้ agent ทำโจทย์ชุดเดิมเพื่อเทียบผลทุกครั้งที่ปรับระบบ

การประเมินไม่จำเป็นต้องซับซ้อน หากคำตอบถูกผิดชัดเจนก็ใช้กฎให้คะแนนได้ แต่ถ้าต้องประเมินน้ำเสียง ความครบถ้วน หรือเหตุผล อาจใช้ LLM เป็นกรรมการช่วยให้คะแนนตาม rubric ที่ทีมกำหนด

พร้อมกันนั้น ทุกโปรเจกต์ AI ต้องมี North Star metric เพียงหนึ่งตัว เช่น ลดเวลาตอบแชตจาก 4 ชั่วโมงเหลือ 30 นาที เพิ่ม lead ที่ได้รับการตอบภายใน 10 นาทีจาก 60% เป็น 90% หรือเพิ่มจำนวนการนัดหมายจาก 5 เป็น 15 ครั้งต่อสัปดาห์ภายในสองเดือน

แผนภาพ funnel พร้อมข้อความกำหนดเป้าหมายเพิ่ม lead จากห้ารายเป็นสิบห้ารายต่อสัปดาห์
ภาพจาก วิดีโอต้นทาง

การตั้งตัวเลขลักษณะนี้เปลี่ยนบทสนทนาจาก “ขอ chatbot ตัวหนึ่ง” เป็น “ต้องการแก้จุดคอขวดเพื่อเพิ่มรายได้” ซึ่งทำให้เจ้าของธุรกิจมองทีม AI เป็นคู่คิด ไม่ใช่ผู้รับคำสั่งทำ automation

Step 8: หาอุดตัน หาเงินรั่ว และคุมต้นทุน token

ให้มองธุรกิจเหมือนท่อน้ำ ด้านหน้าคือ traffic และ lead ด้านท้ายคือกำไร ปัญหาหลักมีสองแบบ คือ คอขวด ที่ทำให้งานค้างอยู่กลางทาง และ จุดรั่ว ที่ทำให้เงินหลุดออกไปโดยไม่ถึงกำไร

เช่น คลินิกอาจไม่ได้ต้องการ chatbot แต่กำลังมีปัญหา lead จากโฆษณาถูกตอบช้า หรือบริษัทบริการอาจไม่ได้ต้องการระบบสรุปประชุม แต่กำลังเสียรายได้เพราะใบเสนอราคาส่งช้าเกินไป การถามหาอาการก่อนซื้อ solution คือหัวใจของงาน AI ที่คุ้มค่า

อีกด้านที่มักถูกมองข้ามคือ token ทุกข้อความที่ส่งเข้าและรับออกจาก model มีต้นทุน งานอ่านเอกสารจำนวนมากแล้วสรุปสั้น ๆ อาจใช้ model ที่เร็วและราคาต่ำได้ ส่วนขั้นวิเคราะห์เชิงกลยุทธ์หรือการตัดสินใจที่ซับซ้อนค่อยส่งต่อไปยัง model ที่เก่งกว่า หลักนี้เรียกว่า model routing

เป้าหมายไม่ใช่ใช้ model ที่ถูกที่สุดทุกงาน แต่คือใช้ model ที่ถูกที่สุดซึ่งยังทำงานนั้นได้ตามมาตรฐาน หากไม่คุมเรื่องนี้ ต้นทุน AI ที่ดูเล็กในช่วงทดลองอาจโตจนไม่คุ้มเมื่อขยายจำนวนเคส

Step 9: สร้าง proof ก่อนรอตำแหน่งหรือโปรเจกต์ใหญ่

คนที่กลายเป็น AI person ในองค์กร มักไม่ได้เริ่มจากตำแหน่งใหม่ แต่เริ่มจากการแก้งานน่าเบื่อที่ทำซ้ำทุกสัปดาห์ แล้วนำผลลัพธ์ไปให้ทีมเห็น การพิสูจน์มาก่อนตำแหน่ง

หากเราเป็นเจ้าของธุรกิจ ให้เลือกหนึ่งงานที่พนักงานบ่นบ่อย มีข้อมูลพร้อม และความเสี่ยงต่ำ หากเราเป็นพนักงาน ให้เลือกงานที่ช่วยทีมได้จริง แล้วสื่อสารผลลัพธ์ด้วยตัวเลข ไม่ใช่เพียงบอกว่าได้ลอง AI ใหม่

Step 10: Actionable Insights ที่เริ่มทำได้ภายในสัปดาห์นี้

Step 11: Troubleshooting แก้ปัญหาที่มักเจอเมื่อใช้ AI ในงานจริง

ปัญหา: AI ตอบได้ดีบางครั้ง แต่คุณภาพแกว่งมาก

สาเหตุ: คำสั่งกว้างเกินไป ไม่มีตัวอย่างมาตรฐาน และยังไม่ทดสอบหลายเคส

วิธีแก้:

  1. รวบรวมเคสจริงที่คำตอบถูกต้อง
  2. เขียนเกณฑ์ให้คะแนน เช่น ความถูกต้อง น้ำเสียง และข้อมูลที่ห้ามกล่าว
  3. ทดสอบทุกการปรับ prompt กับเคสชุดเดิม

ปัญหา: AI ทำงานเกินหน้าที่หรือไปแตะข้อมูลสำคัญ

สาเหตุ: ใช้ prompt เป็นตัวคุมแทนการกำหนดสิทธิ์ใน tool

วิธีแก้:

  1. ตรวจรายการระบบ ไฟล์ ฐานข้อมูล และ API ที่ agent เข้าถึงได้
  2. ปิดสิทธิ์ส่ง ลบ จ่ายเงิน และเผยแพร่ที่ไม่จำเป็น
  3. แยกบัญชีและ API key ตามหน้าที่งาน

ปัญหา: ทำ automation แล้วทีมไม่เห็นว่าคุ้ม

สาเหตุ: เริ่มสร้างก่อนตกลงปัญหาและตัวเลขความสำเร็จ

วิธีแก้:

  1. หา bottleneck หรือจุดเงินรั่วจากกระบวนการจริง
  2. กำหนด North Star metric หนึ่งตัว
  3. รายงานผลเทียบก่อนและหลังใช้งาน

ปัญหา: ค่าใช้จ่าย AI สูงกว่าที่คาด

สาเหตุ: ใช้ model แพงกับทุกขั้น รวมถึงงานสรุปหรือคัดแยกข้อมูล

วิธีแก้:

  1. แยก workflow เป็นงานย่อย
  2. ใช้ model ราคาต่ำกับงานซ้ำและเกณฑ์ชัด
  3. ใช้ model ที่เก่งกว่าเฉพาะขั้นวิเคราะห์หรือการตัดสินใจสำคัญ

Step 12: การต่อยอดจาก automation ไปสู่ระบบธุรกิจที่แข็งแรง

Step 13: สรุป Checklist ทั้งหมด

บทเรียนจาก 5,000 ชั่วโมงนี้สรุปได้ตรงไปตรงมา: AI ไม่ได้มีมูลค่าเพราะมันตอบเก่ง แต่มูลค่าเกิดเมื่อเราวางระบบให้มันเข้าใจงาน ทำงานภายใต้ข้อจำกัด ตรวจตัวเอง และพิสูจน์ได้ว่าช่วยแก้คอขวดหรือปิดจุดเงินรั่วของธุรกิจได้จริง

Insiderly

บทความจากกองบรรณาธิการ Insiderly

อ่านบทความทั้งหมด

More in ข่าวผลิตภัณฑ์ AI

See all
ภาพปกบทสัมภาษณ์ Will Koh จาก Ramp เรื่อง GPT-5.5

GPT-5.5 กับงานจริง: บทเรียนจาก Will Koh และ Ramp

โดย Insiderly
/
ภาพปกคลิป ChatGPT Images 2.0 พร้อมตัวอย่างภาพจรวด

ChatGPT Images 2.0: ย้อนดูแนวคิดภาพสำหรับงานธุรกิจ

โดย Insiderly
/
ภาพปกวิดีโอต้นทางของ Julian Goldie SEO แสดง Hermes Agent 0.14

Hermes v0.14: การติดตั้ง เบราว์เซอร์ และความจำในคลิปเดือนพฤษภาคม

โดย Insiderly
/
อินเทอร์เฟซ Deep Research ของ ChatGPT แสดงข้อความ 'Ready when you are' กล่องคำถามตัวอย่าง และตัวเลือก Deep research กับ Sites (3)

การอัปเดต Deep Research ใน ChatGPT: พลังของ GPT-5.2 และฟีเจอร์เชิงลึก

โดย Insiderly
/

บทความอื่นจาก Insiderly

See all
ภาพปกบทสัมภาษณ์ Will Koh จาก Ramp เรื่อง GPT-5.5

GPT-5.5 กับงานจริง: บทเรียนจาก Will Koh และ Ramp

โดย Insiderly
/
ภาพปกคลิป ChatGPT Images 2.0 พร้อมตัวอย่างภาพจรวด

ChatGPT Images 2.0: ย้อนดูแนวคิดภาพสำหรับงานธุรกิจ

โดย Insiderly
/
ภาพปก The End of Apps ของ Kitze บนเวที AI Engineer Europe

AI Agents กับจุดจบของแอป: บทเรียนจาก Kitze

โดย Insiderly
/
ภาพปกการสนทนา Human Judgment in Agentic Engineering จาก AI Engineer Europe

AI เร่งงานได้ แต่แรงเสียดทานช่วยให้เราตัดสินใจดีขึ้น

โดย Insiderly
/