ข้ามไปบทความ

Web Automation ด้วย AI: ทำงานบนเว็บซ้ำๆ ให้กลายเป็นระบบที่ใช้ต่อได้

Corey Gallon เสนอการทำเว็บ automation ด้วย CDP และวงจร Sense, Act, Verify ให้โค้ดรับงานแน่นอน แล้วเรียก AI เฉพาะงานตีความพร้อมหลักฐานผลสำเร็จ

โดย Insiderly
video thumbnail for 'The Dark Arts of Web Automation: Teaching Agents to Use Websites Like Humans — Corey Gallon, Rexmore'
ภาพจาก วิดีโอต้นทาง
เผยแพร่:

ที่มา: วิดีโอต้นทาง และบทความ VideoToBlog วันที่ 2026-08-14 (วันที่แสดงในบทความต้นทาง ไม่ใช่วันที่อัปโหลดวิดีโอที่ตรวจยืนยันแล้ว) รายละเอียดเป็นข้อมูลที่ต้นทางกล่าวไว้ในขณะนั้น ยังไม่ได้ทดสอบซ้ำหรือตรวจยืนยันสถานะล่าสุด แนวคิด CDP, Meatbag Ladder และ CLI เทียบ MCP เป็นคำอธิบายจากคลิป Corey Gallon ที่ต้นฉบับอ้าง การสาธิต CAPTCHA ถูกจำกัดบริบทไว้กับระบบทดสอบของผู้จัดทำ ไม่ใช่สิทธิ์ข้ามข้อจำกัดของเว็บไซต์อื่น · วิดีโอต้นทาง

งานบนเว็บที่กินเวลาทีมมากที่สุดมักไม่ใช่งานยาก แต่เป็นงานเดิมที่ต้องคลิก กรอก ตรวจสอบ และทำซ้ำหลายสิบครั้งต่อวัน เช่น ส่งอีเมลติดตามลูกค้า อัปเดตสถานะใน portal หรือรวบรวมข้อมูลจากระบบที่ไม่มี API ให้ใช้

คลิปของ Corey Gallon จากช่อง AI Engineer เสนอกรอบคิดที่น่าสนใจสำหรับ Web Automation ด้วย AI: อย่าปล่อยให้ AI คิดทุกคลิก แต่ให้โค้ดจัดการขั้นตอนที่แน่นอน แล้วเรียก AI มาเฉพาะจุดที่ต้องใช้การตีความ เช่น อ่านหน้าจอหรือจำแนกข้อมูล วิธีคิดนี้เหมาะกับเจ้าของธุรกิจและทีมงานที่ต้องการลดงานซ้ำ โดยยังควบคุมความเสี่ยง ต้นทุน และคุณภาพได้

สารบัญ

Step 1: เลือกงานบนเว็บที่คุ้มค่าจะทำอัตโนมัติก่อน

จุดเริ่มต้นไม่ใช่การเลือก model หรือเครื่องมือ แต่คือการหางานที่มีรูปแบบชัดเจน งานที่เหมาะกับการทำ automation ควรมีลักษณะ 3 ข้อ คือ เกิดซ้ำบ่อย ขั้นตอนเดิมค่อนข้างคงที่ และมีผลลัพธ์ตรวจสอบได้

ตัวอย่างในคลิปคือการส่งอีเมลแบบ personalisation ผ่าน Outlook บนเว็บ ระบบสามารถใช้ข้อมูลลูกค้าเพื่อร่างข้อความให้ต่างกัน แต่ส่วนการเปิดหน้าต่างเขียนอีเมล กรอกผู้รับ ใส่หัวข้อ และส่งอีเมล ใช้ลำดับคำสั่งเดิมซ้ำได้

หากแปลงมาเป็นธุรกิจไทย งานที่ควรเริ่มทดสอบอาจเป็น:

หลักสำคัญคือเริ่มจากงานที่หากเกิดข้อผิดพลาดแล้วแก้ไขได้ง่าย หลีกเลี่ยงการให้ระบบส่งเงิน อนุมัติรายการ หรือเผยแพร่ข้อมูลสาธารณะเองตั้งแต่วันแรก

Step 2: มองเว็บ UI เป็นช่องทางทำงาน ไม่ใช่ทางลัดไร้ข้อจำกัด

แนวคิดหลักของ Corey คือการควบคุม Chrome ผ่าน Chrome DevTools Protocol หรือ CDP ซึ่งเป็น protocol เดียวกับที่เครื่องมือ developer ของ Chrome ใช้สื่อสารกับเบราว์เซอร์ ผ่าน CDP ระบบสามารถอ่านโครงสร้างหน้าเว็บ รับรู้สิ่งที่แสดงบนหน้าจอ ตรวจ network และส่งคำสั่งคลิก พิมพ์ หรือเปลี่ยนหน้าได้

สำหรับทีมธุรกิจ ความหมายที่สำคัญไม่ใช่รายละเอียดทางเทคนิค แต่คือระบบเก่าหลายตัวไม่มี API เปิดให้พนักงานใช้ หรือการขอสิทธิ์ API ต้องผ่านฝ่าย IT และผู้ดูแลระบบหลายชั้น ขณะที่พนักงานมีสิทธิ์ใช้งานผ่านหน้าเว็บอยู่แล้ว

ดังนั้นหน้าเว็บอาจทำหน้าที่คล้ายช่องทางเชื่อมต่อระบบได้ แต่ต้องย้ำว่า สิทธิ์ของ automation ต้องไม่เกินสิทธิ์ของบัญชีผู้ใช้ และการทำงานต้องอยู่ภายใต้นโยบายขององค์กร รวมถึงเงื่อนไขการใช้งานของ platform นั้น

รายละเอียดเชิงเทคนิคของ CDP สามารถศึกษาเพิ่มเติมได้จาก เอกสาร Chrome DevTools Protocol แต่เจ้าของธุรกิจไม่จำเป็นต้องเริ่มจากการเขียนระบบเอง สิ่งที่ควรทำก่อนคือระบุ workflow และจุดตรวจสอบให้ชัด

Step 3: แยกสิ่งที่ระบบ “เห็น ได้ยิน และทำ”

ระบบ automation ที่ดีไม่ได้อาศัยการคลิกแบบเดาสุ่ม แต่ต้องมีสัญญาณยืนยันว่าอยู่หน้าไหน และสิ่งที่ทำสำเร็จหรือยัง Corey แบ่งความสามารถของ agent เป็น 3 ส่วนที่เข้าใจง่าย คือ เห็น ได้ยิน และทำงานกับหน้าเว็บ

ข้อคิดที่เอาไปใช้กับธุรกิจได้ทันทีคือ อย่าวัดผลจาก “ระบบกดปุ่มแล้ว” แต่ต้องวัดจาก “สถานะเปลี่ยนจริง” ตัวอย่างเช่น หากระบบส่งใบเสนอราคาแล้ว จุดยืนยันไม่ควรเป็นเพียงการคลิกปุ่มส่ง แต่ควรเป็นข้อความยืนยัน หมายเลขเอกสารใหม่ หรือสถานะที่ปรากฏในระบบ

Step 4: สร้าง workflow แบบ Sense, Act, Verify

หัวใจของแนวทางนี้คือวงจร Sense, Act, Verify หรือ รับรู้ ลงมือทำ ตรวจสอบ แล้วค่อยวนรอบถัดไป ระบบไม่ควรทำรายการยาวสิบขั้นตอนรวดเดียวโดยไม่เช็กระหว่างทาง เพราะหน้าเว็บอาจโหลดช้า มี pop-up หรือเปลี่ยนองค์ประกอบ

ตัวอย่าง workflow สำหรับติดตามลูกค้าใน CRM อาจกำหนดได้ดังนี้:

  1. ตรวจว่าลูกค้ารายนี้ยังอยู่ในสถานะรอติดต่อหรือไม่
  2. สร้างข้อความติดตามจากข้อมูลการซื้อและประวัติการพูดคุย
  3. บันทึกร่างข้อความหรือส่งผ่านช่องทางที่ได้รับอนุมัติ
  4. ตรวจว่ามีสถานะส่งสำเร็จและบันทึกกิจกรรมใน CRM แล้ว
  5. หากไม่สำเร็จ ให้หยุดและส่งรายการเข้าคิวสำหรับคนตรวจ

จุดที่น่าสนใจคือการตรวจสอบควรใช้คนละสัญญาณกับการกระทำ หากเพิ่งคลิกปุ่ม ก็อย่าถามว่าปุ่มตอบสนองหรือไม่ แต่ให้ตรวจหน้าเว็บใหม่ ตรวจ network response หรืออ่านสถานะในระบบแทน นี่คือวิธีลดปัญหา automation ที่ “คิดว่าทำสำเร็จ” ทั้งที่ข้อมูลไม่ถูกบันทึก

Step 5: ใช้บันได 3 ระดับ และเริ่มจากวิธีที่เรียบง่ายที่สุด

Corey เรียกกรอบนี้ว่า “Meatbag Ladder” ซึ่งสรุปได้ว่าให้เริ่มจากวิธีที่ใช้ทรัพยากรน้อยที่สุด แล้วค่อยเพิ่มความซับซ้อนเมื่อจำเป็นจริงๆ

  1. ระดับ 1: ใช้คำสั่งที่ตรงไปตรงมา เช่น เรียกฟังก์ชันในหน้าเว็บ หรือทำงานที่ระบบรองรับอยู่แล้ว เหมาะกับฟอร์มและงานภายในที่ไม่มีข้อจำกัดพิเศษ
  2. ระดับ 2: ใช้ input ผ่านเบราว์เซอร์ในเส้นทางเดียวกับการคลิกหรือพิมพ์ปกติ เหมาะเมื่อหน้าเว็บไม่ตอบสนองต่อการสั่งงานแบบพื้นฐาน
  3. ระดับ 3: ใช้การรับรู้ภาพและการโต้ตอบที่ซับซ้อนขึ้นสำหรับระบบที่ออกแบบมาให้ต้องอาศัยการตีความจากภาพ

สำหรับธุรกิจทั่วไป ระดับ 1 และ 2 ก็ครอบคลุมงานหลังบ้านจำนวนมากแล้ว การพยายามทำระบบให้ซับซ้อนตั้งแต่ต้นเป็นต้นทุนที่ไม่จำเป็น ทั้งยังทำให้ดูแลยากกว่าเดิม

ข้อควรระวังคือระดับ 3 ในคลิปถูกใช้สาธิตกับระบบทดสอบที่ผู้จัดทำเป็นเจ้าของเอง รวมถึงกลไก CAPTCHA หลายประเภท กรณีนี้ไม่ควรถูกตีความเป็นแนวทางให้ข้ามระบบป้องกันของเว็บไซต์บุคคลที่สาม CAPTCHA มีไว้ลดการใช้งานโดยมิชอบ และการหลบเลี่ยงอาจขัดต่อเงื่อนไขการใช้บริการ กฎหมาย หรือนโยบายความปลอดภัยขององค์กร

Step 6: ให้โค้ดทำงานที่แน่นอน และให้ AI ทำงานที่ต้องใช้การตีความ

จุดที่มีมูลค่าสูงที่สุดในคลิปไม่ใช่การทำให้ agent คลิกเหมือนมนุษย์ แต่คือการแบ่งงานระหว่างระบบแบบมีวินัย งานที่มีคำตอบแน่นอนควรเป็นหน้าที่ของโค้ด ส่วนงานที่ต้องอ่านภาพ ตัดสินใจจากข้อความ หรือสร้างเนื้อหาเฉพาะบุคคลจึงค่อยส่งให้ AI

แนวคิดนี้ช่วยควบคุมต้นทุนและความเร็ว เพราะหากเรียก model ทุกครั้งที่ต้องคลิก เปิดเมนู หรือเปลี่ยนหน้า จำนวน token และเวลารอจะสะสมทันที Corey เปรียบเทียบ CLI กับ MCP โดยชี้ว่าความสามารถโดยรวมอาจใกล้กันสำหรับบางงาน แต่ CLI มีข้อได้เปรียบเมื่อ workflow ต้องนำไปใช้ซ้ำ ทำงานเร็ว และไม่ต้องผ่าน model ทุกจังหวะ

สำหรับทีมที่ไม่ใช่ developer ให้แปลหลักนี้เป็นภาษางานว่า:

Step 7: ทดลองด้วยมือก่อน แล้วค่อยบันทึกให้ระบบทำซ้ำ

ข้อความสรุปของคลิปคือ “แก้ให้ได้ครั้งหนึ่ง แล้วทำซ้ำได้ตลอดไป” แต่การจะไปถึงจุดนั้นต้องเริ่มจากการสำรวจ workflow จริงก่อน ทีมควรทำขั้นตอนด้วยมือ บันทึกหน้าจอ จุดตัดสินใจ ข้อผิดพลาด และเงื่อนไขยกเว้นให้ครบ

เมื่อพบเส้นทางที่ทำงานได้ จึงแปลงเป็นคู่มือ ขั้นตอน หรือ automation ที่นำกลับมาใช้ได้ การบันทึกความรู้นี้สำคัญไม่แพ้ตัวระบบ เพราะเมื่อหน้าเว็บเปลี่ยน ทีมจะรู้ว่าจุดไหนต้องแก้ และไม่ต้องเริ่มวิเคราะห์ใหม่ทั้งหมด

ข้อสังเกตจากบทความนี้คือหลายองค์กรรีบซื้อ AI agent ก่อนทำความเข้าใจกระบวนการของตัวเอง ผลคือได้ bot ที่เร็วขึ้นในการทำงานที่ยังสับสนอยู่แล้ว ทางที่ดีกว่าคือทำ workflow ให้สั้น ชัด และมีเจ้าของกระบวนการก่อน แล้วค่อยนำ AI เข้ามาเติมส่วนที่มนุษย์ต้องเสียเวลากับการอ่าน ค้นหา และพิมพ์ซ้ำ

Step 8: วางรั้วความปลอดภัยและความรับผิดชอบก่อนใช้งานจริง

Web automation ไม่ได้มีความเสี่ยงแค่เรื่องเทคนิค บัญชีที่ใช้โดยระบบอาจเข้าถึงข้อมูลลูกค้า เอกสารการเงิน หรือระบบคู่ค้าได้ จึงต้องออกแบบสิทธิ์และการตรวจสอบตั้งแต่ต้น

แนวทางด้านการควบคุมความเสี่ยงสามารถดูเพิ่มได้จาก OWASP Application Security Verification Standard โดยเฉพาะเมื่อ workflow เกี่ยวข้องกับข้อมูลสำคัญหรือระบบภายนอก

Step 9: Actionable Insights สำหรับเริ่มทำ Web Automation ด้วย AI

Step 10: Troubleshooting ปัญหาที่พบได้บ่อย

ปัญหา: ระบบทำงานได้บ้างไม่ได้บ้าง

สาเหตุ: หน้าเว็บโหลดช้า มี pop-up หรือองค์ประกอบเปลี่ยนตำแหน่ง

วิธีแก้: เพิ่มจุด Verify หลังทุก action สำคัญ รอเงื่อนไขที่ตรวจได้จริง เช่น ข้อความสถานะหรือข้อมูลในหน้า แทนการหน่วงเวลาคงที่

ปัญหา: ระบบส่งข้อความซ้ำ

สาเหตุ: ขั้นตอนส่งสำเร็จ แต่ระบบอ่านผลลัพธ์ไม่ทันหรือไม่มีสถานะยืนยัน

วิธีแก้: สร้างรหัสอ้างอิงต่อรายการ บันทึกสถานะก่อนส่งและหลังส่ง ตรวจ log ปลายทางก่อนเริ่มทำซ้ำ

ปัญหา: AI เขียนข้อความไม่ตรงแบรนด์

สาเหตุ: prompt กว้างเกินไป และไม่มีตัวอย่างข้อความที่ผ่านการอนุมัติ

วิธีแก้: ระบุโทนภาษา ข้อห้าม ข้อมูลที่ต้องใส่ และตัวอย่างข้อความจริง 3 ถึง 5 แบบ พร้อมให้ระบบสร้างเป็น draft ก่อน

ปัญหา: หน้าเว็บเปลี่ยนแล้ว workflow พัง

สาเหตุ: ระบบอ้างอิงตำแหน่งหรือชื่อองค์ประกอบที่เปลี่ยนไป

วิธีแก้: ทำเอกสารจุดสำคัญของ workflow ตั้งระบบแจ้งเตือนเมื่อ Verify ไม่ผ่าน และมีเจ้าของรับผิดชอบการทดสอบเป็นรอบ

ปัญหา: งานชนเงื่อนไขการใช้งานหรือระบบป้องกัน

สาเหตุ: workflow พยายามใช้งานเกินสิทธิ์บัญชี หรือ website ไม่อนุญาตให้ทำ automation

วิธีแก้: หยุด workflow ตรวจเงื่อนไขการใช้บริการ ติดต่อเจ้าของ platform เพื่อขอ API หรือช่องทางที่ได้รับอนุญาต และย้ายงานที่ต้องยืนยันตัวตนไปให้คนดำเนินการ

Step 11: การต่อยอดหลัง workflow แรกเริ่มนิ่ง

Step 12: สรุป Checklist ทั้งหมด

บทเรียนสำคัญของ Web Automation ด้วย AI คือไม่ใช่การทำให้ AI แทนคนทุกจุด แต่คือการออกแบบระบบให้แต่ละส่วนทำสิ่งที่ตัวเองถนัด โค้ดทำงานซ้ำที่แน่นอน AI ช่วยเรื่องภาษาและการตีความ ส่วนคนถืออำนาจตัดสินใจในเรื่องที่ส่งผลต่อธุรกิจ เมื่อนำหลักนี้ไปใช้กับงานจริง เราจะได้ automation ที่ดูแลง่าย ตรวจสอบได้ และต่อยอดได้ไกลกว่า bot ที่พยายามคิดแทนทุกคลิก

Insiderly

บทความจากกองบรรณาธิการ Insiderly

อ่านบทความทั้งหมด

More in ชิปและโครงสร้างพื้นฐาน

See all
video thumbnail for 'Life Near OpenAI's Stargate Project'

AI Infrastructure กำลังเปลี่ยนเมืองเล็กอย่างไร โดยไม่ทำลายรากเดิม

โดย Insiderly
/
video thumbnail for 'The Prime Intellect Stack — Will Brown, Prime Intellect'

Prime Intellect Stack: แยก task, harness และ runtime ก่อนทำ post-training

โดย Insiderly
/
video thumbnail for 'Agent OS + Tailscale: FREE AI Everywhere!'

Tailscale: เปิด Dashboard ของ AI Agent บนมือถือผ่าน Tailnet

โดย Insiderly
/
video thumbnail for 'Jcode DESTROYS Claude Code?'

JCode ในคลิป Julian Goldie: ความไวของหน้าจอ Swarm และ Memory Graph

โดย Insiderly
/

บทความอื่นจาก Insiderly

See all
ภาพปกบทสัมภาษณ์ Will Koh จาก Ramp เรื่อง GPT-5.5

GPT-5.5 กับงานจริง: บทเรียนจาก Will Koh และ Ramp

โดย Insiderly
/
ภาพปกคลิป ChatGPT Images 2.0 พร้อมตัวอย่างภาพจรวด

ChatGPT Images 2.0: ย้อนดูแนวคิดภาพสำหรับงานธุรกิจ

โดย Insiderly
/
ภาพปก The End of Apps ของ Kitze บนเวที AI Engineer Europe

AI Agents กับจุดจบของแอป: บทเรียนจาก Kitze

โดย Insiderly
/
ภาพปกการสนทนา Human Judgment in Agentic Engineering จาก AI Engineer Europe

AI เร่งงานได้ แต่แรงเสียดทานช่วยให้เราตัดสินใจดีขึ้น

โดย Insiderly
/