Cloudflare บล็อกเว็บครอว์เลอร์ที่ใช้ค้นหาและฝึก AI เป็นค่าเริ่มต้น ควบคุมการนำเนื้อหาไปใช้

Cloudflare ประกาศนโยบายใหม่เตรียมบล็อก “เว็บครอว์เลอร์แบบผสม” (Hybrid Crawlers) ที่ทำหน้าที่จัดทำดัชนีเว็บไซต์สำหรับเครื่องมือค้นหา และนำข้อมูลไปใช้ฝึกหรือให้บริการ AI เพื่อให้เจ้าของเว็บไซต์ควบคุมการนำเนื้อหาไปใช้มากขึ้น

ก่อนหน้านี้ Cloudflare เปิดให้ลูกค้าเลือกบล็อกบอต AI ได้เอง แต่แนวทางใหม่จะเปลี่ยนเป็น ป้องกันโดยอัตโนมัติ (Default Protection) เพื่อช่วยลดการนำข้อมูลจากเว็บไซต์ไปใช้โดยที่เจ้าของเว็บไม่ได้ตั้งใจ

Matthew Prince ซีอีโอและผู้ร่วมก่อตั้ง Cloudflare ระบุว่า ปัจจุบันทราฟฟิกส่วนใหญ่บนอินเทอร์เน็ตไม่ได้มาจากผู้ใช้งานจริง แต่เป็นบอท จึงถึงเวลาที่ต้องสร้างระบบที่สมดุลระหว่างเจ้าของเว็บไซต์และบริษัท AI พร้อมผลักดันให้ผู้ให้บริการ AI แยกการทำงานของบอทสำหรับการค้นหาและการฝึกโมเดลออกจากกันอย่างชัดเจน

การเปลี่ยนแปลงนี้เกิดขึ้นท่ามกลางยุคที่ AI Agent และแชตบอตสามารถเข้าเว็บไซต์เพื่อดึงข้อมูลมาตอบคำถามผู้ใช้ได้โดยตรง ทำให้รูปแบบรายได้เดิมของเว็บไซต์ที่อาศัยจำนวนผู้เข้าชม โฆษณา หรือค่าสมาชิกได้รับผลกระทบ เพราะผู้ใช้อาจไม่จำเป็นต้องเข้าเว็บไซต์ต้นทางอีกต่อไป

ตั้งแต่วันที่ 15 กันยายน 2026 เป็นต้นไป เว็บไซต์ใหม่ที่ใช้ Cloudflare จะถูกตั้งค่าเริ่มต้นให้ อนุญาตเฉพาะการจัดทำดัชนีสำหรับการค้นหา แต่บล็อกการนำข้อมูลไปฝึก AI และใช้งานโดย AI Agent สำหรับหน้าเว็บที่มีโฆษณา ขณะที่ผู้ใช้บัญชีฟรีจะถูกเปลี่ยนมาใช้นโยบายเดียวกัน เว้นแต่จะเลือกไม่เข้าร่วมก่อนถึงกำหนด

Cloudflare ยังอัปเกรดระบบ Pay Per Crawl ที่เปิดตัวในปี 2025 และเปลี่ยนชื่อเป็น Pay Per Use โดยเปลี่ยนจากการคิดค่าตอบแทนตามจำนวนครั้งที่บอทเข้ามาเก็บข้อมูล เป็นการจ่ายเงินให้เจ้าของเว็บไซต์เมื่อเนื้อหาของพวกเขาถูกนำไปใช้ในคำตอบของแชตบอต AI แทน ปัจจุบันมีพันธมิตรที่เข้าร่วมแล้ว ได้แก่ Ceramic.AI และ You.com และบริษัทหวังว่าจะมีผู้ให้บริการ AI รายอื่นเข้าร่วมเพิ่มเติม

นโยบายใหม่นี้ถูกมองว่าอาจกดดัน Google ทางอ้อม เนื่องจาก Googlebot ทำหน้าที่ทั้งจัดทำดัชนีเว็บไซต์สำหรับระบบค้นหา และรวบรวมข้อมูลเพื่อพัฒนา Gemini รวมถึงฟีเจอร์ AI อย่าง AI Overviews และ AI Mode แม้ Google จะมี Google-Extended สำหรับเว็บไซต์ที่ไม่ต้องการให้ข้อมูลถูกนำไปฝึกโมเดล AI แต่ผู้เผยแพร่ยังไม่สามารถเลือกได้ว่า ต้องการให้เนื้อหาปรากฏในผลค้นหา AI โดยไม่ถูกนำไปใช้ฝึกโมเดล

Cloudflare หวังว่านโยบายใหม่นี้จะผลักดันให้ Google และผู้ให้บริการ AI รายอื่น แยกการทำงานของเว็บครอว์เลอร์สำหรับ “ค้นหา” และ “AI” ออกจากกันอย่างชัดเจน เพื่อให้เจ้าของเว็บไซต์มีสิทธิ์เลือกได้มากขึ้นว่าเนื้อหาของตนจะถูกนำไปใช้อย่างไร

ที่มา engadget

หนุ่ย แซ่แต้

นักเขียนสาย Introvert ที่ชื่นชอบเรื่องนวัตกรรมและความคิดสร้างสรรค์ ใช้เวลาว่างกับ มังงะ, เสียงเพลงและ idol