Cloudflare แฉ ! Perplexity ใช้บอต “พรางตัว” เข้าถึงเว็บไซต์ที่บล็อก AI crawlers

“Perplexity บริษัทสตาร์ตอัปด้าน AI Search ถูก Cloudflare กล่าวหาว่า พยายามหลีกเลี่ยงข้อจำกัดบางเว็บไซต์ที่บล็อกไม่ให้ AI crawlers เข้าไปเก็บช้อมูล ด้วยใช้เทคนิค “พรางตัว” โดยทางเจ้าของเว็บไซต์ไม่ยินยอม

ตามปกติแล้วเว็บไซต์ต่าง ๆ จะสามารถเลือกได้ว่าจะยอมให้ AI crawlers ผ่านเข้ามาเก็บข้อมูล หรือบล็อกด้วยการใช้ไฟล์ robots.txt และ Web Application Firewall (WAF) ซึ่งเมื่อเร็ว ๆ นี้ ทาง Cloudflare ยังได้เปิดตัวเลือกที่ 3 อย่าง ‘Pay‑Per‑Crawl’ ที่ถ้าหาก AI bot อยากเข้าเว็บในเครือจะต้องจ่ายเงินก่อนด้วยเช่นกัน เพื่อให้มีความเท่าเทียมกับเจ้าของคอนเทนต์เหล่านั้นที่ตัวบอตนำข้อมูลไปใช้

แต่สำหรับเคสนี้ Cloudflare ได้ทดสอบโดยสร้างโดเมนใหม่พร้อมตั้งค่าบล็อก AI bot พบว่าในตอนแรก Perplexity พยายามเข้าถึงเว็บไซต์ด้วยชื่อ crawler ปกติ เช่น PerplexityBot หรือ Perplexity-User ก่อนจะทำการเปลี่ยน user agent ให้ดูเหมือนเป็นอุปกรณ์ Google Chrome บน macOS เพื่อหลอกเซิร์ฟเวอร์ว่าเป็นผู้ใช้งานจริงไม่ใช่บอต โดยยังมีการใช้เทคนิค IP rotating สลับหมุนเวียน IP ไปเรื่อย ๆ อีกทั้ง IP เหล่านี้ยังไม่อยู่ในลิสก์อย่างเป็นทางการของ Perplexity อีกด้วย

นอกจากนี้ Cloudflare ยังกล่าวว่า Perplexity มีการเปลี่ยนหมายเลข autonomous system networks (ASN) ซึ่งเป็นตัวระบุเครือข่าย IP ที่ควบคุมโดยผู้ให้บริการ ISP โดยมีการตรวจพบการละเมิดในเว็บไซต์นับหมื่นโดเมน และมีการร้องขอข้อมูลนับล้านครั้งต่อวัน

แน่นอนว่า Perplexity ไม่ได้ปล่อยผ่านเรื่องนี้ โดยออกมาแถลงการณ์ผ่านโฆษก เจสซี ดไวเออร์ (Jesse Dwyer) ว่าสิ่งที่ Cloudflare กล่าวอ้างมาเป็นเพียง “การเรียกร้องความสนใจ” และมีความเข้าใจผิดในหลายจุด

อย่างไรก็ตาม ล่าสุด Cloudflare ได้ถอนการรับรองบอตของทาง Perplexity แล้ว และเริ่มนำวิธีการใหม่มาใช้เพื่อป้องกันการแอบเก็บข้อมูลจากบอตของ Perplexity

ที่มา: The Verge

บดินทร์ ตันวิเชียร

'ช่างภาพ' ที่เขียนคอนเทนต์ได้ หาเงินซื้อเปียกให้แมว 3 ตัว ที่บ้าน