Cloudflare บล็อก Google Bot: เช็กก่อน 15 ก.ย. เว็บอาจหลุด Google

เคยไหมที่เว็บไซต์ทำ SEO มาดีอยู่ๆ อันดับก็หายไปเฉยๆ ทั้งที่ไม่ได้แก้ไขอะไรเลย ปัญหานี้อาจไม่ได้มาจาก Google แต่มาจากการตั้งค่าใน Cloudflare ที่หลายเว็บไซต์ SME ใช้อยู่โดยไม่รู้ตัว

Cloudflare ประกาศปรับการตั้งค่าบล็อก AI Bot ครั้งใหญ่ มีผลตั้งแต่วันที่ 15 กันยายน 2569 และประเด็นสำคัญคือการตั้งค่านี้อาจบล็อก Google Bot ไปด้วยโดยไม่ตั้งใจ

บทความนี้จะพาไปดูว่า Cloudflare บล็อก Google Bot เกิดขึ้นได้อย่างไร กระทบกับเว็บไซต์ SME แบบไหนบ้าง และควรตั้งค่ายังไงก่อนถึงเส้นตายนี้

Cloudflare บล็อก Google Bot คืออะไร

Cloudflare บล็อก Google Bot คือสถานการณ์ที่การตั้งค่าป้องกัน AI ใน Cloudflare ปิดกั้นไม่ให้ Googlebot เข้ามาสำรวจเว็บไซต์ได้ ทั้งที่เจ้าของเว็บอาจไม่ได้ตั้งใจบล็อก Google โดยตรง

ต้นเหตุมาจากฟีเจอร์ที่ Cloudflare ใช้มานานเรียกว่า Block AI Bots ซึ่งเดิมทีออกแบบมาเพื่อกันบอทที่ดึงข้อมูลไปเทรน AI อย่าง ChatGPT หรือ Gemini เท่านั้น

Cloudflare ประกาศปรับระบบนี้ใหม่ในเดือนกรกฎาคม 2569 โดยแบ่งบอทเป็น 3 ประเภทตามพฤติกรรม ได้แก่ Search คือบอทที่มาสำรวจเพื่อจัดอันดับ Agent คือบอทที่ทำงานแทนผู้ใช้แบบเรียลไทม์ และ Training คือบอทที่ดึงข้อมูลไปเทรนโมเดล AI

ทำไมการตั้งค่าเดิมถึงเสี่ยงบล็อก Google ไปด้วย

ปัญหาคือ Googlebot ไม่ได้ทำหน้าที่เดียว มันทำทั้งสำรวจเพื่อจัดอันดับใน Search และดึงข้อมูลไปใช้กับผลิตภัณฑ์ AI อย่าง Gemini และ AI Overview ในเวลาเดียวกัน

Cloudflare เรียกบอทแบบนี้ว่า mixed-purpose crawler และใช้กฎที่เข้มงวดที่สุดเป็นตัวตัดสิน หมายความว่าถ้าเว็บไซต์ตั้งค่าบล็อก Training บอทที่ทำ Training ร่วมกับ Search อย่าง Googlebot ก็จะโดนบล็อกไปทั้งตัว

ข้อมูลจาก Cloudflare เองระบุว่าบอทที่ทำหน้าที่ผสมแบบนี้คิดเป็นสัดส่วนถึง 36% ของ crawler traffic ทั้งหมดในตอนนี้ นั่นแปลว่าเว็บไซต์จำนวนมากมีความเสี่ยงโดยไม่รู้ตัว

เว็บไซต์ที่เคยเปิดฟีเจอร์ Block AI Bots แบบเดิมไว้ตั้งแต่ก่อนหน้านี้ คือกลุ่มที่ต้องเช็คด่วนที่สุด เพราะระบบจะปรับให้อัตโนมัติตามค่า default ใหม่ในวันที่ 15 กันยายน ถ้าไม่เข้าไปแก้ไขเอง

ถ้าคุณเป็นเจ้าของธุรกิจ SME ที่ไม่มีเวลาตามเรื่องเทคนิคแบบนี้ทุกเดือน การมีทีมที่ดูแลทั้ง SEO และความเรียบร้อยของเว็บไซต์ให้ต่อเนื่อง อาจช่วยลดความเสี่ยงแบบนี้ได้ ลองปรึกษาบริษัทรับทำการตลาดออนไลน์ที่ติดตามความเปลี่ยนแปลงแบบนี้ให้ลูกค้าอยู่แล้ว

ใครได้รับผลกระทบจากการเปลี่ยนแปลงนี้บ้าง

การตั้งค่า default ใหม่นี้จะมีผลกับ 3 กลุ่มคือลูกค้าใหม่ของ Cloudflare เว็บไซต์ใหม่ของลูกค้าเดิม และบัญชี Free ที่ยังไม่เคยเข้าไปปรับการตั้งค่าเอง

อีกจุดที่ต้องรู้คือกฎใหม่นี้จะบังคับใช้เฉพาะหน้าเว็บที่มีโฆษณาอยู่เท่านั้น ไม่ใช่ทุกหน้าของเว็บไซต์ ถ้าเว็บ SME ของคุณไม่มีการติดโฆษณาบนหน้าเว็บ ผลกระทบโดยตรงจะน้อยกว่ากลุ่มเว็บไซต์ข่าวหรือเว็บ Content ที่มีรายได้จากโฆษณา

แต่ถ้าเว็บไซต์ของคุณเคยเปิดฟีเจอร์ Block AI Bots แบบเดิมไว้แล้ว ไม่ว่าจะมีโฆษณาหรือไม่ ก็มีความเสี่ยงที่ Googlebot จะโดนกฎ mixed-purpose crawler ครอบคลุมไปด้วย

Cloudflare เองดูแล traffic ทั่วโลกอยู่ราว 20% ของทั้งหมด เว็บไซต์จำนวนมากในไทยก็ใช้ Cloudflare เป็น CDN และตัวป้องกันความปลอดภัย เพราะฉะนั้นเรื่องนี้ไม่ใช่เรื่องไกลตัวสำหรับ SME ไทยเลย

ตรวจสอบและตั้งค่ายังไงให้ปลอดภัย

เข้าไปที่ Cloudflare Dashboard เลือกโดเมนของเว็บไซต์ แล้วไปที่เมนู Security จากนั้นมองหา Settings ที่เกี่ยวกับ Bots หรือ AI Bots

ถ้าเจอตัวเลือก Block AI Bots ที่เคยเปิดไว้ ให้ดูรายละเอียดย่อยว่าตั้งเป็น Block all pages หรือ Mixed purpose bots will be blocked เพราะสองแบบนี้มีโอกาสสูงที่จะบล็อก Googlebot ไปด้วย

ถ้าไม่อยากให้ Google เข้าถึงเว็บไซต์ยากขึ้น ให้เปลี่ยนไปเลือกตัวเลือกที่ระบุว่า Mixed purpose crawlers will continue to be allowed เพื่อให้ Search ยังทำงานได้ตามปกติ แม้จะยอมให้บอทที่ทำ Training ผ่านเข้ามาด้วยก็ตาม

Google เองก็มีทางออกให้เว็บไซต์ที่อยากแยกสองเรื่องนี้ออกจากกันจริงๆ ผ่านบอทชื่อ Google-Extended ซึ่งเปิดให้เว็บไซต์อนุญาตเฉพาะ Search แต่ปฏิเสธการนำข้อมูลไปเทรน AI ได้ แต่ต้องตั้งค่าแยกต่างหากใน robots.txt ไม่ใช่ผ่าน Cloudflare อย่างเดียว

SME ควรเลือกทางไหน ระหว่างปิดกั้น AI หรือเปิดให้ Google เข้าถึงเต็มที่

สำหรับเว็บไซต์ SME ที่พึ่งพา traffic จาก Google Search เป็นหลัก ผมมองว่าการรักษาอันดับใน Google สำคัญกว่าการพยายามปิดกั้น AI Bot ทุกตัว เพราะรายได้ส่วนใหญ่ยังมาจาก Search ไม่ใช่จากการขายเนื้อหาให้ AI

ธุรกิจที่เพิ่งเริ่มทำ SEO หรือกำลังลงทุนกับ content marketing ยิ่งต้องระวังเป็นพิเศษ เพราะการเสีย Googlebot ไปแม้แค่ไม่กี่สัปดาห์ ก็อาจทำให้อันดับที่สร้างมานานหลุดจากหน้าแรกได้

ในทางกลับกัน ถ้าเว็บไซต์มีเนื้อหาที่เป็นต้นทุนสูง เช่น งานวิจัยหรือบทวิเคราะห์เฉพาะทาง การป้องกันไม่ให้ AI ดึงไปใช้ฟรีก็มีเหตุผลรองรับเหมือนกัน จุดนี้ต้องชั่งน้ำหนักตามลักษณะธุรกิจของแต่ละเว็บ

สรุป: เช็กก่อน 15 กันยายนนี้ ดีกว่าแก้ทีหลัง

15 กันยายนนี้ไม่ใช่แค่เส้นตายของ Cloudflare แต่เป็นจุดที่เจ้าของเว็บไซต์ SME ทุกคนควรเข้าไปเช็คการตั้งค่าของตัวเองสักครั้ง ก่อนที่ Google จะมองไม่เห็นเว็บไซต์โดยที่คุณไม่รู้ตัว

ถ้ายังไม่แน่ใจว่าเว็บไซต์ของตัวเองใช้ Cloudflare อยู่หรือเปล่า ลองถามทีมที่ดูแลเว็บไซต์ให้ชัดเจน แล้วเข้าไปเช็คค่า Block AI Bots ตามขั้นตอนด้านบนก่อนถึงวันที่ 15 กันยายนนี้