Cloudflare
Cloudflare、9月15日からAI訓練クローラーを広告ページで遮断へ
Cloudflareが、AIクローラーの用途別分離をAI企業に要求した。期限は9月15日。従わなければ遮断する。 「検索用」と「訓練用」を分けろ Cloudflareが現地時間7月1日、AIクローラーに対する新たな方針を発表した。 AI企業に対し、ウェブクローラーを検索用、AIエージェント用、モデル訓練用の3種類に分離するよう求め、9月15日を期限に設定している。 9月15日以降のクローラー分類とデフォルト設定 分類広告ページ非広告ページ検索許可許可AIエージェントブロックサイト設定に依存モデル訓練ブロックサイト設定に依存混合 (検索+訓練)ブロックサイト設定に依存 ※新規顧客・既存顧客の新規サイト・既存無料プラン利用者に適用。既存有料顧客は設定変更で適用可 期限までに分離しない「混合クローラー」は、広告が掲載されているページでデフォルトのブロック対象になる。Cloudflareはこう説明している。広告を掲載しているページは、サイト運営者が人の閲覧を前提にしている。その前提に反するボットは遮断する。新規顧客、既存顧客の新規サイト、そして既存の無料プラン利用