あなたのサイトは、ChatGPTやGeminiから
本当に読めていますか。

なぜ robots.txt を見るだけでは足りないのか

AIクローラの許可・不許可は robots.txt に書きます。しかし実際にアクセスを止めているのは、サーバー本体・WAF・CDN・セキュリティ系プラグインなど別の場所であることが多く、両者は簡単に食い違います。

私たちが日本の主要サイト103件を実測したところ、計測できた86件のうち10件（11.6%）で、robots.txt では許可しているのにサーバーが拒否している状態が見つかりました。さらに robots.txt にAIクローラのことを一行でも書いている企業は、86件中10件（11.6%）だけでした。

記述だけを読むチェックツールは、この食い違いを「許可されています」と表示してしまいます。

クローラには3つの種類があります

ここを混同すると、「AI学習を断ったつもりが、AI検索の引用経路まで塞いでいた」という事故が起きます。