FIELD SURVEY ／ 2026-08-07
AIクローラの許可・不許可は robots.txt に書きます。しかし実際にアクセスを止めているのは、サーバー本体・WAF・CDN・レンタルサーバーの管理画面・セキュリティ系プラグインなど、robots.txt とはまったく別の場所です。両者は簡単に食い違います。
この食い違いは、当事者からは見えません。robots.txt には「許可」と書いてあるからです。そして robots.txt の記述だけを読むチェックツールも、「許可されています」と表示します。
調査のきっかけは、実施者である株式会社SAL自身の事故でした。自社サイトの robots.txt には GPTBot を明示的に許可すると書いてありましたが、サーバーは GPTBot に対して 403 を返していました。「許可」と書いた宣言を、当の相手が読むことすらできない状態です。これがどの程度一般的なのかを知るために、母集団で測りました。
103のドメインに対し、次の手順を自動で実行しました。
bare と www. のどちらで配信されているかを自動判定する（日本の企業サイトは www. のみで配信されるものが多く、これを外すと単なる名前解決の失敗を「遮断」と誤認する）検査した6種類は、学習用として GPTBot・ClaudeBot・CCBot、検索/引用用として OAI-SearchBot・PerplexityBot、そして対照群として Googlebot です。Googlebot を混ぜたのは、「AIクローラだけが狙って止められているのか」「自動アクセス全般が止められているのか」を切り分けるためです。
調査に使ったスクリプトは公開しています。同じ手順で再現できます。
| 判定 | 件数 |
|---|---|
| すべてのAIクローラが通過 | 75 |
| 食い違い（robots.txtは許可／サーバーは拒否） | 10 |
| 拒否しているが robots.txt の記述と一致（意図的） | 1 |
| 計測不能（通常のブラウザでも到達できず） | 17 |
| 合計 | 103 |
個別の社名は公開しません。外側からの計測では意図的な遮断と設定事故を区別できないためです。業種カテゴリ単位で示します。
| 業種 | 該当／計測成立 |
|---|---|
| UGC・技術系メディア | 3 / 5 |
| 製造（大手） | 2 / 13 |
| SEO・GEO支援会社 | 1 / 10 |
| IT・専門メディア | 1 / 6 |
| 人材 | 1 / 5 |
| 不動産 | 1 / 5 |
| 小売・EC | 1 / 5 |
10社のうち7社は、学習用クローラだけを拒否していました。UGC・技術系メディアで比率が高いことから、コンテンツを学習に使われることへの防御として意図的に行っている例が相当数含まれると考えられます。合理的な判断です。ただしその意図が robots.txt に書かれていないため、外からは事故と区別がつきません。
残る3社は、AIクローラも Googlebot も含めて自動アクセスを広く拒否していました。このうち1社は、無名のUser-Agentは通過するのに GPTBot と Googlebot を名乗ったときだけ拒否されました。既知のボット名を文字列で見て弾いているということです。
GPTBot のUser-Agentで /robots.txt を取得しようとすると拒否される企業が6社ありました。許可も拒否も、書いてある内容を相手が読めません。
robots.txt にAIクローラのことを書いている企業は、11.6%しかありませんでした。
当初の関心は「宣言と実装の食い違い」でしたが、実際にはそもそも宣言が存在しない企業が約8割を占めました。食い違い以前に、判断材料がありません。
実態を分けると、こうなります。
| 状態 | 割合 |
|---|---|
| AIクローラを意識して robots.txt を書いている | 11.6% |
| robots.txt と実際の挙動が食い違っている | 11.6% |
| AIクローラについて何も決めていない | 約77% |
最後の層で今アクセスが通っているとしたら、それは意図ではなく偶然です。そしてAIクローラの名前は四半期ごとに増えています。数年前の設定は、今はもう不完全です。
「AIに学習されたくない」という理由で一括遮断すると、AI検索に引用される経路まで同時に塞ぐことがあります。目的が違うためです。
| 種類 | 代表例 | 止めると起きること |
|---|---|---|
| 学習用 | GPTBot ／ ClaudeBot ／ CCBot ／ Google-Extended | AIモデルの知識に自社が入らない |
| 検索・引用用 | OAI-SearchBot ／ Claude-SearchBot ／ PerplexityBot | AIの回答で出典として引用されない |
| 実時間取得 | ChatGPT-User ／ Perplexity-User ／ Claude-User | 利用者がリンクを開いても中身を読めない |
有料コンテンツを持つメディアが学習用だけを拒否するのは合理的です。一方、発見されたいB2B企業が学習用も検索用も一括で塞いでいるなら、それはたいてい意図ではありません。
robots.txt を書き換えても直りません。止めているのは robots.txt ではないからです。次の順に確認してください。
.htaccess や nginx の設定でUser-Agent判定が書かれていることがあります直したあとは、robots.txt に意思を明記してください。書いていなければ、次に設定を触る人（自社の担当者とは限りません）が同じことを繰り返します。
# AI検索に引用されたい場合の記述例 User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: /
数字を使う前に、次の4点を必ず併せてご確認ください。
確定させるには、サーバーやCDNのアクセスログで、実際のクローラのIPアドレスからのアクセスにどのステータスを返しているかを照合します。そこまでやって初めて「読まれていない」と言えます。