robots.txt の書き方【2026年版】noindexとの違いと、書いてはいけない設定
robots.txt は「クロールしてよい場所・いけない場所」を伝えるファイルです。
最も多い誤解は「robots.txtでブロックすれば検索結果に出なくなる」というものですが、 これは正しくありません。むしろ逆効果になる場合があります。
Disallow と noindex は別物
| robots.txt の Disallow | meta robots の noindex | |
|---|---|---|
| 意味 | クロールするな | インデックスするな |
| ページの中身 | 読まれない | 読まれる |
| 検索結果 | URLだけ表示されることがある | 表示されない |
| 使う場面 | クロールが無駄なファイル | 検索結果に出したくないページ |
最も重要な注意点です。
robots.txt でブロックしたページに noindex を書いても、読まれません。
クロールが止まるため、ページ内のnoindexに到達できないからです。
その結果、外部リンクなどから存在が知られると、
URLだけが検索結果に残るという最悪の状態になります。
検索結果から確実に外したいなら、robots.txtでブロックせず、noindexを読ませてください。
当社サイトの設定例
実際の考え方を、当社の設定で説明します。
| 対象 | 設定 | 理由 |
|---|---|---|
| サイト全体 | Allow | 基本は全て許可 |
| 申込フォーム・完了ページ | ブロックしない | noindexを読ませるため。ブロックするとURLだけ残る |
| OG画像確認用ページ | Disallow | クロールしても意味がない |
| 送信処理のPHP | Disallow | 同上 |
| エラーログ | Disallow | 同上 |
| キーワード在庫CSV | Disallow | JSから読むだけで検索結果に出す必要がない |
| パラメータ付きURL | ブロックしない | canonicalを読ませるため |
| AI検索のクローラー | 明示的にAllow | 引用元として選ばれるため |
2番目と最後の2行が実務上のポイントです。 申込ページを Disallow にすると noindex が読まれず、 かえってURLだけが検索結果に残ります。 またパラメータ付きURLをブロックするとcanonicalも読まれなくなり、 重複が解消されません。 「ブロックしないほうが正しい」ケースがあることを押さえてください。
AIクローラーの扱い
生成AIサービスは、それぞれ独自のクローラーを持っています。 引用元として選ばれたいなら、明示的に許可するという選択があります。
- Google-Extended——Googleの生成AI関連
- OAI-SearchBot——OpenAIの検索用
- PerplexityBot——Perplexity
- ClaudeBot——Anthropic
ブロックするかどうかは経営判断です。 コンテンツを学習に使われたくないならブロックする選択もありますが、 AI検索での引用機会も同時に失われます。 当社は引用元として選ばれることを優先し、明示的に許可しています。 AI検索の考え方はAI時代にSEOは必要かをご覧ください。
なお、llms.txt というファイルは Google Search では使用されません。 Googleが公式ドキュメントで「作成する必要はない」と明記しています。 robots.txt とは別物なので混同しないでください。
書いてはいけない設定
| 設定 | 何が起きるか |
|---|---|
Disallow: / | サイト全体がクロールされなくなる。公開後に消し忘れる事故が多い |
| CSS・JSをブロック | ページを正しく描画できず、評価に影響 |
| 画像を一律ブロック | 画像検索に出なくなる |
| noindexページをブロック | noindexが読まれず、URLだけ残る |
| パラメータURLをブロック | canonicalが読まれず、重複が解消されない |
| robots.txt に noindex を書く | サポートされていません。効果がない |
| サイトマップの記載漏れ | 発見が遅れる |
最上段は実際によくある事故です。 開発中にサイト全体をブロックしていて、 公開後もそのままになっているケースが見つかります。 順位が上がらない、インデックスされないという場合、真っ先に確認すべき箇所です。
確認方法
- ブラウザで
https://example.com/robots.txtを開く Disallow: /だけの行がないか確認する- CSSやJSのディレクトリをブロックしていないか確認する
- Sitemap: の行があるか確認する
- Search Console の「ページ」レポートで、 「robots.txt によりブロックされました」の件数を確認する
- 意図しないページがブロックされていないか
robots.txt は、書き間違えたときの被害が最も大きいファイルのひとつです。 編集したら必ず内容を目視で確認してください。 ほかの点検項目は内部対策チェックリスト30項目、 サイトマップはXMLサイトマップの作り方をご覧ください。
よくあるご質問
robots.txtでブロックすれば検索結果に出なくなりますか？
なりません。Disallowはクロールを止める指示で、インデックスを止める指示ではありません。外部リンクなどから存在が知られると、URLだけが検索結果に表示されることがあります。確実に外したい場合はnoindexを使ってください。
noindexページをrobots.txtでもブロックすべきですか？
してはいけません。robots.txtでブロックするとクロールが止まり、ページ内のnoindexが読まれません。その結果、URLだけが検索結果に残るという最悪の状態になります。noindexを使う場合は、クロールを許可してください。
パラメータ付きURLはブロックすべきですか？
避けたほうがよい場合が多いです。ブロックするとcanonicalも読まれなくなり、重複が解消されません。canonicalで正規URLを指定し、クロール自体は許可するほうが確実です。
AIのクローラーはブロックすべきですか？
経営判断です。コンテンツを学習に使われたくないならブロックする選択もありますが、AI検索での引用機会も同時に失われます。当社は引用元として選ばれることを優先し、Google-Extended、OAI-SearchBot、PerplexityBot、ClaudeBotを明示的に許可しています。
llms.txt は robots.txt と同じものですか？
別物です。またGoogleは公式ドキュメントで、llms.txtなどのAI向けファイルについてGoogle Searchは使用しないため作成する必要がないと明記しています。設置しても検索での可視性や順位には影響しません。
インデックスされない原因がrobots.txtということはありますか？
あります。開発中にサイト全体をブロックしていて、公開後もそのままになっているケースが実際によく見つかります。順位が上がらない、インデックスされないという場合は、真っ先にrobots.txtを確認してください。
関連ページ
ご自身のサイトで、同じことを試せます。
同一キーワードは1社限定。空き状況はその場で確認できます。