Robots.txtジェネレーター

ルールとサイトマップを含むrobots.txtを作成します。

Robots.txtジェネレーターブラウザ内で実行

robots.txt

User-agent: *
Disallow: /admin
Disallow: /api
Disallow: /draft

Sitemap: https://example.com/sitemap.xml

すべてブラウザ内で実行され、入力内容はどこにもアップロードされません。

使い方

  1. 1User-agent を入力します（すべてのクローラーが対象なら「*」）。
  2. 2Disallow と Allow のパスを1行に1つずつ入力し、必要ならサイトマップURLと Crawl-delay も指定します。
  3. 3生成された内容をコピーし、サイトのルートに robots.txt として保存します。

こんなときに

  • 管理画面、API、下書きページなどへのクロールを避けたいとき。
  • 新しいサイトを公開する際に、サイトマップの場所を検索エンジンに伝えたいとき。

よくある質問

Disallow すれば検索結果に表示されなくなりますか？

いいえ。robots.txt はクロールを制御するもので、他のサイトからリンクされたURLはインデックスされる場合があります。確実に除外するには noindex を使い、そのページのクロールは許可しておきます。

Crawl-delay は Google に効きますか？

Google は Crawl-delay を無視します。Bing など一部の検索エンジンは対応しています。

robots.txt はどこに置きますか？

ドメインのルート（例：https://example.com/robots.txt）に置く必要があります。サブディレクトリに置いても読み込まれません。

関連ツール

Hreflangジェネレーター

複数市場・複数ロケールのページ向けにhreflangタグを生成します。

メタタグジェネレーター

SEO用のタイトル、ディスクリプション、Open Graphのメタタグを生成します。

JSON-LDスキーマ

OrganizationやArticle向けの構造化データを作成します。

この作業を、運用の中で自動化する。

tixigen なら、SEO・メタ情報・多言語公開を一つの流れで管理できます。

機能を見る