robots.txtを作成

許可するパスや除外するパスからrobots.txtを作れるよ

端末内で処理 · 登録不要

作業手順で使う入力の形

この形のUTF-8 JSONを入力してね 1ファイルずつ処理するよ入力値は保存設定へ含めないよ

{
  "agent": "*",
  "disallow": "/private/",
  "allow": "",
  "sitemap": "https://example.com/sitemap.xml"
}

対象のクローラーと、/から始まるパスを1行に1つ入れてね許可・除外を各100行まで、サイトマップURLも指定できるよ空欄は除外しない状態だよ

User-agent: * / Disallow: /private/

1グループのみ。正しい公開位置と既存ルールとの競合を確認してください。robots.txtは認証や非公開化の代わりにはなりません。

ログアウトしますか？