情報を取得するサーバへ送信されるリクエストヘッダに以下の情報が渡されます。
UserAgent : CCBot/2.0 (https://commoncrawl.org/faq/)
IPアドレス : 18.97.14.89
サイトマップ作成
URL
サイトマップ設定
拡張機能
クロール設定
- 取得ページ
- -
- 残り
- -
- 調査済リンク
- -
- 経過時間
- -
- ステータス
- URLを入力して『サイトマップを作成する』ポタンをクリックします