サイトの robots.txt ファイルを編集する

読了時間:4分
重要:
robots.txt ファイルの編集は高度な機能であり、このファイルを変更すると、検索結果にサイトが表示されなくなる可能性があります。Wix カスタマーケアでは、robots.txt ファイルに変更を加えて問題が発生しても、サポートを提供することができませんのでご注意ください。
robots.txt ファイルは、サイトのどのページを検索結果に含めるか、スキップするかを検索エンジンに指示します。検索エンジンはサイトをクロールしてインデックスする際に、サイトの robots.txt ファイルを確認します。これは、検索エンジンがページやファイルをクロールするかしないかを保証するものではありませんが、インデックス登録の精度が低下するのを防ぐことができます。

サイトへのクロールリクエストをより適切に管理したい場合は、robots.txt ファイルを編集することができます。
ヒント:
  • 検索エンジンにサイトの特定のページをインデックスさせない設定を行うことが可能です。エディタでの設定方法はこちら、Editor X での設定方法はこちらをご覧ください。
  • robots メタタグを使用して、検索エンジンがサイトのページをインデックスする方法をより詳細に制御することもできます。たとえば、"nofollow" タグを使用して、検索エンジンにページ上のリンクをフォローしない(たどらない)ように指示することができます。robots メタタグの詳細はこちら
この記事では、次の項目について説明します:

robots.txt ファイルについて

robots.txt ファイルには、検索エンジンからの特定のリクエストを許可または拒否する手順が含まれています。"allow" コマンドはクローラにフォローできるリンクを通知し、"disallow" コマンドはクローラにフォローできないリンクを通知します。サイトのサイトマップファイルの URL も含まれます。
ルートドメインに「/robots.txt」を追加することで、サイトの robots.txt ファイルを表示できます。
例:https://www.mystunningwebsite.com/robots.txt
robots txt ファイルの例
もっと詳しく知りたい場合:

robots.txt ファイルを編集する

サイトの SEO ダッシュボードにある robots.txt エディタを使用して、サイトの robots.txt ファイルを編集することができます。サイトの robots.txt ファイルを使用すると、検索エンジンのボットはデフォルトでサイトのすべてのページにアクセスできます。以下の場合、ボットは特定のページにアクセスできないことがあります:
robots.txt ファイルに変更を加える前に、robots.txt ファイルに関する Google のガイドラインと制限事項を確認することをおすすめします。
重要:
サイトの robots.txt ファイルを編集すると、検索結果にサイトのページが表示されなくなる可能性があります。

サイトの robots.txt ファイルを編集する方法:

  1. SEO ダッシュボードにアクセスします。
  2. ツールと設定」下の「robots.txt エディタのページに移動」を選択します。
  3. ファイルを表示」をクリックします。
  4. 現在のファイル:」下にディレクティブを入力して、robots.txt ファイル情報を追加します。
robots.txt ファイルを編集する
  1. 保存」をクリックします。
  2. 保存」をクリックします。
ヒント:
  • 検索エンジンは、次回サイトをクロールする際に、キャッシュされたバージョンの robots.txt ファイルを更新します。
  • より早く更新する必要がある場合は、トップページの URL を検索エンジンに送信することができます。

robots.txt ファイルをリセットする

サイトの robots.txt ファイルを変更したが、元に戻したい場合は、サイトの SEO ダッシュボードの robots.txt エディタを使用して、初期設定の状態に戻すことができます。

robots.txt ファイルをリセットする方法:

  1. SEO ダッシュボードにアクセスします。
  2. ツールと設定」下の「robots.txt エディタのページに移動」を選択します。
  3. ファイルを表示」をクリックします。
  4. 初期設定に戻す」をクリックします。
robots.txt ファイルを初期設定の状態に戻す
  1. リセット」をクリックします。
ヒント:
  • 検索エンジンは、次回サイトをクロールする際に、キャッシュされたバージョンの robots.txt ファイルを更新します。
  • より早く更新する必要がある場合は、トップページの URL を検索エンジンに送信することができます。

Wix サイト点検または Google Search Console での robots.txt エラー

Wix 点検のレポートGoogle Search Console アカウントで「robots.txt によりブロック」などのエラーが表示される場合があります。
このようなエラーが表示された場合、特に以前に編集したことがない場合は、robots.txt ファイルを編集する必要はありません。代わりに、ページの次の設定を確認してください:
ページを更新する必要がある場合、ページを公開した後に Wix が自動的に robots.txt を更新します。サイトの設定を変更すると、robots.txt ファイルもすぐに更新されます。
変更を加えた後、検索エンジンは、次回サイトをクロールする際に、キャッシュされたバージョンの robots.txt ファイルを更新します。すぐに更新する必要がある場合は、再インデックスのためにトップページを検索エンジンに送信することができます。

お役に立ちましたか?

|