robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.txtの設置方法は簡単です。よほど特殊な事情がない限り、「ここにアクセスしないでね」という記述方法だけを覚えておけば十分です。細かく書いたからといって、SEO上、有利、不利になるようなことはないので安心して下さい。強いて言うなら、細かく書き過ぎて間違った制御をした場合に不利になります。
robots.txtによりURLが制限されています 前回、sitemap.xmlを作成するGoogle XML Sitemapsの設定 でsitemap.xmlを自動作成＆検索エンジンへの通知をするように設定しました。 また、Wordpressの設定で「検索エンジンがサイトをインデックスしないようにする」のチェックを外しました。 そして、１番最初だけグーグルウェブマスターツールからsitemap.xmlを手動で送信しておこうと思い、送信してみたのです。 すると・・・ 説明 「サイトマップにアクセスしようとした際にエラーが発生しました。サイトマップがガイドラインに従っており、指定した場所からアクセスできることを確認してから、再送信してください。」 例 robots.txt により URL が制限されています ということなので、「robots.txt が重要なページをブロックしているかどうかを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
