エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント5件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【Crawl-delay】 検索エンジンクローラーの巡回頻度調節 (robots.txt)
検索エンジンの巡回クローラー(ロボット)がウェブ上の情報を収集する際のアクセス頻度(間隔)を指定... 検索エンジンの巡回クローラー(ロボット)がウェブ上の情報を収集する際のアクセス頻度(間隔)を指定できる「Crawl-delay」パラメータ。ロボット制御プロトコルに基づいて、「robots.txt」ファイルにて指定します。各検索エンジンのヘルプページより該当の記述を引用しときます。 まずはYahoo! JAPAN(ヤフー)。下の文章は昔のもので、現在の「Yahoo!検索 インフォセンター」には単位の記述がありません。 検索エンジン用ロボットからのリクエスト数を減らすには (中略) ■リクエスト数を減らすには アクセス間隔によって問題が生じている場合、検索エンジン用ロボットのアクセス間隔の設定 を、サーバーの環境に合わせて設定してください。 「robots.txt」をウェブサーバーに置き、"Crawl-delay: xx"の"xx"を5や20などに調整すると、 アクセス間隔を伸ばせます。 例
2016/10/28 リンク