検索エンジンのスパイダーやロボットXiangjie

我々は、検索エンジンは独自の"検索ロボット"（ロボット）が知っていると、ページ上のネットワークリンクに沿って、これらのロボットを介して（通常は、httpおよびリンクSRC）のクロールを続けるデータは独自のデータベースを確立する。サイト管理者やコンテンツプロバイダには、時には、いくつかのサイトのコンテンツになりますしたくない場合は、心配しているオープンロボットにクロールされる。この問題を解決するには、ロボット開発コミュニティの2つのオプション：1つには、robots.txt提供しています、他のロボットのMETAタグです。 1 robots.txt1、何robots.txtのですか？ robots.txtのプレーンテキストファイルは、この文書によるものです