robots.txtについて

 ホームページのディレクトリにrobots.txtを置くことによって、「どういう情報を提供したいか」また、「どのような情報は検索しないでほしいか」といったSEO対策をすることができる。

参考リンク