Mixiのロボ拒否 - 適宜覚書-Fragments

Mixiのロボ拒否

   

http://mixi.jp/のrobots.txtは閲覧可能。んー。その内見えなくするだろうけど、何と言うか素直すぎるし脇が甘過ぎな感じ。何を守りたいか丸見えだから、robots.txtの言うこときかない行儀悪いクローラならガリガリ狙い撃ちするのでは?

いちいち実行ファイル指定じゃなくてフォルダ指定にすればいいんじゃないかな?

適宜覚書-Fragmentsは、筆者が興味をもった様々な情報やネタを筆者が忘れても後で思い出せるよう覚書として公開するBlogです。Google Chrome拡張、Facebook、Google、Twitter、Windows、各種Webアプリなどを扱うことが多いです。この覚書が、もし何かお役立ちになれば幸いです。

No tags for this post.

 - 覚書