Blog do Google traz série sobre como controlar o acesso e indexação do seu site no buscador

No blog do Google tem uma serie de post sobre The Robots Exclusion Protocol .
O primeiro post da série recebeu o titulo de "Controlling how Search Engines Acess" dá dicas de como implementar o arquivo robot.txt e rotots meta tag para avisar o buscador que você não deseja que sua página seja indexada no banco de dados.

O segundo é "The Robots Exclusion Protocol" traz mais detalhes e exemplos dos mecanismos de de controle de acesso e indexação no seu site pelo Google.

A série é bem legal e vale a pena ser lida.
;)