Estava procurando algumas informações sobre o arquivo robots.txt, que serve para você controlar o acesso que os robôs dos mecanismos de busca têm a seu site - indicando assim o que eles devem ou não indexar - e sem querer encontrei o robots.txt da Casa Branca, do governo dos Estados Unidos da América.
Alguém com mais tempo talvez encontre alguma coisa interessante por ali.
Não deve ser importante. Apenas achei curioso e que aqueles que já tem um pouco mais de conhecimento sobre o uso do robots.txt para melhorar os resultados do blog nas pesquisas gostariam de dar uma boa olhada.
Atualização: o robots.txt do Governo Brasileiro e o da presidência do Brasil
Atualização 2: veja também o robots.txt do site Governo Americano (só para ficar claro, o site da Casa Branca é uma coisa e o do do governo é outro)
5 comentários ↓
Bloquearam praticamente tudo.
E também não sabem usar os *’s. Várias linhas poderiam ter sido suprimidas se eles tivessem usado o ‘coringa’ para bloquear diretório e subdiretórios inteiros.
E você viu a do governo brasileiro? Está tudo bloqueado para indexação… no entanto, ainda assim, se você procurar o site está indexado… curioso.
Que medo do Google hein…
Acho que é mais uma estratégia para não ter conteúdo duplamente indexado ou algo assim, Diego…
Deixe um comentário