Comments on: Curiosidade: robots.txt da Casa Branca

By: Alessandro Martins

Alessandro Martins — Mon, 24 Mar 2008 11:34:59 +0000

Acho que é mais uma estratégia para não ter conteúdo duplamente indexado ou algo assim, Diego…

By: Diego

Diego — Thu, 20 Mar 2008 18:45:51 +0000

Que medo do Google hein…

By: Alessandro Martins

Alessandro Martins — Tue, 18 Mar 2008 15:06:43 +0000

E você viu a do governo brasileiro? Está tudo bloqueado para indexação… no entanto, ainda assim, se você procurar o site está indexado… curioso.

By: Thássius V'

Thássius V' — Tue, 18 Mar 2008 15:02:27 +0000

E também não sabem usar os *’s. Várias linhas poderiam ter sido suprimidas se eles tivessem usado o ‘coringa’ para bloquear diretório e subdiretórios inteiros.

By: Thássius V'

Thássius V' — Tue, 18 Mar 2008 15:01:08 +0000

Bloquearam praticamente tudo.