it-swarm.dev

Um URL de sitemap relativo pode ser usado em um robots.txt?

No robots.txt eu posso escrever o seguinte URL relativo para o arquivo do sitemap?

sitemap: /sitemap.ashx

Ou eu tenho que usar o URL completo (absoluto) para o arquivo de sitemap, como:

sitemap: http://subdomain.domain.com/sitemap.ashx

Por que eu me pergunto:

  • Eu possuo um novo serviço de blog, www.domain.com, que permite aos usuários blogarem em accountname.domain.com.
  • Eu uso curingas, então todos os subdomínios (contas) apontam para: "blog.domain.com".

Em blog.domain.com, coloco o robots.txt para permitir que os mecanismos de pesquisa encontrem o sitemap. Mas, devido aos curingas, todas as contas de usuário compartilham o mesmo arquivo robots.txt. É por isso que não posso usar a segunda alternativa. E por enquanto não consigo usar a reescrita de url para arquivos txt. (Eu acho que as versões posteriores de IIS podem lidar com isso?)

177
Easyrider

De acordo com o funcionário documentação no sitemaps.org ele precisa ser um URL completo:

Você pode especificar o local do Sitemap usando um arquivo robots.txt. Para fazer isso, basta adicionar a seguinte linha, incluindo o URL completo ao sitemap:

Sitemap: http://www.example.com/sitemap.xml
304
unor

Os rastreadores do Google não são inteligentes o suficiente, não podem rastrear URLs relativos. Por isso, é sempre recomendado usar URLs absolutos para melhor rastreabilidade e indexabilidade.

Portanto, você não pode usar essa variação

> sitemap: /sitemap.xml

A sintaxe recomendada é

Sitemap: https://www.yourdomain.com/sitemap.xml

Nota:

  • Não se esqueça de capitalizar a primeira letra no "sitemap"
  • Não se esqueça de colocar espaço depois de "Sitemap:"
2
Deepak Mathur