it-swarm.dev

È possibile usare un url relativo alla sitemap in un file robots.txt?

In robots.txt posso scrivere il seguente URL relativo per il file Sitemap?

sitemap: /sitemap.ashx

O devo usare l'URL completo (assoluto) per il file Sitemap, come:

sitemap: http://subdomain.domain.com/sitemap.ashx

Perché mi chiedo:

  • Possiedo un nuovo servizio blog, www.domain.com, che consente agli utenti di blog su accountname.domain.com.
  • Uso i caratteri jolly, quindi tutti i sottodomini (account) indicano: "blog.domain.com".

In blog.domain.com ho messo il file robots.txt per consentire ai motori di ricerca di trovare la sitemap. Ma, a causa dei caratteri jolly, tutti gli account utente condividono lo stesso file robots.txt. Ecco perché non posso usare la seconda alternativa. E per ora non posso usare url rewrite per i file txt. (Suppongo che le versioni successive di IIS possano gestirlo?)

177
Easyrider

Secondo la documentazione ufficiale su sitemaps.org deve essere un URL completo:

Puoi specificare la posizione della Sitemap utilizzando un file robots.txt. Per fare ciò, aggiungi semplicemente la seguente riga che include l'URL completo alla mappa del sito:

Sitemap: http://www.example.com/sitemap.xml
304
unor

I crawler di Google non sono abbastanza intelligenti, non possono eseguire la scansione degli URL relativi, motivo per cui è sempre consigliabile utilizzare URL assoluti per una migliore capacità di indicizzazione e indicizzazione.

Pertanto, non è possibile utilizzare questa variazione

> sitemap: /sitemap.xml

La sintassi consigliata è

Sitemap: https://www.yourdomain.com/sitemap.xml

Nota:

  • Non dimenticare di utilizzare la prima lettera in maiuscolo in "sitemap"
  • Non dimenticare di mettere lo spazio dopo "Sitemap:"
2
Deepak Mathur