it-swarm.dev

Czy w pliku robots.txt można użyć względnego adresu URL mapy witryny?

Czy w pliku robots.txt mogę napisać następujący względny adres URL pliku mapy witryny?

sitemap: /sitemap.ashx

Czy też muszę użyć pełnego (bezwzględnego) adresu URL pliku mapy witryny, na przykład:

sitemap: http://subdomain.domain.com/sitemap.ashx

Dlaczego zastanawiam się:

  • Posiadam nową usługę blogową, www.domain.com, która pozwala użytkownikom na blogowanie na accountname.domain.com.
  • Używam symboli wieloznacznych, więc wszystkie subdomeny (konta) wskazują na: „blog.domain.com”.

W blog.domain.com umieściłem plik robots.txt, aby umożliwić wyszukiwarkom znalezienie mapy witryny. Jednak ze względu na symbole wieloznaczne wszystkie konta użytkowników korzystają z tego samego pliku robots.txt, dlatego nie mogę użyć drugiej alternatywy. I na razie nie mogę używać przepisywania adresów URL dla plików TXT. (Myślę, że późniejsze wersje IIS sobie z tym poradzi?)

179
Easyrider

Według oficjalnej dokumentacja sitemaps.org musi to być pełny adres URL:

Możesz określić lokalizację mapy witryny za pomocą pliku robots.txt. Aby to zrobić, po prostu dodaj następujący wiersz zawierający pełny adres URL do mapy witryny:

Sitemap: http://www.example.com/sitemap.xml
305
unor

Przeszukiwacze Google nie są wystarczająco inteligentne, nie mogą indeksować względnych adresów URL, dlatego zawsze zaleca się stosowanie bezwzględnych adresów URL w celu lepszej indeksowalności i możliwości indeksowania.

Dlatego nie możesz użyć tej odmiany

> sitemap: /sitemap.xml

Zalecana składnia to

Sitemap: https://www.yourdomain.com/sitemap.xml

Uwaga:

  • Nie zapomnij napisać wielką literą w „mapie witryny”
  • Nie zapomnij wstawić spacji po „Sitemap:”
2
Deepak Mathur