it-swarm.dev

robots.txt não está atualizando

Hoje, recebi um e-mail das Ferramentas do Google para webmasters informando que "o Googlebot não pode acessar arquivos CSS e JS". Então comecei a atualizar meu arquivo robots.txt localizado na raiz do meu servidor.

Conteúdos Originais:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml

Eu removi a linha "Disallow:/wp-content/themes /" do arquivo e re-upload do arquivo, mas quando eu vi o novo arquivo no meu navegador, nada tinha mudado então eu fiz o seguinte:

1) Excluiu o arquivo .txt da raiz

2) cache limpo (cache total W3)

Mas ainda assim, o robots.txt estava visível no meu navegador. Isso só poderia significar uma coisa, que o arquivo estava sendo virtualmente gerado, certo? Eu até visualizei em um navegador diferente para garantir que nenhum cache estava ocorrendo.

Depois de muita pesquisa, não encontrei resposta sobre por que meu robots.txt não é atualizado ou de onde está sendo gerado?

Alguém aqui tem alguma idéia sobre o que está acontecendo?

Alguns plugins que eu uso:

1) Better WordPress Google XML Sitemaps
2) W3 Total Cache
3) Yoast SEO

Qualquer ajuda seria muito apreciada, obrigado.

1
user1356029

Normalmente, se houver um arquivo do WordPress no disco, ele será exibido primeiro diretamente pelo Apache ou Nginx, antes que o WordPress seja envolvido.

Isso é feito na sua configuração virtualhost, por exemplo No Nginx, você normalmente encontrará o seguinte, que o instrui a testar os arquivos reais antes de permitir que o index.php manipule o URL e gere uma página sob demanda.

location / {
    index index.php index.html;
    try_files $uri $uri/ /index.php?$args;
}

Portanto, se o seu robots.txt estiver sendo ignorado, você pode ter algo errado com a configuração do seu servidor da web.

Eu apenas tentei aqueles três plugins que você mencionou com o tema do vigésimo quinto e tudo estava funcionando bem. O Yoast SEO permite que você edite o arquivo robots.txt a partir das páginas de administração (vá para SEO> Ferramentas> Editor de arquivos).

Se não houver nenhum arquivo robots.txt encontrado, ou se o controle tiver sido passado para o WordPress, a saída padrão será:

User-agent: *
Disallow: /wp-admin/

Veja wp-includes/functions.php para ver como isso funciona, mas nunca edite arquivos principais.

Isso pode ser personalizado com ações e filtros - por exemplo, o plug-in Sitemaps do BWP adiciona uma linha Sitemap:.

Se você não consegue encontrar um plugin (ou qualquer coisa no seu tema) que esteja conectando em do_robots ou do_robotstxt, este é um hack para o arquivo functions.php do seu tema que provavelmente fará o trabalho:

/**
 * Remove unwanted 'themes' from robots.txt with find/replace
 * @param string $input original robots.txt content
 *
 * @return string mixed
 */
function patch_robots_file( $input ) {
    return str_replace( 'Disallow: /wp-content/themes/', '', $input );
}

add_filter( 'robots_txt', 'patch_robots_file' );
1
William Turrell