robots.txt para WordPress: configuração ideal para SEO
WordPress é a plataforma que roda mais de 40% dos sites na web, e muitos desses sites têm configurações de robots.txt subótimas que desperdiçam crawl budget ou expõem áreas desnecessárias ao Googlebot. Uma configuração bem pensada do robots.txt para WordPress bloqueia arquivos e páginas que não contribuem para o SEO, protege a área administrativa e aponta para o sitemap XML gerado por plugins como Yoast ou Rank Math. O Gerador de Robots.txt da WikiPlus cria um arquivo otimizado para WordPress que você implementa em minutos.
O robots.txt padrão do WordPress e suas limitações
Por padrão, o WordPress não cria um arquivo robots.txt estático — em vez disso, gera um robots.txt virtual dinamicamente via PHP quando /robots.txt é acessado. O arquivo padrão gerado pelo WordPress bloqueia apenas /wp-admin/ e permite tudo o mais. Essa configuração básica tem várias limitações: não bloqueia URLs de paginação de autores (/author/nome/?paged=N) que criam conteúdo duplicado. Não bloqueia parâmetros de query desnecessários. Não inclui a localização do sitemap. Não bloqueia arquivos de plugins que não precisam ser indexados. Plugins de SEO como Yoast e Rank Math melhoram o robots.txt gerado automaticamente, mas criar um arquivo estático personalizado usando o Gerador de Robots.txt da WikiPlus dá controle total e elimina a dependência do PHP para servir este arquivo crítico.
Configuração de robots.txt otimizada para WordPress
Um robots.txt bem configurado para WordPress inclui: bloqueio da área administrativa com Disallow: /wp-admin/ e Allow: /wp-admin/admin-ajax.php (necessário para funcionalidades AJAX de front-end). Bloqueio de URLs de busca interna: Disallow: /?s=. Bloqueio de páginas de paginação de tags quando há muitas tags com poucos posts: Disallow: /tag/*/?paged=. Bloqueio de feeds RSS se você não usa distribuição via RSS como estratégia: Disallow: /feed/. Bloqueio de URLs de trackback: Disallow: /*/trackback/. Bloqueio de WP-content de plugins específicos: Disallow: /wp-content/plugins/ apenas se não há CSS/JS servido diretamente dessas pastas. Inclusão do sitemap: Sitemap: https://seusite.com/sitemap_index.xml (URL gerada pelo Yoast). O Gerador de Robots.txt da WikiPlus cria esse arquivo com a sintaxe correta que você coloca diretamente na raiz do seu WordPress.
Como implementar o robots.txt personalizado no WordPress
Existem três formas de implementar um robots.txt personalizado no WordPress. Via plugin: Yoast SEO > Ferramentas > Editor de robots.txt permite editar o arquivo diretamente pelo painel. Rank Math > SEO > Geral > robots.txt tem um editor similar. Essa é a forma mais simples. Via FTP/cPanel: crie um arquivo robots.txt na raiz do servidor (onde fica o wp-config.php) e faça upload via FTP ou o gerenciador de arquivos do cPanel. Se o arquivo já existir, o novo substitui o virtual gerado pelo WordPress. Via servidor web: configure o servidor (nginx ou Apache) para servir um arquivo estático em /robots.txt em vez do gerado pelo PHP — opção mais eficiente para sites de alto tráfego. Use o Gerador de Robots.txt da WikiPlus para criar o conteúdo do arquivo, depois implemente pelo método mais conveniente para seu setup.
Monitorando o crawl budget no WordPress com Search Console
Após configurar o robots.txt otimizado, monitore o impacto no Google Search Console. Nas Configurações > Relatório de Rastreamento, veja quantas URLs o Google está rastreando por dia e quais tipos de conteúdo. Se o número de URLs rastreadas cair drasticamente após a configuração do robots.txt, verifique se não bloqueou acidentalmente conteúdo importante. O Relatório de Cobertura mostra páginas com erro de rastreamento ou não indexadas — 'Bloqueada por robots.txt' indica regras muito restritivas. Para sites WordPress de médio a grande porte, uma análise do crawl log (logs de servidor filtrados pelo user-agent do Googlebot) revela exatamente quais URLs o Google está rastreando com mais frequência, ajudando a refinar as regras do robots.txt para maximizar o rastreamento de conteúdo de valor.
Perguntas frequentes
- Posso ter um robots.txt diferente para Googlebot e Bingbot?
- Sim. Use múltiplos blocos User-agent: User-agent: Googlebot com suas regras, depois User-agent: Bingbot com regras diferentes. Cada bloco aplica-se apenas ao bot especificado. User-agent: * aplica-se a todos os bots que não têm regras específicas definidas.
- WordPress cria um robots.txt automático — devo substituí-lo?
- Sim, é recomendado. O robots.txt automático do WordPress é básico demais para SEO otimizado. Crie um arquivo robots.txt personalizado usando o Gerador da WikiPlus e coloque na raiz do servidor — o WordPress usa o arquivo estático quando presente, ignorando o gerado pelo PHP.
- Devo bloquear /wp-content/uploads/ no robots.txt?
- Não. O diretório de uploads contém imagens e arquivos de mídia que podem ser indexados (Google Images) e servem como conteúdo de backlink. Bloquear /wp-content/uploads/ impede que o Google indexe imagens do site. Se há arquivos privados na pasta de uploads, proteja-os com autenticação ou mova-os para fora da raiz web.