Robots.txt Generator
Gerador
Monta um arquivo robots.txt a partir de regras informadas.
Presets
Defina ao menos uma regra Allow ou Disallow.
Como usar
- Comece por um preset ou preencha as regras.
- Confira a validação dos caminhos.
- Copie ou baixe o robots.txt.
Como funciona
O arquivo agrupa as diretivas sob o User-agent informado; Allow e Disallow recebem um caminho por linha.
Disallow vazio significa permitir tudo; Disallow: / bloqueia todo o site. Os presets aplicam esses dois casos.
Crawl-delay não é suportado pelo Google, mas outros indexadores o respeitam.
Segurança e privacidade
- Processado apenas no seu navegador; nada é enviado a servidores.
- robots.txt é público e não é mecanismo de segurança: não o use para esconder áreas sensíveis.
Perguntas frequentes
robots.txt impede o acesso a uma página?
Não. Ele apenas orienta crawlers bem-comportados. Para restringir acesso use autenticação; para remover da busca, noindex.
Onde publicar o arquivo?
Na raiz do domínio: https://seusite.com/robots.txt.