84 lines
1.4 KiB
Plaintext
84 lines
1.4 KiB
Plaintext
# robots.txt para JobMaker - Consultoria RAG e IA
|
|
# https://jobmaker.com.br/robots.txt
|
|
|
|
# Permitir todos os bots de busca nas páginas principais
|
|
User-agent: *
|
|
Allow: /
|
|
Allow: /en/
|
|
|
|
# Permitir assets importantes para SEO
|
|
Allow: /css/
|
|
Allow: /js/
|
|
Allow: /assets/
|
|
Allow: /*.css$
|
|
Allow: /*.js$
|
|
Allow: /*.png$
|
|
Allow: /*.jpg$
|
|
Allow: /*.jpeg$
|
|
Allow: /*.gif$
|
|
Allow: /*.svg$
|
|
Allow: /*.ico$
|
|
Allow: /*.woff$
|
|
Allow: /*.woff2$
|
|
|
|
# Bloquear arquivos sensíveis/administrativos
|
|
Disallow: /*.log$
|
|
Disallow: /logs/
|
|
Disallow: /tmp/
|
|
Disallow: /.git/
|
|
Disallow: /.env
|
|
Disallow: /docker-compose.yml
|
|
Disallow: /Dockerfile
|
|
Disallow: /*.sh$
|
|
|
|
# Bloquear possíveis páginas de erro ou teste
|
|
Disallow: /error/
|
|
Disallow: /test/
|
|
Disallow: /dev/
|
|
Disallow: /*?test=*
|
|
Disallow: /*?debug=*
|
|
|
|
# Configurações específicas para bots importantes
|
|
|
|
# Google
|
|
User-agent: Googlebot
|
|
Allow: /
|
|
Allow: /en/
|
|
Crawl-delay: 1
|
|
|
|
# Bing
|
|
User-agent: Bingbot
|
|
Allow: /
|
|
Allow: /en/
|
|
Crawl-delay: 2
|
|
|
|
# LinkedIn (importante para perfil profissional)
|
|
User-agent: LinkedInBot
|
|
Allow: /
|
|
Allow: /en/
|
|
|
|
# WhatsApp (para preview de links)
|
|
User-agent: WhatsApp
|
|
Allow: /
|
|
Allow: /en/
|
|
|
|
# Bloquear bots maliciosos conhecidos
|
|
User-agent: AhrefsBot
|
|
Disallow: /
|
|
|
|
User-agent: MJ12bot
|
|
Disallow: /
|
|
|
|
User-agent: DotBot
|
|
Disallow: /
|
|
|
|
User-agent: SemrushBot
|
|
Disallow: /
|
|
|
|
# Localização do Sitemap
|
|
Sitemap: https://jobmaker.com.br/sitemap.xml
|
|
|
|
# Informações de contato (opcional)
|
|
Website: https://jobmaker.com.br
|
|
Contact: ricardo.carneiro@jobmaker.com.br
|