Cómo redactar y enviar un archivo robots.txt
Resumen rápido Un archivo robots.txt indica a los motores de búsqueda qué páginas pueden y no pueden rastrear. Se coloca en la carpeta raíz del sitio y sigue reglas sencillas. Crear, subir y comprobar el archivo en Google Search Console ayuda a optimizar el rastreo, proteger contenido sensible y evitar que páginas innecesarias aparezcan en resultados. Esta guía explica paso a paso cómo crear, configurar, probar y enviar robots.txt para mejorar el SEO.
Directrices básicas para crear robots.txt Un archivo robots.txt es un documento de texto plano que guía a los bots de búsqueda. Es esencial para bloquear paneles de administración y páginas de login, evitar el rastreo de páginas duplicadas o irrelevantes y dirigir a los bots hacia el contenido importante. Reglas clave: solo puede haber un archivo robots.txt por dominio, debe colocarse en la carpeta principal del dominio, guardarlo como robots.txt en minúsculas, seguir el Robots Exclusion Protocol, las reglas son sensibles a mayúsculas y minúsculas y debe estar accesible en https://tudominio.com/robots.txt
Cómo crear el archivo Usa un editor de texto simple como Notepad en Windows o TextEdit en Mac en modo texto plano. Evita procesadores que agreguen formato invisible. Guarda con codificación UTF-8 y nombra el archivo robots.txt. Ejemplo de contenido básico: User-agent: * Disallow: /admin/ Allow: / Sitemap: https://www.tudominio.com/sitemap.xml Esto bloquea a todos los rastreadores de la carpeta /admin/ mientras permite el resto y apunta al sitemap para facilitar la indexación.
Cómo escribir las reglas Directivas principales: User-agent define a qué bot se aplica la regla, por ejemplo User-agent: Googlebot o User-agent: * para todos los rastreadores. Disallow bloquea el acceso a una página o directorio, por ejemplo Disallow: /checkout/ Disallow: /search/ Allow permite excepciones dentro de un directorio bloqueado, por ejemplo Allow: /search/results/ Sitemap apunta al sitemap en XML para que los bots lo encuentren. Wildcards útiles: el asterisco * coincide con cualquier secuencia de caracteres y el signo de dólar $ indica el final de la URL. Ejemplo para bloquear PDFs: Disallow: /*.pdf$
Ejemplos prácticos Bloquear todos los rastreadores: User-agent: * Disallow: / Bloquear un directorio: User-agent: * Disallow: /private/ Disallow: /admin/ Bloquear una página concreta: User-agent: * Disallow: /confirmation.html Permitir solo a Googlebot: User-agent: Googlebot Allow: / User-agent: * Disallow: / Bloquear archivos PDF: User-agent: * Disallow: /*.pdf$ Permitir todo excepto a un bot malo: User-agent: BadBot Disallow: / User-agent: * Allow: / Incluir sitemap: Sitemap: https://www.tudominio.com/sitemap.xml
Subida del archivo Coloca robots.txt en la carpeta raíz del dominio para que sea accesible en https://example.com/robots.txt. En plataformas alojadas busca la sección de SEO para subir o editar robots.txt. En frameworks como Next.js pon robots.txt en la carpeta public para que se sirva desde la raíz.
Prueba del archivo Paso 1 visita https://tudominio.com/robots.txt en un navegador para comprobar acceso público. Paso 2 usa Google Search Console y la herramienta robots.txt Tester para detectar errores de sintaxis. Google proporciona además un parser open source para pruebas avanzadas. Asegúrate de que las reglas no bloqueen recursos críticos como CSS o JS que afecten al renderizado y al indexado.
Enviar a Google Google suele descubrir robots.txt automáticamente, pero puedes forzar la revisión y acelerar la aplicación de cambios iniciando sesión en Google Search Console, abriendo robots.txt Tester y haciendo clic en Submit o probar la URL con la herramienta de inspección de URL para ver cómo Google ve la página.
Buenas prácticas SEO Usa robots.txt para optimizar el presupuesto de rastreo bloqueando páginas irrelevantes, contenido duplicado o parámetros de búsqueda. No uses robots.txt para ocultar contenido que debe desaparecer de los resultados; para ello emplea meta robots noindex o encabezados X-Robots-Tag. Mantén una copia de seguridad de versiones del archivo y documenta cambios importantes cuando modifiques la estructura del sitio o los sitemaps.
Errores comunes 1 bloquear por error recursos esenciales como CSS y JS que impiden el renderizado 2 confiar en robots.txt para ocultar contenido sensible en vez de protegerlo con autenticación 3 usar múltiples archivos o ubicarlos en subcarpetas 4 olvidar actualizar la ruta del sitemap si cambia
Preguntas frecuentes Qué hace robots.txt Esto indica a los bots qué pueden y qué no pueden rastrear. Oculta mis páginas de Google Si solo usas robots.txt las páginas bloqueadas pueden seguir apareciendo en resultados si otros sitios enlazan a ellas. Para eliminación completa usa noindex. Puedo bloquear scrapers y bots de IA Sí, bloqueando sus user agents en robots.txt, aunque no es una medida infalible. Qué pasa si no tengo robots.txt Los bots asumirán que pueden rastrear todo. Con qué frecuencia actualizarlo Actualiza cuando cambie la estructura del sitio o al añadir o eliminar sitemaps.
Sobre Q2BSTUDIO Q2BSTUDIO es una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones tecnológicas avanzadas. Ofrecemos software a medida, aplicaciones a medida, servicios de inteligencia artificial y soluciones de ciberseguridad para empresas de todos los tamaños. Además proporcionamos servicios cloud aws y azure, servicios inteligencia de negocio y consultoría en power bi. Nuestro equipo desarrolla agentes IA y proyectos de ia para empresas que integran modelos de lenguaje y automatización segura. Si necesitas optimizar el rastreo de tu web, mejorar la seguridad de servicios cloud aws y azure o construir una plataforma con inteligencia artificial y power bi, Q2BSTUDIO puede encargarse del diseño, desarrollo y mantenimiento.
Cómo Q2BSTUDIO puede ayudar Auditamos la configuración de robots.txt como parte de una revisión técnica completa. Creamos, probamos y mantenemos archivos robots.txt alineados con estrategias SEO, desarrollamos software a medida que respeta reglas de indexación y ofrecemos implementación segura en servicios cloud aws y azure. También desplegamos soluciones de inteligencia artificial y agentes IA para automatizar tareas y extraer inteligencia de negocio con visualizaciones en power bi. Nuestra oferta incluye ciberseguridad para proteger datos y accesos, garantizando cumplimiento y control sobre lo que los motores de búsqueda pueden ver.
Conclusiones Un robots.txt bien diseñado guía a los rastreadores, protege áreas sensibles, mejora el foco de indexación y ahorra presupuesto de rastreo. Integra robots.txt con noindex, sitemaps y una estrategia técnica SEO completa. Si quieres que tu sitio web y tus aplicaciones a medida funcionen con máxima eficiencia y seguridad, contacta con Q2BSTUDIO para una consultoría que combine software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi.