Hoy te quiero hablar de uno de los fundamentos del SEO: el rastreo. Aunque más que del rastreo de lo que te quiero hablar es del archivo robots.txt.
El archivo robots.txt es un documento de texto plano que se incluyo en la raíz del dominio en el que se establecen una serie de reglas orientadas a los rastreadores de los buscadores.
El archivo robots txt solo entiende 4 directivas: User-agent, disallow, allow y sitemap (y éste último no es obligatorio)
Es importante hacer este ejercicio de mejorar el robots.txt porque no todas las páginas de nuestra web es preciso que sean rastreadas.
En este vídeo te cuento una forma en la que lo hago para que puedas replicarlo. Las herramientas que he usado son:
👉Bloc de notas
👉Google Search Console
👉Google Analytics
👉Probador de robots.txt