Colección de Robots.txt

El uso del archivo robot.txt, sirve para guiar a los robots sobre lo que puedan o no hacer dentro de tu sitio. Si tu sitio tiene páginas o directorios que no quieres que sean indexados por los motores de búsqueda, deberás incluirlos en el archivo robots.txt.

¿Se han preguntado que contiene el archivo robot.txt de los blogs más importantes y con más presencia de toda la blogósfera?, pues Daily Blog Tips hace una Recopilación de archivos robot.txt de los blogs y sitios más importantes de internet, cómo: ProBlogger, TechCrunch, John Chow, entre otros, y los divide en: minimalista, estructurados, convencional y algunos Bonus.

Y bueno, como Bonus de mi parte, para las personas que no tienen ni idea de lo que es y hace el archivo robot.txt, les dejo un enlace con un FAQ sobre robot.txt

Guardado en SEO