Colección de robots.txt

Categorizado en SEO, blogosfera

La buena implementación de el archivo robots.txt es un factor muy importante para el SEO. Hay muchos guías en internet para la creación del archivo, pero si en vez de leer la guía vemos como la implementan las páginas web?

En Daily Blog Tips hicieron una recopílacion de archivos robots.txt basado en blogs y páginas de diferentes tipos, lo que podemos destacar es:

Solamente 2 de 30 páginas no utilizaban el archivo robots.txt
Aunque no tengas ningun requerimiento específico para los bots de los buscadores, deberías utilizar un simple robots.txt
La mayoría de la gente utiliza el comando “User-agent: *” para cubrir a todos los bots
El factor mas deshabilitado son los RSS
Google utiliza una combinación de carpetas privadas y abiertas, lo que significa que quizás traten diferente a los sitios
Una minoría de los sitios incluye la dirección dl sitemap en el archivo robots.txt

Querés ver los resultados y la recopilación de robots.txt? Daily Blog Tips

Y ahora qué hago?