Si usas WordPress y sigues el blog, no hace falta decir que te explique lo malo que es el contenido duplicado para nuestra web. Ayer me encontré con este robots.txt en AskApache que la verdad esta muy bien logrado para evitar el contenido duplicado.
Aquí lo tienes:
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / # digg mirror User-agent: duggmirror Disallow: /
Ah, que no sabes lo que es el contenido duplicado? Seguro que aquí lo entiendes.