Si usas WordPress y sigues el blog, no hace falta decir que te explique lo malo que es el contenido duplicado para nuestra web. Ayer me encontré con este robots.txt en AskApache que la verdad esta muy bien logrado para evitar el contenido duplicado.
Aquí lo tienes: