Дубликаты страниц на сайте негативно влияют на продвижение сайтов в поисковых системах. Поэтому их нужно находить, а дальше устранять или закрывать от индексации.

Для начала читаем статью: как найти дубликаты страниц на сайте
В статье рассмотрены основные способы, с помощью которых можно найти дубли страниц, как полные так и не полные дубликаты.
В данной статье мы детально рассмотрим, как же можно закрыть дубли страниц от индексации или их устранить.
В статье мы рассмотрим:

А теперь по каждому моменту детально:
1. Rel «canonical»
Для начала нужно разобраться, что такое каноническая страница – это рекомендуемый экземпляр из набора страниц с практически походим содержанием.
С помощью тега rel «canonical» можно закрыть дубликаты страниц и практика показывает, что в последнее время все больше seo оптимизаторов применяют тег на крупных сайтах.
Детальнее об атрибуте rel canonical читаем тут: http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=139394
Для того что бы грамотно его прописать в коде, читаем инструкции, которые можно посмотреть по ссылке выше.
2. Robots.txt
В статье про внутреннюю оптимизацию сайта рассказывается про robots.txt. С его помощью можно закрыть дублирующий контент от индексации.
Необходимо использовать директиву disallow, и указывать какие типы страниц или разделов не нужно индексировать, чтобы их не обходил поисковый бот.
Детальнее про то, как закрывать от индексации в robots.txt читаем тут:
http://help.yandex.ru/webmaster/?id=996567#996571
http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449
С помощью robots закрывают страницы от индексации чаще всего, так как это удобнее и привычнее многим вебмастерам, но опять же всегда зависит от ситуации.
3. 301 редирект
С помощью 301-го редиректа можно склеить похожие страницы, например:
https://seoprofy.ua/
http://www.seoprofy.ua/
Идентичные страницы, и это плохо для продвижения, нужно оставить какой-то один вариант, а второй, чтобы перенаправлялся на тот, что мы выбрали.
Это частая ошибка на многих сайтах, на которую не обращают внимание, а такой дубль влияет на ранжирование сайта.
Многие системы управления сайтом сразу учитывают этот момент, но не все, и поэтому если мы обнаружили дубликаты, мы закрываем его с помощью 301-го редиректа, где в файле .htaccess прописываем какие страницы на какие перенаправлять.
Статья в тему: 301 редирект — самое полное руководство
4. Ручное удаление страниц
Ручное удаление страниц подходит для небольших сайтов, или для сайтов в которых системы управления имеют нормальные возможности.
Все что нужно сделать найти страницы, и удалить их или через систему управления, или если это статический сайт то через FTP.
Выводы: дубликаты страниц важно закрывать или удалять вовсе, поскольку как уже говорилось в статье про то, как найти дубли, поисковые системы могут наложить санкции на сайт за дублированный контент.
Поэтому находим дубликаты страниц, и закрываем их способами в зависимости от задачи на сайте и будем вам счастье!