Довольно часто многие веб мастера задаются вопросом про то, как найти дубликаты страниц на сайте. Ведь поисковые системы как Google, Яндекс и Bing жестко реагируют на дубликаты контента, и могут понизить сайт в результатах поиска.

Поисковая система Google в 2011 году выпустила алгоритм Google Panda, который отвечает за контент на сайте, и в случае если сайт попадет под этот фильтр, то он может сильно потерять поисковый трафик на сайт.
Для начала читаем статью: внутренняя оптимизация сайта
В ней описаны основные моменты, которые стоит оптимизировать при продвижении сайта, в том числе и обратить внимание на дублирующийся контент на сайте.
На дубликаты страниц больше реагирует Гугл, для Яндекса это важно, но не критично.
Дубликаты страниц могут быть полными и не полными:
Полный дубль страницы – это страницы на сайте или блоге, которые содержат полностью одинаковый контент, но имеют различные адрес страниц (URL).
Не полный дубликат страницы – это страницы на сайте или блоге, которые содержат много одинакового контента, но они не полностью одинаковые, а так же имею отдельные адреса страниц.
Методы поиска дублей страниц
1. Google Webmaster Tools
Заходим в Google Webmaster Tools, дальше раздел оптимизация, и нажимаем на оптимизация HTML.

Мы сможем увидеть количество повторяющихся мета описаний на сайте, а так же title (тег который очень важный при продвижении).
Дальше нажимаем на повторяющиеся страницы, смотрим, что и как, и прописываем уникальные title на них.
Как мы видим на картинке, одинаковые title у страницы услуги по аналитике, и раздела на блоге про аналитику.
2. Поисковая строка в Google
С помощью поисковой строки можно посмотреть дубли страниц, для этого необходимо использовать следующую команду:
site:moisait.com -site:moisait.com/&
В таком случае:
site:moisait.com – показывает общего индекса в Google
site:moisait.com/&- показывает страницы основного индекса в Google
С помощью данной команды можно определить частичные дубли, а так же малоинформативные страницы, которые могут мешать основным страницам, ранжироваться лучше в поиске.
Для примера смотрим такое:

Так же в Google можно использовать фрагмент текста, например:

Фрагмент может быть из пару переложений и более, или пару ключевых слов как в примере.
3. Расширенный поиск в Яндексе
В Яндексе можно использовать расширенный поиск, и искать дубликаты страниц по заданному сайту, например:

Можно использовать нужные фрагменты текста или ключевые слова и находить дубликаты страницы.
4. Xenu
Это бесплатная программа для внутренней оптимизации и внутренней перелинковки.
Читаем статью: внутренняя перелинковка сайта
Программа сканирует все страницы и файлы на сайте, выдает битые ссылки, а так же дубликаты страниц, например:

Дубли страниц плохо влияют на seo продвижение сайта, их нужно выявить, устранить или закрыть.
Следующая статья про то, как убрать или закрыть дубликаты страниц на сайте.