Как нас забанил Google. Но потом помиловал

Как нас забанил Google. Но потом помиловал

SeoProfy
14 марта, 2017

Это статья — история о том, как Google забанил наш сайт по всем запросам, даже брендовым. О том, что делалось в процессе, и мысли почему сайт вернулся.

Как нас забанил Google. Но потом помиловал

Основной фактор возвращения сайта отображает ждун на картинке к посту.

Было ли у вас такое?

Когда сайт пропадает абсолютно по всем поисковым запросам. Даже по названию вашей компании.

Вчера сайт SeoProfy смог на себе ощутить это.

Вылетело все ядро запросов, по которым сайт находился:

Вылетело все ядро запросов, по которым сайт находился

Знаю. Многие пришли в статье найти именно причину

, по которой сайт мог вылететь (это выглядело как будто Google просто выплюнул сайт). Но, про это немного позже.

Хронология событий

В 10 утра случайно заметил, что сайта нет по брендовому запросу.

Вбил запрос «seoprofy», а в выдаче такое:

сайт не находился по брнедовому запросу

Не очень приятно такое наблюдать, но проверив еще через 10-15 компьютеров, было понятно, что это факт.

Единственным способом, по которому можно было найти сайт – это через оператор site:

через оператор site:seoprofy.ua

Ранее мы сталкивались с таким только при бане других сайтов клиентов, которые приходили уже с такой проблемой.

Первое что сделал, пошел в Google Search Console, там пусто:

Google Search Console

Далее начал гуглить информацию связанную с похожим.

С 10:30 до 10:45 просмотрел все возможные варианты новых алгоритмов. Нашел только что то связанное с Google Fred, но как позже оказалось, он связан с рекламой на сайте.

В 10:59 сделал пост в Facebook:

пост в FB

Обычно это самое оперативное место, где много ребят сеошников сразу могут глянуть проблему. Ребят, спасибо за некоторые полезные советы.

11:15 написал всем инженерам из Google, которых я знаю. Описав проблему и в надежде понять причину.

С 11:25 до 12 сам смотрел сайт на предмет разных вариантов того, что может с ним случиться.

А именно:

  • дубли
  • редиректы (мы недавно перешли на https, думал возможно что-то там не так)
  • скрытые ссылки в Disqus
  • проверка на безопасность

В итоге, в 12:56 было отправлено ТЗ программисту оперативно внедрить правки, а именно:

1) Убрать дубли (не понятно, почему они были, но были и это факт)

Такого плана:

https://seoprofy.ua/page/1

https://seoprofy.ua/page/2

https://seoprofy.ua/page/3

По ним показывалась главная страница. По любой странице с цифрами. Задача было сделать чтобы все отдавало 404 ошибку.

2) Убрать плагины

На сайте стоял Social Locker и ряд других плагинов, про которые я прочитал не очень позитивную информацию. Чтобы перестраховаться, их тоже убрали с сайта.

3) Проверить на безопасность

  • пароли
  • плагины
  • версия WordPress
  • на предмет взломов и прочего

4) Поменять sitemap

Ранее стоял sitemap, который был подгружен ручками в 2014 году и с этого момента вообще не обновлялся.

Его поменяли на новый, а так же добавили в Search Console.

5) Проверить все редиректы

Было проверено как вервисом Яндекса, а именно:

Проверить все редиректы

Так и другими сервисами проверки.

В FB писали, что был странный редирект и в этом причина. На самом деле человек проверял в тот момент, когда программист делал правки по 404 ошибке в задаче 1.

Поэтому, показывало 5x редиректов. Это длилось максимум минут 10.

6) Решить проблему с плагином комментирования Disqus

Основная проблема в том, что:

  • при переходе на https
  • многие комментарии не перенеслись
  • то есть, они есть в коде
  • но их нет визуально

Что это означает?

  • скрытые ссылки
  • скрытый текст

Что не очень хорошо для Google.

Задачу решили, комментарии почти обновились и доступны на https.

Как оказалось, такая проблема у большого количества людей, которые перешли на https и пользуются с Disqus.

7) Проверить и поправить

После того, как я написал 7-ой пункт, Женя Бондар, который подкинул эту идею, сильно попросил не палить тему.

Это все что могу запостить:

проверить кое что

Сообщение от Жени, которое даст понять, почему лучше не постить:

сообщение от Жени Бондаря

PS: кстати Женя Бондар выступает на конференции NaZapad 6.

После того, как было отправлено ТЗ и программист начал делать, то примерно в 13:30 мы запустили контекст на бренд. Первый раз такое делаю, если честно.

Примерно через час, когда все было поправлено, сайт был просмотрен как Google Bot:

просмотрен как Google Bot

Так же, параллельно еще обновили Google My Business, и поменяли там урл с http на https.

А дальше оставалось лишь ждать и надеяться. Так как причина на самом деле не понятна.

Как я увидел в комментариях в FB от Сергей Кокшаров позже, то таких проблем в этот день было не мало.

Например, можно посмотреть этот случай.

Важный нюанс, советую поправить всем у кого WordPress

Вот комментарий программиста:

1 — Проанализировав логи сайта — гугл бот заходил на сайт очень часто, падения в заходах не было обнаружено. Логи захода гугла в аттаче.

2 — Так же замечено что гугл бот заходил на

страницы seoprofy.ua/page/1, seoprofy.ua/page/2, seoprofy.ua/page/3 и т.д.

Блог сайта находится на seoprofy.ua/blog, страницы seoprofy.ua/page/2 должны вести на 404 , а отдавали главную страницу сайта…

Причина явилась в плагине который убирает category/ из урлов.

При этом никакой новый плагин, ни хук через functions.php не решал вопроса.
Такое найдено на множестве сайтов WP с плагинами которые убирают category и урл.

Решили эту проблему — добавили проверку — если главная страница и есть пагинация в запросе — то отдавать 404 страницу.

1
2
3
4
5
6
7
8
9
10
11
"
function rr_404_my_event() {
  global $post;
	if((is_front_page())&&(get_query_var('page')!=''))
  {
    include( get_query_template( '404' ) );
    exit; # so that the normal page isn't loaded after the 404 page
  }
}
add_action( 'template_redirect', 'rr_404_my_event', 1 );
"

После этого всего, наблюдал за сайтом до ухода из офиса. Но, никаких изменений не было.

Перед тем, как зайди домой, перед лифтом листал FB, и в комментариях увидел, что сайт попустило и все вернулось обратно.

Проверил все. Действительно так и было.

В заключение

Какие выводы можно сделать из данной ситуации? Самый простой, что абсолютно любой сайт может вылететь и никто от этого вообще не застрахован.

Нужно ли действовать?

Думаю да. Как минимум у нас дошли руки заняться немного своим сайтом и поправить ряд ошибок. Там и сейчас далеко не все так хорошо и есть над чем поработать.

Ну и самое главное. Что повлияло на вылет и на его возвращение? То есть какая все таки причина?

Если честно, то я не знаю. Склоняюсь только к одному, это просто был глюк. А может и нет, кто его знает.

Предлагаю обсудить это в комментариях!

А так же, немного статистики

Позиции вернулись:

позиции вернулись

Брендовые запросы тоже:

Брендовые запросы

Вот такая история. Надеюсь она будет без продолжения.

А вы что думаете, в чем причина? Пишите в комментариях.

PS: спасибо всем френдам в FB за советы, ряд из них действительно пригодились.

Понравилась статья? Получай свежие статьи первым по e-mail

Оцените статью:
совсем плохоплохонормальнохорошокласс (33 оценок, средняя: 4,12 из 5)
Загрузка...
  • Maksim Gordienko

    Самое интересное — огромный совет о том, как можно валить конкурентов 🙂

    • Таки да, но сам гугл умеет такое расшифровывать уже)

      • Mark Etyng

        было бы круто чтобы он расшифровал и пофиксил)

    • Это интрига для привлечения посетителей на конференцию. -))))

  • Tod

    По WP интересно было) но мне кажется проблема не в /category/ а в том, что для главной на сайте задана «фиксированная страница».
    Смотрел сайты — с category все ок, без category — глюки, но только там где главная = page, в противном случае просто показывается архив.

    • Посмотрел — на многих сайтах редиректит, где page и где на page. Похоже дело не в этом.

      • Tod

        возможно, я лишь пару сайтов глянул. если не главная не страница, то у меня просто архив подгружается всех записей.. как в блогах обычных.

        • А должна подгружаться «Nor Found» с кодом 404
          (не главная в виде page и не главная с архивом).

          • Tod

            Ага, согласен.

      • Robert Koval

        Те саме, додав в .htacces:
        RewriteEngine On
        RewriteRule ^page /404 [L,R=301]

  • Михаил Бойченко

    Дубли из-за того, что в индексной есть цикл записей категории «Услуги». Уберите цикл, дубли пропадут. Нагородили костылей.

  • Siergiej Kovalenko

    А можно не совсем по теме, поинтересоваться каким сервисом позиции отслеживаете? 🙂

  • Onis

    Поправили уже ответ сервера? А тоже уже на ТОП сапе троллят вас.

    • Чем подправили ответ сервера?

  • seoprofy — как (чем) поправили ответ сервера?

    • вроде да, нужно спросить прогера

  • Evgeniy Kovalev

    Блин, ну интересно же, что именно в 7 пункте(

  • «Какие выводы можно сделать из данной ситуации?»

    Не паниковать!

  • >11:15 написал всем инженерам из Google, которых я знаю. Описав проблему и в надежде понять причину.
    Виктор, где можно познакомиться с инженерами в сети, чтобы рассказать им о некоторых проблемах?

    • да, было за 2 дня до вылета, но сразу вернулось

  • Димитрий Сергеич

    На скринах с брендовыми запросами видно что до этого сайт не раз падал за топ 100.

    P.S. В этой статье наблюдается хорошая наивная реклама Жени Бондар и конференции)

  • Снежный

    Гугл по страницам с /page/ не с середины февраля начал шерстить? Вряд ли, конечно, но возможно в этом моя вина.

    Попался дроп у которого ссылки были на /page/*, а мой свежезалитый wp превращал их в дубль главной. Вот я и прошелся по парочке сайтов на wp, включая ваш, проверяя это только у меня или у всех. Когда увидел, что у вас такой же глюк, подумал, что ничего страшного значит в этом нет, тем более во всех дублях каноникал был установлен.

  • Вот поэтому на Https переходить неохота. Проблемы уже будут, а польза неизвестна.

  • Что скрыл Женя? Неужели 404е ошибки?

  • Не соглашусь — не стоит All in One SEO Pack, но дубли имеют быть место именно на сайтах где в качестве главной Page.

  • Evgeny

    По поводу добавления цифр в конце url после / в wordpress вопрос небольшой — как вы решили эту проблему для постов?

    Я смотрю у вас на таких страницах стоит canonical и он корректный, по умолчанию в wordpress отдает неверный каноникал. Можете посоветовать решение? Закрывал 301 редиректом, но неудобно — он режет utm-метки, а делать более хитрый редирект муторно.

    • Максим Мирошник

      а не проще просто из кода поста удалять строчку с родным адресом страницы через файл функшионз? шорлинки называется — пример:
      // for shortlink
      remove_action( ‘wp_head’, ‘feed_links_extra’, 3 );
      remove_action( ‘wp_head’, ‘feed_links’, 2 );
      remove_action( ‘wp_head’, ‘rsd_link’ );
      remove_action( ‘wp_head’, ‘wlwmanifest_link’ );
      remove_action( ‘wp_head’, ‘index_rel_link’ );
      remove_action( ‘wp_head’, ‘start_post_rel_link’, 10, 0 );
      remove_action( ‘wp_head’, ‘adjacent_posts_rel_link_wp_head’, 10, 0 );
      remove_action( ‘wp_head’, ‘parent_post_rel_link’, 10, 0 );
      remove_action( ‘wp_head’, ‘wp_shortlink_wp_head’, 10, 0 );

  • Александр Доминантов

    мне кажется здесь дело было в cms по большей степени виновато, т.к. роботам на Disqus по большому счету вообще пофиг.
    А то, что у вас сайт не оптимизирован, я вообще в шоке)) это основы основ, которые делают сразу сеошники.

  • Алексей Лещенко

    С какой целью поставлена ссылка на google? Что бы он подобрел?)

    • Гуглу от этой ссылки не хорошо не плохо))

  • Максим Мирошник

    А зачем такой огромный кодовый костыль с подгрузкой на весь сайт если можно только на конкретных страница/2 страница/3 и тд. отображать в коде

    • Veter_Minus

      Как это сделать? Ведь вп сам генерирует эти страницы.

      • Максим Мирошник

        для меня лишь одна галочка в плагине SEO by Youst — Вам ту же функцию можно заказать у фрилансеров на Коворке что бы написали заплатку и не придется целый плагин ставить (им выдрать функцию отдельно из плагина не проблема)

        • Veter_Minus

          У меня тоже этот плагин стоит. А где там эта настройка, подскажите, пожалуйста.

          • Максим Мирошник

            есть описание настройки на wpnew ru , а вообще Titles & Metas/Other/Subpages of archives-noindex

          • Veter_Minus

            Спасибо! wp-admin/admin.php?page=wpseo_titles#top#other Вот ссылка если кому-то нужно будет.

    • Это решит только noindex, но не решит редирект на главную (что по сути дубли).

      • Максим Мирошник

        Это здесь в статье они зачем то налепили редиректов — неужели не достаточно просто исключить страницу из индекса и не морочить ни себе голову ни поисковику… просто не тулить в нее каноникал с главной — не сложно же?

    • Андрей Загороднев

      В ноиндекс конечно поставить страницы можно. Но бот все равно будет время на них тратить сканируя. А вдруг уже можно добавить в индекс.

      • Максим Мирошник

        Вы абсолютно правы! Это плохо для крупного новостного портала! Всем остальным можно не морочить голову ни себе ни людям и делать как проще.

  • йомс

    Ну да, из-за натива посмотрел на сервисы бусты — есть полезное:)
    И внезапно решил проверить тупо в пиарси сайт сабжа, а там и внутреннее сео им не нравится, и соц.сети не все в работе!))

  • Александр Плеханов

    Сегодня тоже вылетел сайт в Google полностью

  • Anre

    Да плевать на этот гугл, я вообще полностью закрылся от него, давно уже только на яндексе, гугл неадекват в индекс суёт то что ему запрещено, яндекс дает море трафика качественным сайтам!

  • А что вы хотите увидеть как google bot в версии сайта http?)))

  • Dmitro

    Вы же серьезные люди, неужели нет возможности обзавестись нормальным сайтом без ведра вордпресовских багов? Причем вся дискуссия о том какие доп костыли навесить к уже имеющимся костылям, просто жесть жестяная..