Устраняем проблему «Googlebot не может получить доступ к файлам CSS и JS на сайте» — инструкция

Устраняем проблему «Googlebot не может получить доступ к файлам CSS и JS на сайте» — инструкция

Антон Рева
30 июля, 2015

Несколько дней назад, очень большое количество сайтов получили письмо в панели Google Search Console (Google Webmasters) со следующей проблемой: «Googlebot не может получить доступ к файлам CSS и JS на сайте …» (англ. «Googlebot cannot access CSS and JS files on …»).

Устраняем проблему "Googlebot не может получить доступ к файлам CSS и JS на сайте" - инструкция - SeoProfy

Поскольку Google пишет, что сайт может потерять позиции, при условии дальнейшей блокировки этих ресурсов сайта, то необходимо прислушаться к этой рекомендации и открыть все запрашиваемые для индексации файлы для поискового робота Google.

Кроме этого, про эту проблему четко написано в справке Google https://support.google.com/webmasters/answer/35769?hl=ru#technical_guidelines

Кроме этого, про эту проблему четко написано в справке Google https://support.google.com/webmasters/answer/35769?hl=ru#technical_guidelines

Поэтому, давайте рассмотрим детальную инструкцию как устранить данную проблему.

1. Определяем какие ресурсы нужно открыть для индексации

Для выполнение данного пункта мы заходим в Google Search Console https://www.google.com/webmasters/tools/home?hl=ru и выбираем нужный сайт.

После этого, нажимаем на вкладку «Сканирование» и «Посмотреть как Googlebot»

Посмотреть как Googlebot

и нажимаем «ПОЛУЧИТЬ И ОТОБРАЗИТЬ»

и нажимаем «ПОЛУЧИТЬ И ОТОБРАЗИТЬ»

И переходим на последнюю строчку с результатами сканирования

И переходим на последнюю строчку с результатами сканирования

В результате мы получаем:

— отображение того как сейчас видит поисковый робот Google и как эту же страницу увидят пользователи сайта

- отображение того как сейчас видит поисковый робот Google и как эту же страницу увидят пользователи сайта

— список ресурсов с причиной по которой Googlebot не может получить доступ и, соответственно, которые нужно открыть для индексации:

- список ресурсов с причиной по которой Googlebot не может получить доступ и, соответственно, которые нужно открыть для индексации:

2. Получаем строки для добавления в свой robots.txt

Копируем полученную таблицу, вставляем (с использованием функции вставки без форматирования) данную таблицу в Excel и делаем сортировку по колонке с URL.

Через «Найти и заменить» удаляем домен из URL и выделяем уникальные папки (или в некоторых случаях папку + определенный тип файлов), которые необходимо открыть для индексации.

Через данную функции добавляем разрешающую команду индексации =CONCATENATE(«Allow: «;A2) (или =СЦЕПИТЬ(«Allow: «;A2) ) и, в итоге, получаем строки которые нужно добавить в роботс:

Получаем строки для добавления в свой robots.tx

3. Проверяем свой роботс.тхт с обновленными инструкциями

Перед заливкой нового robots.txt нужно проверить созданные инструкции на ошибки и все ли файлы мы открыли. Для этого лучше всего воспользоваться сервисом проверки роботса от Яндекса https://webmaster.yandex.ua/robots.xml, так как там сразу можно указать список адресов, которые нужно проверить:

Проверяем свой роботс.тхт с обновленными инструкциями

Если вы всё правильно сделали, то получите уведомление, что все нужные ресурсы открыть для индексации:

Если вы всё правильно сделали, то получите уведомление, что все нужные ресурсы открыть для индексации

Если все нормально, то обновляем свой файл на сервере.

4. Повторяем итерации 1-3, пока есть заблокированные ресурсы

Как оказалось, Google сразу отображает НЕ ВСЕ ресурсы которые нужно открыть для индексации.

При повторной проверке, мы можем получить такую картину:

При повторной проверке, мы можем получить такую картину

При повторной проверке, мы можем получить такую картину

Где видим, что для индексации нужно открыть еще и изображения. Поэтому, повторяем пункты 2. и 3. для новых ресурсов.

В итоге, мы должны получить нормальное отображение сайта для Googlebot’а:

В итоге, мы должны получить нормальное отображение сайта для Googlebot’а

Единственный нюанс, что в списке ресурсов могут оказаться файлы к которым Гугл не может получить доступ:

Единственный нюанс, что в списке ресурсов могут оказаться файлы к которым Гугл не может получить доступ

5. Проверяем доступность всех ресурсов для Mobile: smartphone

После этого, также делаем проверку на доступность всех ресурсов и для Mobile: smartphone – робота: для этого при проверке выбираем соответствующее значение и нажимаем «Получить и отобразить».

Проверяем доступность всех ресурсов для Mobile: smartphone

На данном сайте и для мобильного бота все ресурсы оказались доступны, поэтому, дополнительных действий не нужно было проводить.

Примеры что нужно добавить для стандартных движков:

WordPress

Allow: /wp-content/themes/*.css

Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css

Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js

Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

Универсальное решение для всех CMS

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Joomla

Allow: /templates/*.css
Allow: /templates/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js

DLE

Allow: /engine/classes/*.css

Allow: /engine/classes/*.js

Allow: /templates/Название шаблона/style/*.css
Allow: /templates/Название шаблона/js/*.js

Заключение

В данной статье мы постарались максимально подробно расписать как исправить ошибку «Googlebot не может получить доступ к файлам CSS и JS на сайте …».

Поэтому, если вы получили данное уведомление от Google, рекомендуем прислушаться к этим рекомендациям и открыть необходимые файлы для индексации.

PS: Если у вас возникли трудности, то задавайте в комментариях будем помогать с решением уникальных проблем.

Понравилась статья? Получай свежие статьи первым по e-mail

Оцените статью:
совсем плохоплохонормальнохорошокласс (54 оценок, средняя: 4,65 из 5)
Loading...
  • Руслан

    «И переходим на последнюю строчку с результатами сканирования» — Куда конкретно жать? Я в той строчке на что ни жму, ничего не происходит, еще со вчера.

    • Anton Reva

      В теории, пока ничего не делаем.
      Нужно, уточнять у Google как с этим быть. Как получим обновленную информацию, отпишемся.

      • Aydar Kalimullin

        Еще что делать со сторонней рекламой…. Advmaker например

    • Забить, на внешние файлы вы ж не влияете.

      • Василий Мельник

        Гугл рекомендует влиять — написать вебмастерам тех сайтов, чтобы они открыли эти файлы для индексации.

  • Как думаете, для Яндекса надо то же самое делать?

    • Anton Reva

      Если, вы не используете JS для скрытия разных блоков текста, то, можно такое же сделать и для Яндекса.

      • Не использую. Спасибо за ответ. Открою тогда и для Яндекса.

  • Из-за включенной оптимизации скорости загрузки сайта (кеширование и пр.) картинки и css файлы часто имеют вид …адрескартинки.pagespeed.ce.AxdmBKLwaC.png (тоесть они изменяются динамически). Как быть подскажите?

    • Anton Reva

      Пропишите, тогда
      Allow: /path-to-image/*.png

      • Александр Ягело

        Я исправил роботс, но в панеле гугл вебмастера все равно отображаются эти же ошибки, которые и были до

        User-agent: *

        Allow: /wp-content/themes/*.css

        Allow: /wp-content/plugins/*.css

        Allow: /wp-content/uploads/*.css

        Allow: /wp-content/themes/*.js

        Allow: /wp-content/plugins/*.js

        Allow: /wp-content/uploads/*.js

        Allow: /wp-includes/css/

        Allow: /wp-includes/js/

        Allow: /wp-includes/images/

        Allow: /wp-content/plugins/wordpress-popular-posts/style/wpp.css?ver=2.3.7

        Allow: /wp-content/plugins/wpfront-scroll-top/css/wpfront-scroll-top.css?ver=1.4.4

        Allow: /wp-content/plugins/wpfront-scroll-top/js/wpfront-scroll-top.js?ver=1.4.4

        Allow: /wp-content/plugins/wp-pagenavi/pagenavi-css.css?ver=2.70

        Allow: /wp-content/plugins/wp-postratings/images/stars/rating_off.gif

        Allow: /wp-content/plugins/wp-postratings/images/stars/rating_on.gif

        Allow: /wp-content/plugins/wp-postratings/postratings-css.css?ver=1.8

        Allow: /wp-content/plugins/wp-postratings/postratings-js.js?ver=1.8

        Allow: /wp-content/themes/coller/css/jquery.bxslider.css?ver=4.0

        Allow: /wp-content/themes/coller/images/logo.png

        Allow: /wp-content/themes/coller/js/jquery.bxslider.min.js?ver=4.0

        Allow: /wp-content/themes/coller/js/navigation.js?ver=20120206

        Allow: /wp-content/themes/coller/js/skip-link-focus-fix.js?ver=20130115

        Allow: /wp-content/themes/coller/style.css?ver=4.0

        Allow: /wp-content/uploads/

        Allow: /wp-includes/js/jquery/jquery.js?ver=1.11.1

        Allow: /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1

        Disallow: /index.php

        Disallow: /wp-login.php

        Disallow: /wp-register.php

        Disallow: /webstat/

        Disallow: /feed/

        Disallow: /trackback

        Disallow: */trackback

        Disallow: */feed

        Disallow: */comments

        Disallow: /*?*

        Disallow: /*?

        Disallow: /category/*/*

        Disallow: /wp-content/

        Disallow: /wp-admin/

        Disallow: /wp-includes/

        Disallow: /comments

        Disallow: /to/

        Disallow: /&*

        User-agent: Yandex

        Disallow: /wp-login.php

        Disallow: /wp-register.php

        Disallow: /webstat/

        Disallow: /feed/

        Disallow: /trackback

        Disallow: */trackback

        Disallow: */feed

        Disallow: */comments

        Disallow: /*?*

        Disallow: /*?

        Disallow: /category/*/*

        Disallow: /wp-content/

        Disallow: /wp-admin/

        Disallow: /wp-includes/

        Disallow: /comments

        Disallow: /to/

        Disallow: /&*

  • flyingpig

    А стоит ли разрешать индексировать гуглу всё, к чему он не может получить доступ?

    • Anton Reva

      Всё точно не стоит.
      Эта проблема относиться к правильной обработке дизайна сайта роботами гугла. Поэтому, мы открываем все css, js и изображения на которых основывается дизайн сайта.

  • Дмитрий Бандуренко

    а если сообщение пришло, но в «Fetch as Google» имеем статус «Complete»?

    • Anton Reva

      есть такая проблема. Решения:
      — или чуть позже еще раз проверьте
      — или попробуйте другие страницы сайта, а не только главную страницу.

      П.С. И отпишитесь тут, пожалуйста, если получиться решить свою проблему.

  • Andrii Horbatiuk

    Я бы добавил немного иначе:

    Allow: /wp-content/themes/*.css*

    Allow: /wp-content/plugins/*.css*
    Allow: /wp-content/uploads/*.css*

    Allow: /wp-content/themes/*.js*
    Allow: /wp-content/plugins/*.js*
    Allow: /wp-content/uploads/*.js*

    Почему?

    Потому что, как оказалось иногда вылазят вот такие факапы:

    /themes/ххх/css/animate.min.css?ver=4.2.3 (это не только в определенных темах, но и в вп-инклюд бывает)

    • Anton Reva

      Да, спасибо, хорошее замечание.

    • Галина Нагорная

      Простите, что морочу голову, но… без понятия в этих иероглифах. Самой не справиться. Здесь Вы все умные и пишите этот, проклятый мной, роботс какими-то кусочками (умным, оно — понятно, а чайникам?).
      Не могли бы Вы написать его полностью? Не обязательно здесь, (хотя таких самоваров много в блогинге) и выслать мне на имейл? Пожалуйста?! galina.choice@gmail.com
      А то вторые сутки пылают станицы в мозгах.

      • Andrii Horbatiuk

        Галина, поверьте. Лучше вы 1 раз разберетесь и потом будете пользоваться во благо вашего сайта, чем вставите непонятный для вас код в свой роботс.

  • Taras Gavrilchik

    Я по другому чуть сделал, более оптимильно:
    Allow: /*/*.css
    Allow: /*/*/*.css

    Так же и с js. Все нормально индексируеться.

    • Anton Reva

      тоже вариант.

    • Не забывайте, что проскакивают экзотические «сиэсески», типа *.css?y
      лучше допилить к вашим директивам:
      Allow: /*/*.css*
      Allow: /*/*/*.css*

  • Валерий

    Спасибо Виктору и его команде за актуальный пост!
    Подскажите пожалуйста, нужно ли в DLE открыть доступ к изображениям из постов в папке uploads?

    • Anton Reva

      думаю да, что нужно.
      вы просто на проверку дайте не главную страницу, а один из постов с картинками из той папки.

  • Очень оперативно, молодцы!

    А что, реально теперь Google будет понижать за закрытые js и css?

    • Anton Reva

      пожалуйста,
      пока не понятно на счет понижения, но лучше перестраховаться.

      • Угу, ведь в сообщении была сказано что-то вроде «может быть понижен в выдаче», это настораживает

  • Полезная статья.
    Возник один вопрос в ходе работы.
    Есть несколько скриптов, которые грузят баннеры. Как быть с ними?

    • Anton Reva

      а в чем проблема открыть эти скрипты?

  • Сергей Остров

    Если Гугл говорит, что не может получить доступ к файлам CSS и JS на сайте, зачем открывать картинки?

    • Anton Reva

      см. внимательно пост: при повторной проверке гугл начинает ругаться и на закрытые картинки.
      поэтому, нужно всё делать в несколько итераций.

  • Ilya

    А мое сообщение почему-то не опубликовалось…

    • странно, в спаме ничего нет, не подтвержденных тоже

  • На одни сайты пришло такое сообщение, на другие нет. На те что пришло — все что нужно открыл. Теперь думаю нужно ли открывать и на те сайты, которые не получали такого уведомлении? Что посоветуете?

    • Anton Reva

      Заходите в вебмастерс и там через «Просмотреть как Googlebot» проверяйте для всех своих основных сайтов.

  • Спасибо за актуальную статью! Подскажите, а что может означать статус «Временно недоступен»?

    • Anton Reva

      так проверьте, наверное эти файлы отдают код ответа сервера, который не 200.

    • У меня та же хрень была, похоже просто Гугл не справляется с нагрузкой проверок. Потому что файлы точно доступны.

    • Ещё раз отрендерите, похоже, действительно, нагрузка на сервера Гугла или файлов, которые пингуются.

  • Anton Reva

    Илья, так воспользуйтесь инструкцией, выше.
    вы получите список файлов, которые нужно открыть.

    Или, см. выше мы добавили универсальную строки для всех CMS.

  • Благодарю за полезную информацию!

  • Галина Нагорная

    Вопрос чайника:

    Там, где Вы рекомендуете, что нужно добавить для Вордпресс, есть увеличенное расстояние между строчками:

    Allow: /wp-content/themes/*.css

    Allow: /wp-content/plugins/*.css
    Allow: /wp-content/uploads/*.css

    Так и добавлять в роботс?

    • Andrii Horbatiuk

      Пустая строка не повлияет на работу роботов. Но, в целом, она там не нужна. Полагаю, что ребята сделали разрыв для удобочитаемости.

      П.с.: смотрите мой ответ выше — не вставляйте необдуманно этот код к себе на сайт. В лучшем случае у вас просто ничего не произойдет.

  • Андрей

    Здравствуйте! Подскажите пожалуйста, что с этим делать?

    http://www.gravatar. com/avatar/ e556c588fe4347b4e7b4dadb0551fc6b?size=40&default=mm

    https://ssl.gstatic. com/s2/oz/ images/stars/po/bubblev1/border_3.gif

    http://idsync.rlcdn. com/362378.gif? partner_uid=BQ-00000002263934098

    https://oauth.googleu sercontent.com/gadgets/js/co re:rpc:shindig.random:shindig.sha1.js?c=2

    http://clients.bluecava.c om/data/pixel.pn g?p=145c07db-9bd 4-440d-9130-b5b794ec4ce7&rand=2.0804096304

    • Anton Reva

      это внешние ресурсы и ничего с этим не сделаешь.

  • Mailovaos

    А почему нужно указывать путь к шаблону??

    DLE
    Allow: /engine/classes/*.css
    Allow: /engine/classes/*.js
    Allow: /templates/Название шаблона/style/*.css
    Allow: /templates/Название шаблона/js/*.js

    Почему нельзя прописать так??

    Allow: /templates/*.css
    Allow: /templates/*.js

  • Romek Traum

    Вчера Google дал разъяснение :
    Usear-agent: Googlebot
    Allow: .css
    Allow: .jpg

    • Ilya

      У меня сайт на ModX.
      Посмотрел как Googlebot фото 1.
      Добавил так:

      Usear-agent: Googlebot
      Allow: .js
      Allow: .css
      Allow: .jpg

      Заново посмотрел «как Googlebot» и все те же ошибки. Да и Яндекс вебмастер пишет, что не понимает этих строк:

      «Правило начинается не с символа ‘/’ и не с символа ‘*’

      15: Allow: .css

      Правило начинается не с символа ‘/’ и не с символа ‘*’

      16: Allow: .jpg

      Правило начинается не с символа ‘/’ и не с символа ‘* ‘»

      Даже роботс на seoprofy совсем без этого всего… Почему так?

      • Андрей Свистунов

        Я бы все-таки слово UseAr-agent: по-другому писал бы:)

        Думаю так прикольнее:

        User-agent: Googlebot
        Allow: .css
        Allow: .jpg
        Allow: .css*
        Allow: .jpg*

  • Леонид Мелихов

    Здравствуйте, команда!
    Подскажите пожалуйста, что не так в моей ситуации. Есть у меня сайт. Его главная страница в поиске выглядит вот так. При том, что у меня все метатеги нормально расписаны. Получается, Яндекс сниппет сформировать как-то по-своему, не обращая внимания на прописанный мной тэг description. К тому же, Яндекс использовать подзаголовок…
    Подскажите пожалуйста, что с этим делать? Спасибо!

  • Юрий Павлюк

    А что скажете о системе Ucoz?
    Как там решить ?

  • Lorein Barn

    Ничего себе сюрприз! Переходы с гугла упали с 60% до 10% очень резко. Сайт новый, заметны все скачки. Так хорошо стартанули и вот приехали. Не знаю, что они там скажут, но влияет и еще как. Странная прихоть какая-то, как по мне. Спасибо за инструкцию, список был длинным, пооткрывала всё что могла, всё прописала и поисправляла. Но картинки лайвинтернета и твиттера всё равно висят с длинной абракадаброй, мозоля мой уставший глаз. Как я понимаю, это аналогично вопросу из первого поста про яндекс метрику? То есть это внешние файлы и делать ничего не надо? Или что-то можно сделать?! И вернет ли взад гугл свою посещаемость если сторонние файлы все равно из отображения никуда не деваются? Подскажите, пожалуйста.

  • Игорь Федорович

    Мой рабочий вариант

    Allow: /wp-content/themes/*.css

    Allow: /wp-content/themes/*.png

    Allow: /wp-content/themes/*.jpg

    Allow: /wp-content/plugins/*.css

    Allow: /wp-content/uploads/*.css

    Allow: /wp-content/themes/*.js

    Allow: /wp-content/plugins/*.js

    Allow: /wp-content/uploads/*.js

    Allow: /wp-includes/css/

    Allow: /wp-includes/js/

    Allow: /wp-includes/images/

  • Artem Anpilov

    а что белать со всякими шрифтами их тоже открывать. робот жалуется на них

    templates/jz_shop10/css/myriadpro-cond_0.ttf
    component/jcomments/
    component/jcomments/captcha/85322
    templates/jz_shop10/css/myriadpro-cond_0.woff

    • Gorik

      Я например открыл — они у меня в одной папке, эту папку в Alow. До кучи пускай будет, мало ли гугл посчитает что страница не до конца открыта.

  • Gorik

    Спасибо большое за информацию!
    Вопрос:
    Есть плагин кеширования, и для вывода статьей используются превью картинки, соответственно они показываются с закешированной папки. Проблема в том, что там много мусора в малом разрешении (100*100px), и открывать для всех ботов было бы не совсем корректно.Поэтому лучше создать отдельное правило для Googlebot или все же прописывать в правилах для всех ботов (при этом имеется отдельное правило для User-agent: Yandex)?

  • Maxym

    Здравствуйте! Внес изменения, все исправилось, кроме одного: /wp-admin/admin-ajax.php. Стоит на это обращать внимание или нет? В файле robots.txt прописано «Disallow: /wp-admin»

  • В robots есть запрет на директорию админки:

    Disallow: /netcat/admin/

    А Googlebot хочет получить доступ на файл внутри этой директории:

    netcat/admin/js/datepicker/datepicker.css

    Открытие доступа к файлу не помогло. Как перехитрить?

  • Почему у меня в анализе Robots.txt пишет: «этот URL не принадлежит вашему домену» ?

  • Василий Мельник

    А кто-нибудь знает на что это влияет? И что будет если проблема не устранена, я что-то не слышал, что есть фильтры за недоступность js и css.

  • Николай

    Здравствуйте, все сделал, все понятно до момента с Excel,можете подробней объяснить где эта функция вставки без форматирования и как нужно отсортировать (по убыванию по возрастанию) делаем сортировку по колонке с URL? В общем мне полностью непонятен пункт 2, объясните , пожалуйста, спасибо )

  • Ольга

    практично все зрозуміло, но….
    в мене CMS WordPress і папка robots.txt створена, потрібно загрузити
    Allow: /wp-includes/*.js*
    Allow: /wp-content/themes/*.js*….
    Куди мені його вставити?
    Чи потрібно замінити…з Disallow: на Allow..??