robots.txt и Гугл при индексации заблокировал 17 страниц

Тема в разделе "Ошибки и их решения", создана пользователем DeExp, 16 ноя 2015.

  1. DeExp

    DeExp Новичок

    Сообщения:
    5
    Симпатии:
    0
    Добрый день! Помогите, пожалуйста, советом.


    Гугл при индексации заблокировал 17 страниц со связанным содержимым.


    /catalog/view/theme/default/stylesheet/tooltip/tooltipster-punk.css
    /catalog/view/theme/default/stylesheet/awesome/font-awesome.min.css
    /catalog/view/theme/moneymaker/bootstrap/css/bootstrap.min.css
    /catalog/view/theme/moneymaker/stylesheet/mmr_themes_responsive/moneymaker-custom-theme-light.css
    /catalog/view/javascript/blog/rating/jquery.rating.css
    /system/cache/seocmspro.css
    /catalog/view/javascript/blog/blog.bbimage.js
    /catalog/view/javascript/jquery/jquery.total-storage.min.js
    /catalog/view/javascript/jquery/ui/themes/ui-lightness/jquery-ui-1.8.16.custom.css
    /catalog/view/javascript/jquery/colorbox-master/colorbox.css


    и так далее. При проверке robots.txt Гугл красным подсвечивал "Disallow: /catalog ". Я добавил в robots.txt:

    Disallow: /catalog

    Allow: /catalog/view/javascript/
    Allow: /catalog/view/theme/moneymaker/image/
    Allow: /catalog/view/theme/moneymaker/stylesheet/
    Allow: /catalog/view/theme/default/stylesheet/
    Allow: /catalog/view/theme/moneymaker/bootstrap/

    Теперь после Гугл продолжает блокировать все те же 17 страниц, только теперь разрешенные строки подсвечивает зеленым.

    Что я не так сделал? И что мне подправить в robots.txt чтобы избавится от заблокированных страниц?
     
  2. Ален

    Ален Эксперт

    Сообщения:
    2.055
    Симпатии:
    634
  3. Romans

    Romans Administrator Команда форума

    Сообщения:
    1.338
    Симпатии:
    699
    в версии 2.1 русской сборки, такого не должно быть т.к все нужные корректировки внесены в robots.txt
     
  4. DeExp

    DeExp Новичок

    Сообщения:
    5
    Симпатии:
    0
    У меня версия ocstore 1.5.5.1.2. Сделал robots.txt как рекомендовано в разделе, который предложил изучить Ален.
    Disallow: /catalog
    Allow: /catalog/view/javascript/
    Allow: /catalog/view/theme/*/

    Теперь вместо 17 гугл заблокировал 24 страницы:
    Заблокированный ресурс Связанные страницы

    /catalog/view/theme/moneymaker/stylesheet/mmr_themes_responsive/moneymaker-custom-theme-light.css
    /catalog/view/theme/moneymaker/bootstrap/css/bootstrap.min.css
    /catalog/view/theme/default/stylesheet/tooltip/tooltipster-punk.css
    /catalog/view/theme/default/stylesheet/awesome/font-awesome.min.css
    /catalog/view/javascript/jquery/jquery.total-storage.min.js
    /catalog/view/theme/default/image/scroll/slide-to-top.png
    /catalog/view/theme/image/dot_white_60.png
    /catalog/view/javascript/blog/rating/jquery.rating.css
    /catalog/view/javascript/blog/blog.bbimage.js
    /catalog/view/theme/moneymaker/stylesheet/moneymaker.css
    /catalog/view/theme/moneymaker/stylesheet/moneymaker-custom.css
    /catalog/view/theme/default/stylesheet/callback.css
    /catalog/view/javascript/bootstrap-rating-input.min.js
    /catalog/view/javascript/jquery/scrolltotop.js
    /catalog/view/theme/moneymaker/image/mobiles/mob-mts.png
    /catalog/view/javascript/featured_att.js
    /catalog/view/javascript/jquery/colorbox/colorbox.css
    /catalog/view/javascript/jquery/tabs.js
    /catalog/view/javascript/jquery/jquery.ui.totop.js

    и так далее.
    Подскажите, что нужно тут подправить?
     
  5. Ален

    Ален Эксперт

    Сообщения:
    2.055
    Симпатии:
    634
    если общие правила не помогают, разрешайте как делали выше, т.е с указанием разрешения до конечной директории.
    например
    Код:
    Allow: /catalog/view/javascript/jquery/
    и обратите внмаие, что правил у вас два, т.е для всех роботов и для яндекса, не забывайте дублировать и там и там
     
  6. DeExp

    DeExp Новичок

    Сообщения:
    5
    Симпатии:
    0
    Спасибо. Сейчас попробую. Для яндекса всегда дублирую.