Правильный robots.txt

Тема в разделе "Обо всём", создана пользователем Zlata Jesen, 28 июл 2015.

  1. Zlata Jesen

    Zlata Jesen Продвинутый пользователь

    Сообщения:
    165
    Симпатии:
    97
    Сегодня пришло письмо от гугла:

    Проверила. Проблема в закрытой для индексирования папке /catalog, там же все скрипты и темы.
    Кто как у себя решил эту проблему? Убрали из robots.txt строку "Disallow: /catalog" ?
     
  2. Ален

    Ален Эксперт

    Сообщения:
    2.055
    Симпатии:
    634
    Кстати да. Гугл хочет знать все )) Ему и стили подавай и все остальное.
    Давайте подумаем чем грозит открытие catalog для индексации ??
    Скорей всего появятся в индексе странице с текстом, Access forbidden!
    Честно не проверял. Я бы вручную открыл каждый нужный файлик, чтобы лишнего не было.
    Надо @Slait еще спросить, он вроде в этой теме разбирался.
     
    Zlata Jesen нравится это.
  3. optimlab

    optimlab Продвинутый пользователь

    Сообщения:
    819
    Симпатии:
    216
    Я тоже голосую за правильный роботс в новой сборке!
    Иначе пессимизация из-за неправильного робота. Так как у них алгоритм заточен, если видят что ссылки на файлы есть, а доступа нет, то значит чет скрывает запрещенное.
    Так что ребята открывайте все, что написано в html-коде страницы!!! Это не только в отношении Гугла! Яндекс просто тихо посылает...
     
  4. Ален

    Ален Эксперт

    Сообщения:
    2.055
    Симпатии:
    634
    он же и так правильный за исключением желаний гугла ))

    Наверно надо еще разрешить
    Код:
    Allow: /catalog/view/javascript
    Allow: /catalog/view/theme/*/stylesheet
    Allow: /catalog/view/theme/*/image
    Насчет звездочек не уверен, но вроде должно работать. Кто что скажет?
     
  5. optimlab

    optimlab Продвинутый пользователь

    Сообщения:
    819
    Симпатии:
    216
    как видите не совсем. Я про сборку изначальную...
     
  6. Slait

    Slait Эксперт

    Сообщения:
    503
    Симпатии:
    452
    Всем привет. Протестировал я сегодня файл robots.txt в итоге пришел к выводу, что нужно добавить 2 строчки
    Код:
    Allow: /catalog/view/javascript/
    Allow: /catalog/view/theme/*/
    Первая открывает доступ к JS файлам
    Вторая открывает доступ к файлам темы, стили, изображения и js. Согласно правилам, советуют закрывать строку /
     
    Zlata Jesen и Ален нравится это.
  7. Ален

    Ален Эксперт

    Сообщения:
    2.055
    Симпатии:
    634
    @Slait лишнего ничего в индекс не войдет?? tpl-ки или ошибка доступа??

    @Romans добавим??
     
  8. Romans

    Romans Administrator Команда форума

    Сообщения:
    1.338
    Симпатии:
    699
    Добавим, если @Slait подтвердит ниже указанное..:)
     
  9. Slait

    Slait Эксперт

    Сообщения:
    503
    Симпатии:
    452
    Объясню почему (это мое личное мнение)
    Код:
    Allow: /catalog/view/theme/*/
    Я считаю это универсальный способ, так как шаблонов может быть много, и у каждого может быть папки js или
    javascript (каждый разработчик делает как ему удобно)
    Насчет *tpl - что смеяться, они не должны попадать в индекс так как если правильный хостинг, то вы должны увидеть
    2015-07-30 09-16-07 Скриншот экрана.png


    С добавление данных строк можно проверить ошибки в google bot

    2015-07-30 09-24-13 Скриншот экрана.png
    Как видно из причины, нет блокировок.
     
    mmmtrade и Zlata Jesen нравится это.
  10. Zlata Jesen

    Zlata Jesen Продвинутый пользователь

    Сообщения:
    165
    Симпатии:
    97
    Да, я тоже проверила, блокировок через robots больше нет. Спасибо!
     
  11. Ilari

    Ilari Новичок

    Сообщения:
    14
    Симпатии:
    0
    А подойдет ли роботс из 2.0.3.1 для 1.5.5.1.2 или лучше оставить файл, который по умолчанию в осстор 15512????
     
  12. Vlad

    Vlad Эксперт

    Сообщения:
    3.891
    Симпатии:
    937
    нет не подойдет. или не совсем подойдет. Оставьте такой какой был. Толко можете еще добавить код отсюда
     
  13. Ilari

    Ilari Новичок

    Сообщения:
    14
    Симпатии:
    0
    Спасибо!
    ну подскажите еще пожалуйста, куда именно лучше вставить эти две строки?? там везде disallow... а то не особо шарю, не хочется косячить..
     
  14. partizanen

    partizanen Новичок

    Сообщения:
    26
    Симпатии:
    1
    Добавить в оба куска стокового роботс? Там первая часть общие параметры, вторая часть специально для Яндекса.
    И второй в догонку надо ли потереть строку Disallow: /catalog?
     
  15. Ален

    Ален Эксперт

    Сообщения:
    2.055
    Симпатии:
    634
    думаю лучше, сразу после строк Disallow: /*affiliates
     
  16. partizanen

    partizanen Новичок

    Сообщения:
    26
    Симпатии:
    1
    И два раза?
     
  17. Ален

    Ален Эксперт

    Сообщения:
    2.055
    Симпатии:
    634
    да
     
  18. marand

    marand Пользователь

    Сообщения:
    123
    Симпатии:
    9
    Сегодня гугл выругался на последнюю строчку robots.txt
    Clean-param: tracking
    Говорит ошибка.
     
  19. Ravilr

    Ravilr Специалист

    Сообщения:
    3.115
    Симпатии:
    861
  20. marand

    marand Пользователь

    Сообщения:
    123
    Симпатии:
    9