Правильный robots.txt

Сегодня пришло письмо от гугла:

Проверила. Проблема в закрытой для индексирования папке /catalog, там же все скрипты и темы.
Кто как у себя решил эту проблему? Убрали из robots.txt строку "Disallow: /catalog" ?

 

Кстати да. Гугл хочет знать все )) Ему и стили подавай и все остальное.
Давайте подумаем чем грозит открытие catalog для индексации ??
Скорей всего появятся в индексе странице с текстом, Access forbidden!
Честно не проверял. Я бы вручную открыл каждый нужный файлик, чтобы лишнего не было.
Надо @Slait еще спросить, он вроде в этой теме разбирался.

 

Я тоже голосую за правильный роботс в новой сборке!
Иначе пессимизация из-за неправильного робота. Так как у них алгоритм заточен, если видят что ссылки на файлы есть, а доступа нет, то значит чет скрывает запрещенное.
Так что ребята открывайте все, что написано в html-коде страницы!!! Это не только в отношении Гугла! Яндекс просто тихо посылает...

 

он же и так правильный за исключением желаний гугла ))

Наверно надо еще разрешить

Код:

Allow: /catalog/view/javascript
Allow: /catalog/view/theme/*/stylesheet
Allow: /catalog/view/theme/*/image

Насчет звездочек не уверен, но вроде должно работать. Кто что скажет?

 

как видите не совсем. Я про сборку изначальную...

 

Всем привет. Протестировал я сегодня файл robots.txt в итоге пришел к выводу, что нужно добавить 2 строчки

Код:

Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

Первая открывает доступ к JS файлам
Вторая открывает доступ к файлам темы, стили, изображения и js. Согласно правилам, советуют закрывать строку /

 

@Slait лишнего ничего в индекс не войдет?? tpl-ки или ошибка доступа??

@Romans добавим??

 

Объясню почему (это мое личное мнение)

Код:

Allow: /catalog/view/theme/*/

Я считаю это универсальный способ, так как шаблонов может быть много, и у каждого может быть папки js или
javascript (каждый разработчик делает как ему удобно)
Насчет *tpl - что смеяться, они не должны попадать в индекс так как если правильный хостинг, то вы должны увидеть

С добавление данных строк можно проверить ошибки в google bot


Как видно из причины, нет блокировок.

 

Да, я тоже проверила, блокировок через robots больше нет. Спасибо!

 

А подойдет ли роботс из 2.0.3.1 для 1.5.5.1.2 или лучше оставить файл, который по умолчанию в осстор 15512????

 

нет не подойдет. или не совсем подойдет. Оставьте такой какой был. Толко можете еще добавить код отсюда

 

Спасибо!
ну подскажите еще пожалуйста, куда именно лучше вставить эти две строки?? там везде disallow... а то не особо шарю, не хочется косячить..

 

Добавить в оба куска стокового роботс? Там первая часть общие параметры, вторая часть специально для Яндекса.
И второй в догонку надо ли потереть строку Disallow: /catalog?

 

думаю лучше, сразу после строк Disallow: /*affiliates

 

И два раза?

 

да

 

Сегодня гугл выругался на последнюю строчку robots.txt
Clean-param: tracking
Говорит ошибка.

 

потому что это для яндекса.
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#clean-param

 

Т.е. не обращать внимания?