Правильный robots.txt

Возможно в htaccess установлена переадресация с robots (http https) и поэтому разрешения не видны. Проверьте.

 

что посмотреть (я не профи)!

 

Оставили бы в самом начале адрес сайта, кто нибудь и посмотрел бы. А так обсуждение непонятно чего..
Ну и htaccess приложить.

 

Сайт здесь. htaccess, прикрепил.

 

ExpiresByType image/jpg "access 1 year" - сразу видно copy/paste

Код:

RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]
RewriteCond %{QUERY_STRING} ^route=common/home$
RewriteCond %{REQUEST_METHOD} !^POST$
RewriteRule ^index\.php$ http://%{HTTP_HOST}? [R=301,L]

Эту кашку удаляем. В принципе, можно просто взять из сборки стандартный htaccess и заменить на то что сейчас у вас.
Потому что ниже я вижу попытки оптимизации, но сделаны они по принципу copy/paste без раздумий.

 

Сколько должно быть?

 

Зависит от того как часто вы можете изменяете те или иные файлы.
Допустим, если часто проводите изменения на сайте или обновляете баннеры, то установить на целый год кэширование для файлов очень глупо. Можно поставить на неделю, 2 недели, но не на месяц и не на год. Крупные магазины которые почти каждый день меняют баннеры, ставят:

Код:

access plus 1 week

 

Спасибо!
Т.е. необходима оптимизация. По заблокированным ресурсам поможете?
https://сайт.ru/catalog/view/javascript/bootstrap/css/bootstrap.min.css
https://сайт.ru/catalog/view/javascript/font-awesome/css/font-awesome.min.css
https://сайт.ru/catalog/view/theme/blured/stylesheet/stylesheet.css
https://сайт.ru/catalog/view/javascript/bootstrap/js/bootstrap.min.js
https://сайт.ru/catalog/view/javascript/jquery/jquery-2.1.1.min.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.carousel.css
https://сайт.ru/catalog/view/theme/default/stylesheet/live_search.css
https://сайт.ru/catalog/view/javascript/common.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.carousel.min.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.transitions.css

 

Попробуйте в начале добавить

Код:

Allow: /*/*.js
Allow: /*/*.css

А то что внизу, удалить. У гугла что то поменялось в приоритетах, нужно поиграться.

 

Гугл ругается только на это в одной категории сайт/ofisnoe-oborudovanie/
catalog/view/javascript/common.js - Disallow: /catalog (знак кирпич) googlebot не доступен
catalog/view/javascript/jquery/jquery-2.1.1.min.js - Disallow: /catalog (знак кирпич) googlebot не доступен
catalog/view/javascript/jquery/owl-carousel/owl.carousel.min.js - Disallow: /catalog (знак кирпич) googlebot не доступен
catalog/view/javascript/bootstrap/js/bootstrap.min.js - Disallow: /catalog (знак кирпич) googlebot не доступен
catalog/view/javascript/common.js - Disallow: /catalog (знак кирпич) googlebot не доступен

 

Помогло это??

Как то пишите однотипно... догадываться нужно что у вас не так. Т.е проблема осталась только в одной категории или как? Или что?? Если шаблон стандартный и хост нормальный (который отдает 404 при прямом доступе) то можно вообще убрать из запрещения это Disallow: /catalog
и будет вам счастье. Вы хоть немного смотрите, читайте, изучайте, экспериментируйте, меняйте туда сюда. Чего ждать каждую строчку совета??

 

просто открыть?
Allow: /catalog

 

Заблокированные страницы пропали, но предупреждения в карте сайта остались 151 шт.

 

Проблема осталась!

 

В этом robots виноват?

 

Вебмастер Гугл пишет, что да. Заблокированы ресурсы в robot.txt

 

Как они могут быть заблокированы, если у вас нет строки Disallow: /catalog

 

открыл каталог Allow: /catalog, ошибки остались.
Значение по адресу сайт/категория/товар

 

Я ничего не понимаю. Вы пишите как то отдаленно, намеками, отрывками. В общем я пас.

 

Я не в начале, а в конце добавляю:

Код:

Allow: /catalog/view/*.css
Allow: /catalog/view/*.js
Allow: /catalog/view/javascript/font*

Проблем с Гуглом не наблюдаю.