Правильный robots.txt

Спасибо за ответ!

 

Подскажите пожалуйста, имеет ли смысл добавить еще строчку Allow: /catalog/view/fonts/
А то ругается гуглбот что не может шрифты прочесть. Хотя отображается все нормально.
Спасибо

 

Если ругается, то конечно есть смысл.

 

Спасибо, просто не разбираюсь в этом и опасаюсь открыть чего-то лишнего )

 

Пользуюсь модулем vqmod_1.5.meta_noindex. Он закрывает в noindex,nofollow страницы пагинации кроме первой. Также мне нужно чтобы на первой странице было index,nofollow!!! Ковырялся долго - никак не получается. Помогите сделать как нужно Вот код с модуля:

</file>
<file name="catalog/controller/product/manufacturer.php">
<operation>
<search position="after"><![CDATA[$this->document->setTitle(]]></search>

<add><![CDATA[
if (
isset($this->request->get['page']) ||
isset($this->request->get['limit']) ||
isset($this->request->get['order'])
) {
$this->document->setRobots('noindex,nofollow');
}

 

Вопрос совсем не по теме! У мода есть автор, пишите ему.

 

Добрый день! Имею роботс.тхт, всё индексируется кроме картинок (в поиске яндекса и гугл их нету), что не так с роботс?

Код:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /media
Disallow: /woman
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*_uep.zzzp
Disallow: /specials/
Disallow: /affiliate-login/
Disallow: /compare-products/
Disallow: /create-affiliate-account/
Disallow: /forgot-password/
Disallow: /login/
Disallow: /vouchers/
Disallow: /reviews/
Disallow: /cart/
Disallow: /men
Disallow: /vnvtnsf/
Disallow: /product
Disallow: /return-add/
Disallow: /zhenskie/

User-agent: YandexImages
Disallow: /
Allow: /image/cache/

User-agent: Googlebot-Image
Disallow: /
Allow: /image/cache/

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /media
Disallow: /woman
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*_uep.zzzp
Disallow: /specials/
Disallow: /affiliate-login/
Disallow: /compare-products/
Disallow: /create-affiliate-account/
Disallow: /forgot-password/
Disallow: /login/
Disallow: /vouchers/
Disallow: /reviews/
Disallow: /cart/
Disallow: /vnvtnsf/
Disallow: /men
Disallow: /product
Disallow: /return-add/
Disallow: /zhenskie/
Clean-param: tracking
Host прописан
Карта сайта прописана

 

Зачем вам такой мудреный роботс? Рабочего варианта выше не хватает?

 

Та нормальный роботс
Если не прописывать UA, то все allow

Изучайте логи http сервера, кто их роботов читает robots
Смотрите в логи и анализируйте приходящих роботов

 

Код:

User-agent: YandexImages
Disallow: /
Allow: /image/cache/

User-agent: Googlebot-Image
Disallow: /
Allow: /image/cache/

Вот мне интересно... скачивать любые страницы Вы им запретили, но ссылки на изображения имеются именно там, а не в папке кеша. Папка-то просто так, списком, не откроется... Плюс роботы картинок обычно учитывают ТЕКСТ около изображения, правда? Про всякие там alt и title я вообще молчу...
Может и не права, специально этим вопросом не занималась, просто так - взгляд со стороны.

 

Вот я и интересуюсь, как лучше сделать)

 

Добрый день! Подскажите, что еще необходимо изменить или добавить в robots.txt?

 

Директива Host не нужна. Она отменена и игнорируется.

А сайтмапы я обычно добавляю в инструментах вебмастера. Но это не принципиально.

 

Подскажите Гугл ругается на Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. 151 Предупреждения.
пример http://сайт.ru/rashodnye-materialy/baraban-canon-drum-cartridge-701-lbp5200-mf8180-9623a003.html
так же имеются Страницы с заблокированными ресурсами на этом хосте:
https://сайт.ru/catalog/view/javascript/bootstrap/css/bootstrap.min.css
https://сайт.ru/catalog/view/javascript/font-awesome/css/font-awesome.min.css
https://сайт.ru/catalog/view/theme/blured/stylesheet/stylesheet.css
https://сайт.ru/catalog/view/javascript/bootstrap/js/bootstrap.min.js
https://сайт.ru/catalog/view/javascript/jquery/jquery-2.1.1.min.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.carousel.css
https://сайт.ru/catalog/view/theme/default/stylesheet/live_search.css
https://сайт.ru/catalog/view/javascript/common.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.carousel.min.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.transitions.css

 

Господа спецы! Подскажите, плиз!

 

Если открыли роботсом, то не должно быть таких предупреждений.

 

Спасибо,что ответ!

 

Эти предупреждения были не до того как был загружен упомянутый выше robots.txt?
То есть, может быть эти предупреждения уже неактуальны?

 

Каждый день отправляю по новой. Вот сейчас опять. 151 предупреждение. Товар тот же.

 

Как же быть со Страницпми заблокированными ресурсами на этом хосте?
https://сайт.ru/catalog/view/javascript/bootstrap/css/bootstrap.min.css
https://сайт.ru/catalog/view/javascript/font-awesome/css/font-awesome.min.css
https://сайт.ru/catalog/view/theme/blured/stylesheet/stylesheet.css
https://сайт.ru/catalog/view/javascript/bootstrap/js/bootstrap.min.js
https://сайт.ru/catalog/view/javascript/jquery/jquery-2.1.1.min.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.carousel.css
https://сайт.ru/catalog/view/theme/default/stylesheet/live_search.css
https://сайт.ru/catalog/view/javascript/common.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.carousel.min.js
https://сайт.ru/catalog/view/javascript/jquery/owl-carousel/owl.transitions.css