Здравствуйте, подскажите у меня домен и все урл на кирилице. Как в robots.txt закрывать страницы на кирилице? например домен.рф/сравнение-товаров.html ???
смысл их закрывать, кириллица конечно не очень, но никто не говорил, что прям всё, потом поисковик шайтан устроит на сайте. Вопрос другой, почему на кириллице????
ну домен кириллица, иметь адрес домен.рф/wishlist.html как то не красиво. Так домен.рф/готовые-наборы/день-мужчин.html и визуально симпотичнее и всё по русски и понятно - своего рода как хлебные крошки. Просто я убрал вообще ссылки на сравнение заказов. запустил сайт чере мега-индекс, смотрю а он эту страницу нашёл. хотя я вообще её везде убрал. Не хочу что бы мусор выдавало в поиске
про idn я знаю. просто в интернете про кириллицу не нашёл. Поэтому решил спросить "своих" знатоков. Влад, ответ на свой вопрос от вас получил, спасибо. Буду конвертировать...
только конвертировать вам не все надо, а только домен. А остальное в UTF https://yandex.ru/support/webmaster/yandex-indexing/cyrillic-urls.xml
Скажите а можно вообще убрать этот файл robots.txt ? Зачем он есть по умолчанию на сайте? Обычно этот файл добавляют когда хотят скрыть отдельные части? Что с этим файлом мне вообще делать? Удалить его? Или изменить на Allow отдельные поля robots.txt ? И какие? Просветите пожалуйста.
Не надо его убирать. Чтобы не спуститься на дно. Чтобы скрыть какие то не нужные атрибуты в ссылках. Оставить в покое, а лучше почитать статью. Нет. Нет.
Я прошу прощения скажите какую статью почитать именно по выставлению нужных параметров в этом файле robots.txt Просто у меня пишет "Владелец сайта предпочёл скрыть описание страницы"
Да это все понятно что такое robots.txt я знаю. Но как это сообщение "Владелец сайта предпочёл скрыть описание страницы" убрать из robots.txt что и где в нем поправить или убрать? Кстати у моего другого сайта тоже на этом OpenСart сделанным месяцем ранее такого сообщения нет! Там все теги главной проиндексировались без проблем.
где в robots.txt удалить Disallow чтоб этой надписи не было "Владелец сайта предпочёл скрыть описание страницы"
Dmitry1980 не надо тупить это дело яндекса (тупить) сайт просто еще не в индексе яндекса Дата регистрации:15-01-2016 (31 день) пару апов от яшки и будет нормальное описание хотя нет не будет он в индексе, ибо в данный момент он абсолютно бесполезен
Да причем здесь индекс??? Как убрать надпись "Владелец сайта предпочёл скрыть описание страницы" явно ее не яндекс поставил???)))
