<![CDATA[Форум ReadyScript — Как правильно составить robots.txt для ReadyScript?]]> https://forum.readyscript.ru/topic/1459/kak-pravilno-sostavit-robotstxt-dlya-readyscript/ Mon, 08 Jan 2018 15:57:25 +0000 PunBB <![CDATA[Re: Как правильно составить robots.txt для ReadyScript?]]> https://forum.readyscript.ru/post/8405/#p8405 Спасибо, добавил Ваш вариант.

]]> Mon, 08 Jan 2018 15:57:25 +0000 https://forum.readyscript.ru/post/8405/#p8405 <![CDATA[Re: Как правильно составить robots.txt для ReadyScript?]]> https://forum.readyscript.ru/post/8400/#p8400 http://forum.readyscript.ru/topic/1136/ … v-indekse/
к примеру

]]> Sat, 06 Jan 2018 13:32:23 +0000 https://forum.readyscript.ru/post/8400/#p8400 <![CDATA[Как правильно составить robots.txt для ReadyScript?]]> https://forum.readyscript.ru/post/8396/#p8396 Добрый день

Обратил внимание в панели Яндекс.Вебмастера, что в индекс попадает очень много мусора.

к примеру вот такие страницы

/catalog/morskoy-flot/?p=2&sort=dateof&nsort=asc
/catalog/voennye-korabli/?pageSize=16

Подскажите, есть ли у Вас пример правильного robots.txt, в котором были бы прописаны все необходимые страницы (категории, карточки товара, новости и т.п.), а все остальные с непонятными url были бы закрыты от индекса?

Заранее спасибо за ответ!

]]> Thu, 04 Jan 2018 15:27:28 +0000 https://forum.readyscript.ru/post/8396/#p8396