Форум ReadyScript — Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Максим) — Tue, 19 Dec 2017 15:30:26 +0000

Спасибо за ответы!

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Закусило Александр) — Tue, 19 Dec 2017 08:48:38 +0000

Вот например как сделано у меня:

User-agent: *
Disallow: /cart*
Disallow: /install*
Disallow: /feedback*
Disallow: /catalog/?query=*
Disallow: /auth*
Disallow: /my*
Disallow: /deliverycost*
Disallow: /register*
Disallow: /bitrix*
Disallow: /linki*
Disallow: /templates/buymysoft/mont.pdf
Disallow: *sort=*
Disallow: *?add*
Disallow: *referer=*
Disallow: *query=*
Disallow: *[cost]*
Disallow: *?pageSize*
Disallow: *?viewAs*
Disallow: *?frommarket=*
Disallow: /feedback-3/
Disallow: *pageSize=*
Disallow: *?;p=*
Disallow: *amp*
Disallow: *amp=*
Disallow: *utm_source*
Disallow: *utm_campaign*
Disallow: *utm_medium*
Disallow: *?%3B*
Disallow: /catalog/chasy/
Disallow: /catalog/gotovye--vyshitye-kartiny/
Disallow: /catalog/lastochki/
Disallow: /catalog/riolis-33268/
Disallow: /catalog/skrytaya-kategoriya/
Disallow: /catalog/supercena/
Disallow: /catalog/talismany-i-oberegi-biserom/
Disallow: /catalog/zhenskie-sorochki/
Disallow: /text-0*

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Закусило Александр) — Tue, 19 Dec 2017 08:43:46 +0000

Владимир 1916 пишет:

А правило в Disallow: разве не должно начинаться со слеша? Во всех примерах, которые видел ранее почему-то в начале стоит /
Как тут, например, http://forum.readyscript.ru/post/7481/#p7481

Нет, оно в данном случае вообще не обязательно.

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Закусило Александр) — Tue, 19 Dec 2017 08:42:08 +0000

Максим пишет:

Александр, спасибо за ответ.
1) по Allow - понял.
2) по указаниям отдельных правил для поисковиков - тоже понял.
3) Disallow: *?query=* - ОК
4) По фильтрам и навигации: как раз много страниц оттуда индексировалось, в том числе от этого и хочу избавиться. Мне кажется это лишнее. Я ошибаюсь?

Ну всё зависит от того, что вы хотите получить. Например Вы продаёте сапоги. И при применении фильтра остаются только сапоги красного цвета. Человек, который ищет сапоги красного цвета, куда охотнее перейдет? На страницу общую с сапогами, или на страницу с сапогами красного цвета?

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Владимир 1916) — Tue, 19 Dec 2017 07:36:44 +0000

А правило в Disallow: разве не должно начинаться со слеша? Во всех примерах, которые видел ранее почему-то в начале стоит /

Как тут, например, http://forum.readyscript.ru/post/7481/#p7481

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Максим) — Tue, 19 Dec 2017 07:08:36 +0000

Александр, спасибо за ответ.

1) по Allow - понял.
2) по указаниям отдельных правил для поисковиков - тоже понял.
3) Disallow: *?query=* - ОК
4) По фильтрам и навигации: как раз много страниц оттуда индексировалось, в том числе от этого и хочу избавиться. Мне кажется это лишнее. Я ошибаюсь?

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Закусило Александр) — Mon, 18 Dec 2017 08:20:09 +0000

Выставляйте Allow только тогда когда вы закрываете раздел, но в хотите один подраздел в Вашем разделе открыть. Например. У вас есть раздел Автомобили, вы его закрыли от индексации через Disallow. Внутри него лежат Разделы Ваз, Holda и Lexus. Вы хотите, чтобы раздел Lexus попадал в выдачу, тогда используйте Allow. Но суда по Вашим правилам, Allow тут вообще бессмысленный, тем более на JS и CSS и картинки. Они и так попадают в поиск.
Лишнее, здесь во первых указание правил Всем, потом Яндексу и Гугл и при этом одинаковое. Оставьте уже всем.
Второе.

Disallow: *?s=*
Disallow: /plugins/
Disallow: /search/

Такого у нас не существует.
Лучше добавить результаты поиска из введённой поисковой строки.

Disallow: *?query=*

utm метки надо закрывать, но это:

Disallow: *utm=*

не UTM метки.

Вот UTM метки.

Теперь:

Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*

Зачем Вам закрыть от индексации фильтры и постраничную навигацию?

Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

null@example.com (Максим) — Sun, 17 Dec 2017 12:01:28 +0000

В общем в индекс попадает куча мусора.
Написал впервые, может что-то лишнее закрыл?

User-agent: *
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: /register/
Disallow: /auth*
Disallow: *?s=*
Disallow: *sort=*
Disallow: *view=*
Disallow: *viewAs=*
Disallow: *utm=*
Disallow: *?pageSize=*
Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*
Allow: /*/*.js
Allow: /*/*.css
Allow: */uploads

User-agent: GoogleBot
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: /register/
Disallow: /auth*
Disallow: *?s=*
Disallow: *sort=*
Disallow: *view=*
Disallow: *viewAs=*
Disallow: *utm=*
Disallow: *?pageSize=*
Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif

User-agent: Yandex
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: /register/
Disallow: /auth*
Disallow: *?s=*
Disallow: *sort=*
Disallow: *view=*
Disallow: *viewAs=*
Disallow: *utm=*
Disallow: *?pageSize=*
Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif