• Зарегистрирован: 03.02.2017
  • Сообщений: 15
  • Рейтинг: 3

Тема: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

В общем в индекс попадает куча мусора.
Написал впервые, может что-то лишнее закрыл?

User-agent: *
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: /register/
Disallow: /auth*
Disallow: *?s=*
Disallow: *sort=*
Disallow: *view=*
Disallow: *viewAs=*
Disallow: *utm=*
Disallow: *?pageSize=*
Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*
Allow: /*/*.js
Allow: /*/*.css
Allow: */uploads

User-agent: GoogleBot
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: /register/
Disallow: /auth*
Disallow: *?s=*
Disallow: *sort=*
Disallow: *view=*
Disallow: *viewAs=*
Disallow: *utm=*
Disallow: *?pageSize=*
Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif

User-agent: Yandex
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: /register/
Disallow: /auth*
Disallow: *?s=*
Disallow: *sort=*
Disallow: *view=*
Disallow: *viewAs=*
Disallow: *utm=*
Disallow: *?pageSize=*
Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif

Повысить оценку Понизить оценку

  • Откуда: Краснодар
  • Зарегистрирован: 01.09.2014
  • Сообщений: 2,955
  • Рейтинг: 252

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

Выставляйте Allow только тогда когда вы закрываете раздел, но в хотите один подраздел в Вашем разделе открыть. Например. У вас есть раздел Автомобили, вы его закрыли от индексации через Disallow. Внутри него лежат Разделы Ваз, Holda и Lexus. Вы хотите, чтобы раздел Lexus попадал в выдачу, тогда используйте Allow. Но суда по Вашим правилам, Allow тут вообще бессмысленный, тем более на JS и CSS и картинки. Они и так попадают в поиск.
Лишнее, здесь во первых указание правил Всем, потом Яндексу и Гугл и при этом одинаковое. Оставьте уже всем.
Второе.

Disallow: *?s=*
Disallow: /plugins/
Disallow: /search/

Такого у нас не существует.
Лучше добавить результаты поиска из введённой поисковой строки.

Disallow: *?query=*

utm метки надо закрывать, но это:

Disallow: *utm=*

не UTM метки.

Вот UTM метки.

Теперь:

Disallow: *?bfilter*
Disallow: *?p=*
Disallow: *?pf*
Disallow: *&p=*

Зачем Вам закрыть от индексации фильтры и постраничную навигацию?

СайтЗакусило Александр

Повысить оценку Понизить оценку

3 Ответ от Максим

  • Зарегистрирован: 03.02.2017
  • Сообщений: 15
  • Рейтинг: 3

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

Александр, спасибо за ответ.

1) по Allow  - понял.
2) по указаниям отдельных правил для поисковиков -  тоже понял.
3) Disallow: *?query=* - ОК
4) По фильтрам и навигации: как раз много страниц оттуда индексировалось, в том числе от этого и хочу избавиться. Мне кажется это лишнее. Я ошибаюсь?

Повысить оценку Понизить оценку

  • Зарегистрирован: 15.07.2016
  • Сообщений: 342
  • Рейтинг: 16

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

А правило в Disallow: разве не должно начинаться со слеша? Во всех примерах, которые видел ранее почему-то в начале стоит /

Как тут, например, http://forum.readyscript.ru/post/7481/#p7481

Повысить оценку Понизить оценку

  • Откуда: Краснодар
  • Зарегистрирован: 01.09.2014
  • Сообщений: 2,955
  • Рейтинг: 252

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

Максим пишет:

Александр, спасибо за ответ.

1) по Allow  - понял.
2) по указаниям отдельных правил для поисковиков -  тоже понял.
3) Disallow: *?query=* - ОК
4) По фильтрам и навигации: как раз много страниц оттуда индексировалось, в том числе от этого и хочу избавиться. Мне кажется это лишнее. Я ошибаюсь?

Ну всё зависит от того, что вы хотите получить. Например Вы продаёте сапоги. И при применении фильтра остаются только сапоги красного цвета. Человек, который ищет сапоги красного цвета, куда охотнее перейдет? На страницу общую с сапогами, или на страницу с сапогами красного цвета?

СайтЗакусило Александр

Повысить оценку Понизить оценку

  • Откуда: Краснодар
  • Зарегистрирован: 01.09.2014
  • Сообщений: 2,955
  • Рейтинг: 252

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

Владимир 1916 пишет:

А правило в Disallow: разве не должно начинаться со слеша? Во всех примерах, которые видел ранее почему-то в начале стоит /

Как тут, например, http://forum.readyscript.ru/post/7481/#p7481

Нет, оно в данном случае вообще не обязательно.

СайтЗакусило Александр

Повысить оценку Понизить оценку

  • Откуда: Краснодар
  • Зарегистрирован: 01.09.2014
  • Сообщений: 2,955
  • Рейтинг: 252

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

Вот например как сделано у меня:

User-agent: *
Disallow: /cart*
Disallow: /install*
Disallow: /feedback*
Disallow: /catalog/?query=*
Disallow: /auth*
Disallow: /my*
Disallow: /deliverycost*
Disallow: /register*
Disallow: /bitrix*
Disallow: /linki*
Disallow: /templates/buymysoft/mont.pdf
Disallow: *sort=*
Disallow: *?add*
Disallow: *referer=*
Disallow: *query=*
Disallow: *[cost]*
Disallow: *?pageSize*
Disallow: *?viewAs*
Disallow: *?frommarket=*
Disallow: /feedback-3/
Disallow: *pageSize=*
Disallow: *?;p=*
Disallow: *amp*
Disallow: *amp=*
Disallow: *utm_source*
Disallow: *utm_campaign*
Disallow: *utm_medium*
Disallow: *?%3B*
Disallow: /catalog/chasy/
Disallow: /catalog/gotovye--vyshitye-kartiny/
Disallow: /catalog/lastochki/
Disallow: /catalog/riolis-33268/
Disallow: /catalog/skrytaya-kategoriya/
Disallow: /catalog/supercena/
Disallow: /catalog/talismany-i-oberegi-biserom/
Disallow: /catalog/zhenskie-sorochki/
Disallow: /text-0*

СайтЗакусило Александр

Повысить оценку Понизить оценку

8 Ответ от Максим

  • Зарегистрирован: 03.02.2017
  • Сообщений: 15
  • Рейтинг: 3

Re: Посмотрите, плз, роботс.тхт. Ничего лишнего не закрыл?

Спасибо за ответы!

Повысить оценку Понизить оценку