1

Тема: robot.txt

Заметил , что его нет. Получается он не нужен вовсе?

2

Re: robot.txt

В последней версии были добавлены функции по генерации и управлению robots.txt из админ.панели. Раннее robots.txt можно было создать самостоятельно по FTP.

Сейчас вы можете зайти в раздел Управление->Сайты. Открыть к редактированию сайт, установить флажок "Обновить robots.txt" и сохранить сайт robots.txt будет создан автоматически. Далее в списке действий над сайтом есть действие - "редактировать robots.txt".

Повысить оценку Понизить оценку

3

Re: robot.txt

admin пишет:

В последней версии были добавлены функции по генерации и управлению robots.txt из админ.панели. Раннее robots.txt можно было создать самостоятельно по FTP.

Сейчас вы можете зайти в раздел Управление->Сайты. Открыть к редактированию сайт, установить флажок "Обновить robots.txt" и сохранить сайт robots.txt будет создан автоматически. Далее в списке действий над сайтом есть действие - "редактировать robots.txt".

У меня его нет, получается у меня более старая версия наверное. После того как я куплю лицензию я смогу обновить клиент и данная опция появится?

4

Re: robot.txt

если не сложно выложите пример файла

5

Re: robot.txt

Robots.txt - это необязательный файл, создавать его просто для наличия (если у вас нет задач, например, закрыть какие-то разделы от индексации или определить главный домен, и.т.д.) - нет смысла. А вот например, если у вашего сайта есть несколько доменов (зеркал), то в нем можно задать главный домен следующими строками:

User-agent: *
Host: ВАШ_ДОМЕН.РУ

Повысить оценку Понизить оценку

6

Re: robot.txt

Маловато строк для robots.txt, а ведь надо закрыть все ненужные ссылки типа Корзина, Сравнение товаров, Фильтры и пр.
Если все это не закрывать то в индекс попадают много ненужных страниц.
Где можно посмотреть пример правильного robots???

Повысить оценку Понизить оценку

7

Re: robot.txt

В последних версиях шаблонов - большинство лишних ссылок оформлены через атрибут data-href, вместо href,
сюда относятся ссылки - добавить в корзину, купить в 1 клик, Заказать, и др.
Таким образом поисковики их не индексируют.

Но можете дополнительно использовать еще следующий robots.txt:

User-agent: *
Disallow: /oneclick
Disallow: /register
Disallow: /auth
Disallow: /reservation
Disallow: /*?sort=*
Disallow: /*pageSize=*
Disallow: /*nsort=*
Disallow: /*viewAs*
Disallow: /*?query=*
Disallow: /*?bfilter*
Disallow: /cart

Повысить оценку +3 Понизить оценку

8

Re: robot.txt

Админ, скажите пожалуйста, где я могу увидеть карту своего магазина?

Повысить оценку Понизить оценку

9 Отредактировано Закусило Александр (14.08.2016 23:28:01)

Re: robot.txt

Ирина пишет:

Админ, скажите пожалуйста, где я могу увидеть карту своего магазина?

Посмотрите путь в настройках модуля sitemap (XML Sitemap). Конечно если речь идёт о sitemap.xml

10

Re: robot.txt

admin пишет:

В последних версиях шаблонов - большинство лишних ссылок оформлены через атрибут data-href, вместо href,
сюда относятся ссылки - добавить в корзину, купить в 1 клик, Заказать, и др.
Таким образом поисковики их не индексируют.

Но можете дополнительно использовать еще следующий robots.txt:

User-agent: *
Disallow: /oneclick
Disallow: /register
Disallow: /auth
Disallow: /reservation
Disallow: /*?sort=*
Disallow: /*pageSize=*
Disallow: /*nsort=*
Disallow: /*viewAs*
Disallow: /*?query=*
Disallow: /*?bfilter*
Disallow: /cart

Здравствуйте.

Хотел уточнить следующее.
Disallow: /*pageSize=* необходимо прописывать без знака "?" или со знаком вопроса, то есть так *?pageSize=*?

Повысить оценку Понизить оценку

11

Re: robot.txt

Если вы желаете убирать переменную pageSize в любой позиции URL, то нужно писать без вопроса.

URL же бывает разный:
/catalog/your-category/?pageSize=12
/catalog/your-category/?page=1&pageSize=12

Повысить оценку Понизить оценку

12

Re: robot.txt

Всем привет, подскажите как убрать из индексации страницы из фильтра? В индекс попадают страницы с разными комбинациями выбора фильтров, бренды по одному, два вместе, три вместе бренд+характеристика и т.п. В robot.txt есть строка Disallow: /*?bfilter* но она не помогает

Повысить оценку Понизить оценку

13

Re: robot.txt

Андрей пишет:

Всем привет, подскажите как убрать из индексации страницы из фильтра? В индекс попадают страницы с разными комбинациями выбора фильтров, бренды по одному, два вместе, три вместе бренд+характеристика и т.п. В robot.txt есть строка Disallow: /*?bfilter* но она не помогает

Посмотрите, что общего есть в этих строках. По принципу Disallow: /*?bfilter* пропишите в роботс/
вот такой скорее всего есть префикс?  *pf[*=

нужно тогда добавить Disallow: /*pf[*=

14

Re: robot.txt

Посмотрите, что общего есть в этих строках. По принципу Disallow: /*?bfilter* пропишите в роботс/
вот такой скорее всего есть префикс?  *pf[*=


Я в общем пошел по этому принципу, но общего нет ничего ))

Повысить оценку Понизить оценку

15

Re: robot.txt

Приведите несколько примеров адресов таких страниц, которые вы хотите закрыть. Так было бы проще понять

16

Re: robot.txt

Вот:

/catalog/suhoy-korm-dlya-sobak/brand_barking-heads_brit_farmina/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/brand_nutram/

Повысить оценку Понизить оценку

17

Re: robot.txt

Андрей пишет:

Вот:

/catalog/suhoy-korm-dlya-sobak/brand_barking-heads_brit_farmina/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/brand_nutram/

Ну и вбейте в роботс Disallow: перед тем, что написали
Disallow: /catalog/suhoy-korm-dlya-sobak/brand_barking-heads_brit_farmina/
и так далее

18

Re: robot.txt

449 страниц таких )))

Повысить оценку Понизить оценку

19

Re: robot.txt

Андрей пишет:

449 страниц таких )))

А какую цель вы преследуете, когда столько страниц разом хотите из индекса выкинуть?
Явно в вашем сео что-то не то

20

Re: robot.txt

Polo Art пишет:
Андрей пишет:

449 страниц таких )))

А какую цель вы преследуете, когда столько страниц разом хотите из индекса выкинуть?
Явно в вашем сео что-то не то

Почему такой вывод? Просто индексируются страницы например когда выбраны два различных бренда одновременно, или три или четыре и ТД  не эти страницы в индексе не нужны потому что смысла в них никакого нет.

Повысить оценку Понизить оценку

21

Re: robot.txt

Андрей пишет:

Почему такой вывод? Просто индексируются страницы например когда выбраны два различных бренда одновременно, или три или четыре и ТД  не эти страницы в индексе не нужны потому что смысла в них никакого нет.

Примите извинения, я не до конца урлы приведённые посмотрел. Подумал, что это категории.

Хорошо, а если модуль в маркете появится для этих целей?
У нас есть модуль, который добавляет в товары и категории noindex, но можно его и на фильтры попробовать накинуть, правда пока не знаю, как лучше сделать - завтра обсудим, как все будут на работе.

22

Re: robot.txt

Мне поддержка ответила
"В одном из следующих обновлений мы добавим атрибут rel=canonical , который объединит URL повторяющихся страниц,
это должно исправить вашу проблему"

Повысить оценку Понизить оценку

23 Отредактировано Polo Art (29.06.2021 11:52:53)

Re: robot.txt

Андрей пишет:

мы добавим атрибут rel=canonical

Вот это отличная новость! Канонические очень нужны и в данном случае классно подойдут.