Тема: robot.txt
Заметил , что его нет. Получается он не нужен вовсе?
Re: robot.txt
В последней версии были добавлены функции по генерации и управлению robots.txt из админ.панели. Раннее robots.txt можно было создать самостоятельно по FTP.
Сейчас вы можете зайти в раздел Управление->Сайты. Открыть к редактированию сайт, установить флажок "Обновить robots.txt" и сохранить сайт robots.txt будет создан автоматически. Далее в списке действий над сайтом есть действие - "редактировать robots.txt".
Re: robot.txt
admin пишет:
В последней версии были добавлены функции по генерации и управлению robots.txt из админ.панели. Раннее robots.txt можно было создать самостоятельно по FTP.
Сейчас вы можете зайти в раздел Управление->Сайты. Открыть к редактированию сайт, установить флажок "Обновить robots.txt" и сохранить сайт robots.txt будет создан автоматически. Далее в списке действий над сайтом есть действие - "редактировать robots.txt".
У меня его нет, получается у меня более старая версия наверное. После того как я куплю лицензию я смогу обновить клиент и данная опция появится?
Re: robot.txt
Robots.txt - это необязательный файл, создавать его просто для наличия (если у вас нет задач, например, закрыть какие-то разделы от индексации или определить главный домен, и.т.д.) - нет смысла. А вот например, если у вашего сайта есть несколько доменов (зеркал), то в нем можно задать главный домен следующими строками:
User-agent: *
Host: ВАШ_ДОМЕН.РУ
Re: robot.txt
Маловато строк для robots.txt, а ведь надо закрыть все ненужные ссылки типа Корзина, Сравнение товаров, Фильтры и пр.
Если все это не закрывать то в индекс попадают много ненужных страниц.
Где можно посмотреть пример правильного robots???
Re: robot.txt
В последних версиях шаблонов - большинство лишних ссылок оформлены через атрибут data-href, вместо href,
сюда относятся ссылки - добавить в корзину, купить в 1 клик, Заказать, и др.
Таким образом поисковики их не индексируют.
Но можете дополнительно использовать еще следующий robots.txt:
User-agent: *
Disallow: /oneclick
Disallow: /register
Disallow: /auth
Disallow: /reservation
Disallow: /*?sort=*
Disallow: /*pageSize=*
Disallow: /*nsort=*
Disallow: /*viewAs*
Disallow: /*?query=*
Disallow: /*?bfilter*
Disallow: /cart +3
Re: robot.txt
Админ, скажите пожалуйста, где я могу увидеть карту своего магазина?
9 14.08.2016 23:26:55 Отредактировано Закусило Александр (14.08.2016 23:28:01)
Re: robot.txt
Ирина пишет:
Админ, скажите пожалуйста, где я могу увидеть карту своего магазина?
Посмотрите путь в настройках модуля sitemap (XML Sitemap). Конечно если речь идёт о sitemap.xml
Re: robot.txt
admin пишет:
В последних версиях шаблонов - большинство лишних ссылок оформлены через атрибут data-href, вместо href,
сюда относятся ссылки - добавить в корзину, купить в 1 клик, Заказать, и др.
Таким образом поисковики их не индексируют.Но можете дополнительно использовать еще следующий robots.txt:
User-agent: * Disallow: /oneclick Disallow: /register Disallow: /auth Disallow: /reservation Disallow: /*?sort=* Disallow: /*pageSize=* Disallow: /*nsort=* Disallow: /*viewAs* Disallow: /*?query=* Disallow: /*?bfilter* Disallow: /cart
Здравствуйте.
Хотел уточнить следующее.
Disallow: /*pageSize=* необходимо прописывать без знака "?" или со знаком вопроса, то есть так *?pageSize=*?
Re: robot.txt
Если вы желаете убирать переменную pageSize в любой позиции URL, то нужно писать без вопроса.
URL же бывает разный:
/catalog/your-category/?pageSize=12
/catalog/your-category/?page=1&pageSize=12
Re: robot.txt
Всем привет, подскажите как убрать из индексации страницы из фильтра? В индекс попадают страницы с разными комбинациями выбора фильтров, бренды по одному, два вместе, три вместе бренд+характеристика и т.п. В robot.txt есть строка Disallow: /*?bfilter* но она не помогает
Re: robot.txt
Андрей пишет:
Всем привет, подскажите как убрать из индексации страницы из фильтра? В индекс попадают страницы с разными комбинациями выбора фильтров, бренды по одному, два вместе, три вместе бренд+характеристика и т.п. В robot.txt есть строка Disallow: /*?bfilter* но она не помогает
Посмотрите, что общего есть в этих строках. По принципу Disallow: /*?bfilter* пропишите в роботс/
вот такой скорее всего есть префикс? *pf[*=
нужно тогда добавить Disallow: /*pf[*=
Re: robot.txt
Посмотрите, что общего есть в этих строках. По принципу Disallow: /*?bfilter* пропишите в роботс/
вот такой скорее всего есть префикс? *pf[*=
Я в общем пошел по этому принципу, но общего нет ничего ))
Re: robot.txt
Приведите несколько примеров адресов таких страниц, которые вы хотите закрыть. Так было бы проще понять
Re: robot.txt
Вот:
/catalog/suhoy-korm-dlya-sobak/brand_barking-heads_brit_farmina/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/brand_nutram/
Re: robot.txt
Андрей пишет:
Вот:
/catalog/suhoy-korm-dlya-sobak/brand_barking-heads_brit_farmina/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/333_ot-1-goda-do-6-let/osobennosti_76/
/catalog/suhoy-korm-dlya-sobak/brand_nutram/
Ну и вбейте в роботс Disallow: перед тем, что написали
Disallow: /catalog/suhoy-korm-dlya-sobak/brand_barking-heads_brit_farmina/
и так далее
Re: robot.txt
Андрей пишет:
449 страниц таких )))
А какую цель вы преследуете, когда столько страниц разом хотите из индекса выкинуть?
Явно в вашем сео что-то не то
Re: robot.txt
Polo Art пишет:
Андрей пишет:449 страниц таких )))
А какую цель вы преследуете, когда столько страниц разом хотите из индекса выкинуть?
Явно в вашем сео что-то не то
Почему такой вывод? Просто индексируются страницы например когда выбраны два различных бренда одновременно, или три или четыре и ТД не эти страницы в индексе не нужны потому что смысла в них никакого нет.
Re: robot.txt
Андрей пишет:
Почему такой вывод? Просто индексируются страницы например когда выбраны два различных бренда одновременно, или три или четыре и ТД не эти страницы в индексе не нужны потому что смысла в них никакого нет.
Примите извинения, я не до конца урлы приведённые посмотрел. Подумал, что это категории.
Хорошо, а если модуль в маркете появится для этих целей?
У нас есть модуль, который добавляет в товары и категории noindex, но можно его и на фильтры попробовать накинуть, правда пока не знаю, как лучше сделать - завтра обсудим, как все будут на работе.
Re: robot.txt
Мне поддержка ответила
"В одном из следующих обновлений мы добавим атрибут rel=canonical , который объединит URL повторяющихся страниц,
это должно исправить вашу проблему"
23 29.06.2021 11:52:40 Отредактировано Polo Art (29.06.2021 11:52:53)
Re: robot.txt
Андрей пишет:
мы добавим атрибут rel=canonical
Вот это отличная новость! Канонические очень нужны и в данном случае классно подойдут.
