Тема: Sitemap вопрос

Хотелось бы, чтобы модуль добавлял не только ссылки на продукт, но еще и на производителей и прочие страницы. Как можно настроить?

2

Re: Sitemap вопрос

Веб-сайт->Настройка модулей->XML Sitemap поле "Добавить следующие адреса (каждый с новой строки)"

Повысить оценку Понизить оценку

Re: Sitemap вопрос

А если брендов много и других нужных страниц? Две сотни например. Каждую ссылку отдельно пока найдешь, скопируешь и вставишь... Можно конечно использовать сторонние сервисы, но хотелось, чтобы и ваш модуль умел многое

4

Re: Sitemap вопрос

Сейчас в sitemap попадают: Все товары; Статьи, у категорий которых отмечено "Показывать в sitemap". И есть возможность добавить произвольные ссылки.

Соответственно на практике есть 3 варианта:

1. Добавить ссылки вручную.
2. Вы можете разработать собственный модуль, который будет отрабатывать событие getpages, которое вызывается для получения страниц, возвращаемых в sitemap.
3. Или напишите пожелание в наш сервис пожеланий с описанием конкретных объектов, которые вы хотели бы чтобы попали в экспорт.

Повысить оценку Понизить оценку

5 Отредактировано Sergey T. (17.06.2016 09:35:37)

Re: Sitemap вопрос

Возникло несколько вопросов по карте сайта:

1. Почему в карту сайта не попадают категории товаров и фильтры, например по брендам? Мы сделали через сео контроль разные описания для страниц

http://www.luchski.ru/catalog/lyzherollery/
[url]http://www.luchski.ru/catalog/lyzherollery/?bfilter[brand][]=9[/url]

но этих страниц нет в sitemap.xml и я так понимаю в индексе поисковиков они появятся не скоро?



2. http://luchski.ru/sitemap-1.xml - вот наша ссылка на карту сайта, но физически на хостинге данного файла нет, так и должно быть?



3. Зашел в яндекс вебмастер, попробовал проверить как видит яндекс ссылку с фильтром вот эту [url]http://www.luchski.ru/catalog/lyzherollery/?bfilter[brand][]=9[/url]

и получил следующее:

http://s019.radikal.ru/i631/1606/a4/c9c9f2ee0303.jpg

Вот наш robots.txt, вроде ничего не запрещено относительно данных ссылок

User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13

Re: Sitemap вопрос

1. А зачем фильтры в sitemap? Это будет дополнительный мусор в поиске.
2. Физическое присутствие файла sitemap на сервере не обязательно. Главное чтобы Яндекс его видел.
3. Удалите строку Disallow: *?* и ссылки фильтра будут индексироваться, если конечно оно вам очень надо.
или создайте правила только для Яндекса:
User-agent: Yandex
Disallow... и т.д.

Повысить оценку Понизить оценку

Re: Sitemap вопрос

Причина запрета в
Disallow: *?*
Т.е.:
Запретить: ВСЁЧТОДОЗНАКА?ИВСЁЧТОПОСЛЕНЕГО

Re: Sitemap вопрос

У клиента аудит сео-контора производила, так они наоборот заставили убрать фильтры.  Достаточно страниц брендов с описанием.

9

Re: Sitemap вопрос

Спасибо за ответы! Но есть еще пару вопросов:

1. Как в robots.txt разрешить конкретную страницу к индексации, например эту
http://luchski.ru/catalog/lyzherollery/?bfilter[brand][]=9
читал читал инструкции и все равно не понял.

2. Если вбить в яндексе "Купить лыжные ботинки Spine", то где-то на первой странице найдется вот такой сайт
http://ekb.sportseason.ru/store/spine/ski-boots/ и на ней сделан сео текст конкретно под этот бренд, если убрать бренд, то мы попадем в основной каталог http://ekb.sportseason.ru/store/ski-boots/ в котором уже другой сео текст - эта страница ведь тоже попадает в индекс и это хорошо?

10

Re: Sitemap вопрос

Ярослав пишет:

У клиента аудит сео-контора производила, так они наоборот заставили убрать фильтры.  Достаточно страниц брендов с описанием.

А если бренд производит 10 видов какой-либо продукции и то, и то, и это как страницу данного бренда продвинуть и составить текст ?

Re: Sitemap вопрос

Директива Allow

12 Отредактировано Ярослав (17.06.2016 19:39:59)

Re: Sitemap вопрос

Sergey T., возможно еще добавлять на последней ветке категории ветвь с брендами. Даже автоматом это сделать возможно при загрузке. Фильтр оставить по брендам. Тогда будет именно как у спортсезона.  В результате в поиске будут красивые ссылки.

13 Отредактировано Sergey T. (21.06.2016 18:17:32)

Re: Sitemap вопрос

Закусило Александр пишет:

Директива Allow

Вот наш robots.txt

User-agent: *
Allow: /catalog/krossovki/?bfilter[brand][]=15
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13

В нем явно разрешена ссылка  /catalog/krossovki/?bfilter[brand][]=15 но яндекс вебмастер все равно говорит, что страница запрещена к индексации или на нее влияет вот эта директива Disallow: *?*

Как сделать так, чтобы разрешить индексировать эту страницу, а все другие попадали под Disallow: *?*

Re: Sitemap вопрос

Всё верно. Ведь парядок имеет значение. Вы сначала разрешаете, а потом всё запрещаете.

15

Re: Sitemap вопрос

Поменял порядок

User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Allow: /catalog/krossovki/?bfilter[brand][]=15

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13

Но все также яндекс яндекс говорил, что url запрещен к индексации,
все проходит нормально только если удалить из файла вот это Disallow: *?*

Re: Sitemap вопрос

как вариант, можно прописать конкретные запреты на "?" если это нужно. Например для главной страницы

/?*

и т.д.

Если Вам не нужно запрещать ?, то тогда можно удалить.

17

Re: Sitemap вопрос

Победил все-таки эту проблему. Нужно было добавить вот такую запись, чтобы разрешить конкретный раздел или страницу в конце robots.txt

Allow: */catalog/krossovki/?bfilter*

Теперь все работает так как задумано!

Re: Sitemap вопрос

Sergey T. пишет:

Победил все-таки эту проблему. Нужно было добавить вот такую запись, чтобы разрешить конкретный раздел или страницу в конце robots.txt

Allow: */catalog/krossovki/?bfilter*

Теперь все работает так как задумано!

Дайте полный код

19 Отредактировано Sergey T. (05.07.2016 20:59:33)

Re: Sitemap вопрос

User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru

Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*

20

Re: Sitemap вопрос

Sergey T. пишет:

User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru

Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*

Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3  и так далее

при  этом Disallow: *?*  они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?

Re: Sitemap вопрос

У него в sitemap.xml есть все товары.

22

Re: Sitemap вопрос

Закусило Александр пишет:

У него в sitemap.xml есть все товары.

Александр! Если я правильно понимаю то вот этого:
User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

достаточно для правильной индексации страниц и мусора попасть в индекс должно минимум

и ещё вопрос если я запрещаю какую то страницу или ряд страниц в robots.txt они попадут в sitemap.xml или нет (то есть при генерации sitemap.xml происходит обращаение к robots.txt)?

мой вариант robots.txt что скажите?
User-agent: *
Disallow: /admin/
Disallow: /favorite/
Disallow: /my/
Disallow: /auth/
Disallow: /compare/
Disallow: /register/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback-*
Disallow: *?p=*

Sitemap: https://мой-сайт/sitemap-1.xml
Host: мой-сайт.ru

Re: Sitemap вопрос

Нет конечно. robots.txt это директивы для роботов, которые всё равно ходят по страницам, но учитывают Ваши правила. В настройках модуля Sitemap можно ввести ограничения на не нужные страницы.

24

Re: Sitemap вопрос

Денис пишет:
Sergey T. пишет:

User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru

Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*

Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3  и так далее

при  этом Disallow: *?*  они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?

Это запрет для того что бы в индекс не попадало, робот ходит по таким ссылкам без проблем и все товары видит, которые в индекс и попадают.

Повысить оценку Понизить оценку