Тема: Sitemap вопрос
Хотелось бы, чтобы модуль добавлял не только ссылки на продукт, но еще и на производителей и прочие страницы. Как можно настроить?
Форум ReadyScript Вопросы по работе с системой Sitemap вопрос
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Хотелось бы, чтобы модуль добавлял не только ссылки на продукт, но еще и на производителей и прочие страницы. Как можно настроить?
Веб-сайт->Настройка модулей->XML Sitemap поле "Добавить следующие адреса (каждый с новой строки)"
А если брендов много и других нужных страниц? Две сотни например. Каждую ссылку отдельно пока найдешь, скопируешь и вставишь... Можно конечно использовать сторонние сервисы, но хотелось, чтобы и ваш модуль умел многое
Сейчас в sitemap попадают: Все товары; Статьи, у категорий которых отмечено "Показывать в sitemap". И есть возможность добавить произвольные ссылки.
Соответственно на практике есть 3 варианта:
1. Добавить ссылки вручную.
2. Вы можете разработать собственный модуль, который будет отрабатывать событие getpages, которое вызывается для получения страниц, возвращаемых в sitemap.
3. Или напишите пожелание в наш сервис пожеланий с описанием конкретных объектов, которые вы хотели бы чтобы попали в экспорт.
Возникло несколько вопросов по карте сайта:
1. Почему в карту сайта не попадают категории товаров и фильтры, например по брендам? Мы сделали через сео контроль разные описания для страниц
http://www.luchski.ru/catalog/lyzherollery/
[url]http://www.luchski.ru/catalog/lyzherollery/?bfilter[brand][]=9[/url]
но этих страниц нет в sitemap.xml и я так понимаю в индексе поисковиков они появятся не скоро?
2. http://luchski.ru/sitemap-1.xml - вот наша ссылка на карту сайта, но физически на хостинге данного файла нет, так и должно быть?
3. Зашел в яндекс вебмастер, попробовал проверить как видит яндекс ссылку с фильтром вот эту [url]http://www.luchski.ru/catalog/lyzherollery/?bfilter[brand][]=9[/url]
и получил следующее:
Вот наш robots.txt, вроде ничего не запрещено относительно данных ссылок
User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13
1. А зачем фильтры в sitemap? Это будет дополнительный мусор в поиске.
2. Физическое присутствие файла sitemap на сервере не обязательно. Главное чтобы Яндекс его видел.
3. Удалите строку Disallow: *?* и ссылки фильтра будут индексироваться, если конечно оно вам очень надо.
или создайте правила только для Яндекса:
User-agent: Yandex
Disallow... и т.д.
Причина запрета в
Disallow: *?*
Т.е.:
Запретить: ВСЁЧТОДОЗНАКА?ИВСЁЧТОПОСЛЕНЕГО
У клиента аудит сео-контора производила, так они наоборот заставили убрать фильтры. Достаточно страниц брендов с описанием.
Спасибо за ответы! Но есть еще пару вопросов:
1. Как в robots.txt разрешить конкретную страницу к индексации, например эту
http://luchski.ru/catalog/lyzherollery/?bfilter[brand][]=9
читал читал инструкции и все равно не понял.
2. Если вбить в яндексе "Купить лыжные ботинки Spine", то где-то на первой странице найдется вот такой сайт
http://ekb.sportseason.ru/store/spine/ski-boots/ и на ней сделан сео текст конкретно под этот бренд, если убрать бренд, то мы попадем в основной каталог http://ekb.sportseason.ru/store/ski-boots/ в котором уже другой сео текст - эта страница ведь тоже попадает в индекс и это хорошо?
У клиента аудит сео-контора производила, так они наоборот заставили убрать фильтры. Достаточно страниц брендов с описанием.
А если бренд производит 10 видов какой-либо продукции и то, и то, и это как страницу данного бренда продвинуть и составить текст ?
Sergey T., возможно еще добавлять на последней ветке категории ветвь с брендами. Даже автоматом это сделать возможно при загрузке. Фильтр оставить по брендам. Тогда будет именно как у спортсезона. В результате в поиске будут красивые ссылки.
Директива Allow
Вот наш robots.txt
User-agent: *
Allow: /catalog/krossovki/?bfilter[brand][]=15
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13
В нем явно разрешена ссылка /catalog/krossovki/?bfilter[brand][]=15 но яндекс вебмастер все равно говорит, что страница запрещена к индексации или на нее влияет вот эта директива Disallow: *?*
Как сделать так, чтобы разрешить индексировать эту страницу, а все другие попадали под Disallow: *?*
Всё верно. Ведь парядок имеет значение. Вы сначала разрешаете, а потом всё запрещаете.
Поменял порядок
User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Allow: /catalog/krossovki/?bfilter[brand][]=15
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13
Но все также яндекс яндекс говорил, что url запрещен к индексации,
все проходит нормально только если удалить из файла вот это Disallow: *?*
как вариант, можно прописать конкретные запреты на "?" если это нужно. Например для главной страницы
/?*
и т.д.
Если Вам не нужно запрещать ?, то тогда можно удалить.
Победил все-таки эту проблему. Нужно было добавить вот такую запись, чтобы разрешить конкретный раздел или страницу в конце robots.txt
Allow: */catalog/krossovki/?bfilter*
Теперь все работает так как задумано!
Победил все-таки эту проблему. Нужно было добавить вот такую запись, чтобы разрешить конкретный раздел или страницу в конце robots.txt
Allow: */catalog/krossovki/?bfilter*
Теперь все работает так как задумано!
Дайте полный код
User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*
User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ruAllow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*
Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3 и так далее
при этом Disallow: *?* они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?
У него в sitemap.xml есть все товары.
Александр! Если я правильно понимаю то вот этого:
User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
достаточно для правильной индексации страниц и мусора попасть в индекс должно минимум
и ещё вопрос если я запрещаю какую то страницу или ряд страниц в robots.txt они попадут в sitemap.xml или нет (то есть при генерации sitemap.xml происходит обращаение к robots.txt)?
мой вариант robots.txt что скажите?
User-agent: *
Disallow: /admin/
Disallow: /favorite/
Disallow: /my/
Disallow: /auth/
Disallow: /compare/
Disallow: /register/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback-*
Disallow: *?p=*
Sitemap: https://мой-сайт/sitemap-1.xml
Host: мой-сайт.ru
Нет конечно. robots.txt это директивы для роботов, которые всё равно ходят по страницам, но учитывают Ваши правила. В настройках модуля Sitemap можно ввести ограничения на не нужные страницы.
Sergey T. пишет:User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ruAllow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3 и так далеепри этом Disallow: *?* они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?
Это запрет для того что бы в индекс не попадало, робот ходит по таким ссылкам без проблем и все товары видит, которые в индекс и попадают.
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Форум ReadyScript Вопросы по работе с системой Sitemap вопрос