Sergey T. пишет:User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ruAllow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3 и так далеепри этом Disallow: *?* они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?
Это запрет для того что бы в индекс не попадало, робот ходит по таким ссылкам без проблем и все товары видит, которые в индекс и попадают.
]]>У него в sitemap.xml есть все товары.
Александр! Если я правильно понимаю то вот этого:
User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
достаточно для правильной индексации страниц и мусора попасть в индекс должно минимум
и ещё вопрос если я запрещаю какую то страницу или ряд страниц в robots.txt они попадут в sitemap.xml или нет (то есть при генерации sitemap.xml происходит обращаение к robots.txt)?
мой вариант robots.txt что скажите?
User-agent: *
Disallow: /admin/
Disallow: /favorite/
Disallow: /my/
Disallow: /auth/
Disallow: /compare/
Disallow: /register/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback-*
Disallow: *?p=*
Sitemap: https://мой-сайт/sitemap-1.xml
Host: мой-сайт.ru
User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ruAllow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*
Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3 и так далее
при этом Disallow: *?* они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*
Победил все-таки эту проблему. Нужно было добавить вот такую запись, чтобы разрешить конкретный раздел или страницу в конце robots.txt
Allow: */catalog/krossovki/?bfilter*
Теперь все работает так как задумано!
Дайте полный код
]]>Allow: */catalog/krossovki/?bfilter*
Теперь все работает так как задумано!
]]>/?*и т.д.
Если Вам не нужно запрещать ?, то тогда можно удалить.
]]>User-agent: *
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Allow: /catalog/krossovki/?bfilter[brand][]=15
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13Но все также яндекс яндекс говорил, что url запрещен к индексации,
все проходит нормально только если удалить из файла вот это Disallow: *?*
Директива Allow
Вот наш robots.txt
User-agent: *
Allow: /catalog/krossovki/?bfilter[brand][]=15
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13В нем явно разрешена ссылка /catalog/krossovki/?bfilter[brand][]=15 но яндекс вебмастер все равно говорит, что страница запрещена к индексации или на нее влияет вот эта директива Disallow: *?*
Как сделать так, чтобы разрешить индексировать эту страницу, а все другие попадали под Disallow: *?*
]]>У клиента аудит сео-контора производила, так они наоборот заставили убрать фильтры. Достаточно страниц брендов с описанием.
А если бренд производит 10 видов какой-либо продукции и то, и то, и это как страницу данного бренда продвинуть и составить текст ?
]]>