Sergey T. пишет:

User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru

Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*

Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3  и так далее

при  этом Disallow: *?*  они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?

Это запрет для того что бы в индекс не попадало, робот ходит по таким ссылкам без проблем и все товары видит, которые в индекс и попадают.

У него в sitemap.xml есть все товары.

Александр! Если я правильно понимаю то вот этого:
User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

достаточно для правильной индексации страниц и мусора попасть в индекс должно минимум

и ещё вопрос если я запрещаю какую то страницу или ряд страниц в robots.txt они попадут в sitemap.xml или нет (то есть при генерации sitemap.xml происходит обращаение к robots.txt)?

мой вариант robots.txt что скажите?
User-agent: *
Disallow: /admin/
Disallow: /favorite/
Disallow: /my/
Disallow: /auth/
Disallow: /compare/
Disallow: /register/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback-*
Disallow: *?p=*

Sitemap: https://мой-сайт/sitemap-1.xml
Host: мой-сайт.ru

User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru

Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*

Сергей! Всё хорошо но помоему вы забыли вот такие страницы
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=2
http://www.luchski.ru/catalog/otdyh-i-turizm/?p=3  и так далее

при  этом Disallow: *?*  они не будут индексироваться, то есть уйма товаров не попадёт в индекс
Либо я что то не понимаю?

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru

Allow: */catalog/krossovki/?bfilter*
Allow: */catalog/lyzherollery/?bfilter*

Победил все-таки эту проблему. Нужно было добавить вот такую запись, чтобы разрешить конкретный раздел или страницу в конце robots.txt

Allow: */catalog/krossovki/?bfilter*

Теперь все работает так как задумано!

Дайте полный код

Allow: */catalog/krossovki/?bfilter*

Теперь все работает так как задумано!

/?*

и т.д.

Если Вам не нужно запрещать ?, то тогда можно удалить.

User-agent: *

Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/

Allow: /catalog/krossovki/?bfilter[brand][]=15

Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13

Но все также яндекс яндекс говорил, что url запрещен к индексации,
все проходит нормально только если удалить из файла вот это Disallow: *?*

Директива Allow

Вот наш robots.txt

User-agent: *
Allow: /catalog/krossovki/?bfilter[brand][]=15
Disallow: *?*
Disallow: /auth/
Disallow: /oneclick/
Disallow: /register/
Disallow: /cart/
Sitemap: http://www.luchski.ru/sitemap-1.xml
Host: www.luchski.ru
Order allow,deny
Allow from all
Deny from 188.143.232.13

В нем явно разрешена ссылка  /catalog/krossovki/?bfilter[brand][]=15 но яндекс вебмастер все равно говорит, что страница запрещена к индексации или на нее влияет вот эта директива Disallow: *?*

Как сделать так, чтобы разрешить индексировать эту страницу, а все другие попадали под Disallow: *?*

У клиента аудит сео-контора производила, так они наоборот заставили убрать фильтры.  Достаточно страниц брендов с описанием.

А если бренд производит 10 видов какой-либо продукции и то, и то, и это как страницу данного бренда продвинуть и составить текст ?