Тема: Яндекс удаляет страницы

Подскажите, пожалуйста, кто знает. Вебмастер на все страницы пишет: Формат документа не поддерживается индексирующим роботом. Обратите внимание на корректность заголовка Content-Type и на содержимое документа.

Прежде сайт работал совершенно нормально.

Написали на хостинг, там сказали, что

"подобная ошибка может возникать из включенного gzip сжатие в настройках CMS. Проверьте пожалуйста сжатие gzip сжатие в настройках CMS и во избежание конфликтов отключите его. Сжатие производится на сервере ngnix."

Никто не сталкивался с подобным?

p.s. Ошибку получил только сегодня, а вчера прилетело обновление. Нет тут связи?

2

Re: Яндекс удаляет страницы

У нас в RS не было никаких изменений, связанных с GZIP сжатием.
Оно всегда по умолчанию у нас включено с 2013 года.

Может быть хостер включил zlib.output_compression в php.ini на всем хостинге?

Повысить оценку Понизить оценку

3

Re: Яндекс удаляет страницы

для начала url сайта сообщите.

Повысить оценку Понизить оценку

Re: Яндекс удаляет страницы

https://1zip.pro/

Примеры страниц:
https://1zip.pro/product/35518/

https://1zip.pro/product/35687/

https://1zip.pro/product/36002/
...
Старый статус: В поиске
Новый статус: Неподдерживаемый формат
Формат документа не поддерживается индексирующим роботом. Обратите внимание на корректность заголовка Content-Type и на содержимое документа.

Ответ "[url]https://1zip.pro/product/36002/[/url]" → Основной робот Яндекса
Код статуса HTTP    200 OK
Время ответа сервера    911мс
IP сайта    87.236.16.171
Кодировка    UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы    51,92КБ

    Server: nginx-reuseport/1.13.4
    Date: Wed, 04 Dec 2019 13:23:42 GMT
    Content-Type: text/html; charset=utf-8
    Transfer-Encoding: chunked
    Connection: keep-alive
    Keep-Alive: timeout=30
    X-Powered-By: PHP/7.2.16
    Set-Cookie: *****2ad469d418f543304660a907fbf=*****7bd170ad7e48cb190acce904eb5; path=/; HttpOnly
    Expires: Thu, 19 Nov 1981 08:52:00 GMT
    Cache-Control: no-store, no-cache, must-revalidate
    Pragma: no-cache
    Set-Cookie: guest=0eb69f189df963f848d01d060e7135d2; expires=Fri, 03-Dec-2021 13:23:41 GMT; Max-Age=63072000; path=/
    Set-Cookie: viewdynamiccatalogmode=2
    Content-Encoding: gzip
    Vary: Accept-Encoding

5

Re: Яндекс удаляет страницы

В заголовках все как обычно.
Браузер хорошо открывает эти страницы, значит контент действительно соответствует заголовкам.

Остаются вопросы только к Яндексу.

Повысить оценку +1 Понизить оценку

Re: Яндекс удаляет страницы

Ответ яндекса.  Похоже хостинг "барахлит" или искать другую причину?
Подскажите, если знаете


Мы проверили, страницы были исключены, так как при обращениях нашего индексирующего робота они периодически отдавали контент в формате, который им не поддерживается, из-за чего проиндексировать их не удавалось. Это может быть связано с тем, что страницы отдают некорректные http-заголовки или не отдают документ в HTML-формате, либо, например, страницы на запросы отдают некорректный gzip-архив. Для выяснения причин появления проблемы вы можете обратиться к администратору сервера, на котором расположен сайт, либо вашему хостинг-провайдеру. Возможно также, что запросы с некоторых IP-адресов роботов Яндекса блокируются на стороне сервера, поэтому рекомендуем проверить настройки на возможность таких блокировок. Подробнее о том, как проверить, что робот принадлежит Яндексу, вы можете узнать в нашем разделе Помощи: https://yandex.ru/support/webmaster/rob … obots.html

Например, страница https://1zip.pro/product/36002/ была недоступна при обращении робота 2019.11.28 08:55:57. Чтобы страницы могли корректно индексироваться роботом, они должны быть постоянно доступны, отвечать кодом 200 ОК и отдавать контент в HTML-формате. Тогда они смогут вернуться в поиск по мере их переобхода роботом с обновлениями поисковых баз.

Мы также передали пример вашего сайта нашим специалистам для более подробного изучения, чтобы проверить ситуацию с обходом сайта. Если у меня появится дополнительная информация по вопросу или потребуются дополнительные действия, я свяжусь с вами немного позднее.

Re: Яндекс удаляет страницы

Скорее всего у хостера что -о. Впервые такие проблема, а магазинов уже довольно много.

Re: Яндекс удаляет страницы

Да скорее всего хостинг

9

Re: Яндекс удаляет страницы

Странно, вообще. Бегет - хороший хостинг.
Если у них проблемы, они признают и исправят.

10

Re: Яндекс удаляет страницы

Алексей, посмотрел ваш сайт... хм-хм.
Вы хоть возможностями RS пользуйтесь.
У вас не проставлены алиасы на продукты и категории.
Тайтлы куцые (== название категории/товара)
Цены не округлены
Модулем seo-control не пользуетесь

и, посложнее
По модели подбора нет
Посадочными страницами через Подбор товаров не пользуетесь

и, попроще
Каталог через Ж.
Хочу я купить картридж для, допустим, HP P1005. Открываю Картриджи - Лазерный картридж - HP и... получаю Boost, Hi-Black, MSE, Static Control(!) Юзабилити просто на "максимуме"

Зацените, как у топов сделано
https://www.citilink.ru/supplies/

Я не критикую, и не предлагаю услуги - просто направляю на исправления.
RS - довольно мощный в seo продукт, надо использовать фишечки-то. Ребята старались smile

11

Re: Яндекс удаляет страницы

Спасибо за критику.

У вас не проставлены алиасы на продукты и категории.

Если их проставлю, поменяются же все адреса страниц.

Тайтлы куцые (== название категории/товара)

Подскажите - это что?

По модели подбора нет

К сожалению отключил. Не используют вовсе. Для нашего заказчика кроме строки поиска как будто вообще ничего не существует. Динамическое меню тоже убираю, т.к. грузит сильно БД.

Посадочными страницами через Подбор товаров не пользуетесь

Если не сложно, покажите мне пример посадочной страницы сделанной в RS и как она через подбор товаров используется

Спасибо

12

Re: Яндекс удаляет страницы

Алексей, здравствуйте.

1. Если проставить алиасы, основным адресом будет страница с алиасом, но, если перейти с числом, то будет редирект на страницу с алиасом. Ничего не потеряется.
2. Тайтлы - это <title> Я имел в виду, что они непродающие, несеошные.
3. без комментариев smile если надо, значит, надо - вам виднее
4. Посадочная выглядит точно также, как и любая другая страница категории товаров. Остальное вполне понятно описано в документации - https://readyscript.ru/manual/catalog_c … eo_filters

13

Re: Яндекс удаляет страницы

Спасибо за разъяснения!