К содержимому
Все материалы

Почему собраны не все страницы каталога

Что проверить, если сбор вернул меньше товаров: состояние запуска, выборку, переходы между страницами, фильтры и ключ записи. Короткий маршрут диагностики.

Редакция AkmeloО продукте и работе с данными
Последовательность небольших страниц каталога с выделенным переходомИзображение недоступно

Сценарий завершился без ошибки, а товаров оказалось заметно меньше ожидаемого. Сначала стоит проверить несколько возможных причин: сценарий посетил только первую страницу, сработал фильтр или запуск закончился раньше полного обхода.

Сопоставьте список полученных записей с журналом обработанных страниц. Для начала выберите один товар, который должен был попасть в результат, но отсутствует.

Проверьте состояние и границы запуска

Откройте карточку прогона. Убедитесь, что он завершился полностью, а не был остановлен, отменён или ограничен доступными ресурсами. Частичный результат может содержать корректные записи, но не представлять весь каталог.

Если смотрите предпросмотр пробного запуска, учитывайте ограничения этого режима. Он нужен для проверки логики и не обязан показывать весь ассортимент.

Далее проверьте настройки самого сценария: выбранные категории, глубину поиска, список товаров и условия фильтрации. Иногда результат точно соответствует настройке, просто исходное ожидание было шире.

Проследите переход между страницами

Найдите в журнале страниц последовательность адресов или запросов. Менялся ли номер страницы? Отличалось ли содержимое ответов? Есть ли подтверждение, что обработка дошла до следующей части выдачи?

Успешный HTTP-ответ не доказывает переход. Источник может вернуть прежнюю страницу, пустой список или служебное сообщение. Сверьте содержимое, а не только код ответа.

На схеме четыре шага: сверить условия выборки, проверить переходы, открыть журнал и сравнить полученные карточки.

Проверка полноты сбора: условия выборки, переходы страниц, журнал и сравнение карточекИзображение недоступно

Посмотрите, что произошло с найденными товарами

Если нужные страницы прочитаны, проверьте извлечение полей и правила обработки. Записи могли не пройти проверку, не соответствовать фильтру или объединиться по одинаковому ключу.

Сравните несколько товаров, которые видны в ответе, с полученной таблицей. Если разные варианты имеют один ключ, количество итоговых строк может уменьшиться без сетевой ошибки.

Исправляйте одну причину за раз и проверяйте её на небольшой выборке. Например, после правки перехода сначала проверьте две соседние страницы и убедитесь, что вернулись разные товары.

Работу со страницами и журналом описывает документация прогонов. А правило сопоставления стоит сверить с материалом о сравнении одного и того же товара.