Качество данных
Сценарий может завершиться без ошибки, а результат всё равно подведёт. Например, поставщик обновил сайт: товары собрались, но у части нет цены. Или вместо привычной тысячи товаров сохранилось всего двадцать. Раздел «Качество» помогает вовремя это заметить.
Правило описывает, какой результат вам подходит. Находка показывает конкретный случай, когда законченный сбор не уложился в эти условия. Находки появляются автоматически. Создавать их вручную не нужно.
С чего начать
Предположим, вы каждый день собираете цены на автозапчасти. Начните с трёх правил:
- «Товары без цены»: сообщить, если цена не заполнена более чем у 5% товаров.
- «Не потерять часть каталога»: сообщить, если товаров стало хотя бы на 40% меньше.
- «Один артикул у разных карточек»: найти повторяющиеся артикулы, которые помешают сверить прайс.
Необязательно добавлять все три. Выберите то, что действительно может испортить вашу работу. Например, у объявлений важнее телефон и дата, у каталога для витрины нужны фотографии, а для сверки прайса могут быть важнее артикулы.
Выбрать шаблон и сохранить правило
Откройте «Качество» и вкладку «Шаблоны». Карточки предложат знакомые рабочие задачи. Рекомендации учитывают названия и типы полей ваших доступных сайтов. Это подсказка: проверьте, что выбрано именно ваше поле цены, а не старая цена до скидки.
- Нажмите подходящую карточку или «Все шаблоны».
- Выберите сайт. Список полей подстроится под него.
- Укажите поле и подходящий порог. Подписи объясняют, что означает число.
- Прочитайте предварительный просмотр: когда правило сработает и что произойдёт дальше.
- Оставьте «Только предупредить», если хотите сначала посмотреть, как ведут себя данные.
- Нажмите «Создать правило». Для уже существующего правила кнопка называется «Сохранить изменения».
Само сохранение не запускает сценарий. Правило проверит следующий успешный полный сбор этого сайта. Существующие товары не меняются, старые сборы заново не проверяются. Пробные сборы из нескольких страниц не считаются полным результатом.
Если подходящего примера нет, нажмите «Создать своё правило». Выберите вид проверки, а затем настройте его так же. Не нужно писать код или регулярное выражение.
В интерфейсе сайт и вид уже сохранённого правила не меняются. Для другого сайта или другого вида проверки создайте отдельное правило. Название, пороги, действие и включение можно изменить в настройках существующего правила.
Пока иллюстрации карточки загружаются, на их месте видна спокойная заглушка. При ошибке загрузки правило всё равно можно настроить. Кнопка «Загрузить ещё раз» повторяет загрузку картинок, не меняя ваши правила.
Добавить другие предложения, скрыть и вернуть
Первое правило не закрывает остальные возможности. У нижнего края раздела остаётся блок «Ещё полезные проверки». Список прокручивается над ним. Можно добавить ещё одно правило, открыть «Все шаблоны» или вернуться к ним позже. Один шаблон можно использовать для разных сайтов либо с другими порогами.
Чтобы предложения не мешали, нажмите крестик с подписью «Скрыть рекомендации». Выбор запоминается в этом браузере. Сохранённые правила продолжат работать. Вернуть карточки можно кнопкой «Показать рекомендации» внизу раздела.
Если вы ещё ничего не настраивали, общие правила платформы могут уже работать. Они тоже видны во вкладке «Правила». Свои правила не отменяют общие: обе группы проверяются параллельно. Общие правила меняет оператор платформы.
Как понимать проценты и границы
Не заполнено больше 5% означает: из 100 проверенных товаров у пяти цены может не быть, а у шести уже появится находка. Нулевая цена считается заполненной. Чтобы заметить именно нулевую цену, добавьте проверку значения.
Товаров стало меньше на 40% означает: раньше было 100, теперь осталось 60 или меньше. Для такого сравнения нужен предыдущий успешный полный сбор этого же сценария. Первый сбор нельзя назвать плохим только потому, что сравнивать пока не с чем.
Цена от 0,01 до 100 000 включает обе границы. Если нижняя граница не нужна, очистите её в форме. Она будет показана как неограниченная. Хотя бы одна сторона диапазона должна остаться заданной. Минимум 0,01 не подойдёт, если у вас допустимы цены 0,001: укажите свою границу.
Возраст предложения 48 часов относится к выбранному полю даты. Проверка смотрит на дату в данных относительно времени завершения сбора, а не на то, когда вы открыли страницу. Ровно 48 часов допустимы. Неверная дата и дата более чем на пять минут в будущем тоже требуют внимания.
Все 24 шаблона и примеры
Указанные числа служат отправной точкой. Перед сохранением выберите свои поля и условия. Шаблон никогда не меняет источник сам.
| Шаблон | Когда полезен и что проверить |
|---|---|
| Не потерять часть каталога | Вчера было 1 000 товаров, сегодня 500. Возможно, не прошли страницы каталога. |
| Достаточно данных для работы | Для прайса нужно хотя бы 200 товаров. Сбор из 199 не подходит. |
| Неожиданно много записей | Вместо 500 карточек пришло 1 500. Проверьте, не собраны ли лишние страницы или варианты. |
| Замечать отклонённые записи | Сценарий передал 100 товаров, 20 не удалось сохранить из-за проверки полей. |
| Товары без цены | У товаров есть названия, но цена исчезла. Выберите поле актуальной цены. |
| Названия на месте | Без названия товар трудно найти и показать покупателю. |
| Артикулы для сверки | Товары без артикула не получится надёжно сопоставить с вашим прайсом. |
| Ссылки на исходные карточки | Без ссылки менеджер не сможет быстро открыть товар у поставщика. |
| Карточки с фотографиями | Для витрины важны изображения. Выберите основное фото либо галерею. |
| Описание не потерялось | После изменения сайта текст описания может перестать собираться. |
| Цена без нулевых значений | Цена должна быть хотя бы 0,01. Для бесплатных позиций этот шаблон нужно изменить. |
| Остаток без отрицательных чисел | Остаток −3 может оказаться ошибкой, если ваш поставщик не использует отрицательные значения. |
| Скидка в пределах от 0 до 100% | Значение 150% требует проверки. Убедитесь, что поле хранит проценты, а не долю от 0 до 1. |
| Ссылки в полном формате | В поле пришло «/product/123», а вам нужна полная ссылка «https://example.com/product/123». Доступность сайта не проверяется. |
| Почта без явных ошибок записи | В адресе «sales@» не хватает домена. Проверка не отправляет письма и не подтверждает существование ящика. |
| Телефоны без лишнего текста | Вместо номера пришла фраза «Позвонить продавцу». Телефон должен содержать от 10 до 15 цифр. |
| ИНН без ошибок в коде | Проверяются 10 или 12 цифр и контрольные цифры. Это не поиск организации в реестре. |
| Штрихкоды без ошибок записи | Проверяются длина и контрольная цифра GTIN, EAN или UPC. Подлинность товара не подтверждается. |
| Наличие в понятных статусах | Разрешены только ваши статусы, например «В наличии», «Под заказ», «Нет». Обязательно замените пример значениями своего источника. |
| Название содержит достаточно текста | Название «А» слишком короткое для каталога. Можно задать и максимальную длину. |
| Один артикул у разных карточек | У двух отдельных товаров один артикул. A, A, B даёт один дополнительный повтор из трёх значений. |
| Повторяющиеся ссылки на товары | Разные записи ведут на одну карточку поставщика. Убедитесь, что это не ожидаемые варианты товара. |
| Цены меняются у многих товаров | Цена изменилась сразу у большей части товаров. Это может быть обновление прайса или ошибка сбора. Новые товары не считаются изменёнными. |
| Предложения не старше нужного срока | Для объявлений важно, чтобы указанная дата обновления была не старше двух суток. |
Если поле пустое, проверка формата, диапазона или длины не подменяет проверку
заполненности. Поставьте обе, если нужно заметить и отсутствующую цену, и цену −100.
Строки из обычных или неразрывных пробелов считаются пустыми; 0 и false заполнены.
Читать находку и разобраться с причиной
Откройте вкладку «Находки» и нажмите строку. Панель справа показывает:
- сайт, правило и сбор, к которым относится замечание;
- что именно не совпало с ожиданием;
- измеренный результат и порог, сохранённый во время проверки;
- сохранённые условия, например границы цены и допустимую долю ошибок;
- сколько записей проверено и сколько затронуто;
- подсказку, с чего начать проверку.
Для уменьшения каталога сравните результаты двух сборов и проверьте, все ли страницы были обработаны. Если исчезли цены, откройте несколько исходных карточек и настройки сбора поля. При неизвестном статусе посмотрите реальные значения источника: возможно, поставщик просто добавил новый статус, который нужно разрешить.
Правило не исправляет сценарий. Сначала устраните причину или осознанно измените условия, затем выполните новый полный сбор и посмотрите его результат. После изменения правила последняя проверка может ещё относиться к прежним настройкам. Историческая находка не исчезает от изменения порога. Если правило удалено, замечание сохраняется как история без ссылки на действующее правило.
Блок «Условия во время проверки» показывает снимок настроек вместе с результатом. Он не меняется при редактировании правила. Для старых находок снимок мог не сохраниться. Тогда панель прямо сообщает об этом и показывает только доступные измерения и записанный порог, без подстановки сегодняшних настроек.
«Только предупредить» или «Пометить для проверки»
«Только предупредить» добавляет находку. Автоматическая доставка после сбора продолжается. Такой режим подходит для первых настроек и ожидаемых колебаний данных.
«Пометить для проверки» добавляет находку, помечает весь сбор и приостанавливает автоматическую доставку после него. Выберите этот режим, когда результат нельзя без проверки отправлять в вашу систему. Это не обещание заблокировать все ручные выгрузки и HTTP-запросы к данным.
Строгое правило влияет на доставку только тогда, когда сработало именно оно. Прошедшее строгое правило не усиливает соседнее предупреждение.
«Нет замечаний» не всегда означает «Всё проверено»
У правила бывает три результата:
- Пройдено: проверяемые данные уложились в условия.
- Есть замечание: обнаружено нарушение и создана находка.
- Пропущено: надёжно выполнить проверку не получилось. Рядом указана причина.
Например, для первого сбора ещё нет прошлого результата, все выбранные значения пустые или поле удалено из настроек сайта. У продолженного после прерывания сбора может быть только часть данных: её нельзя сравнивать с целым каталогом.
Проверки объёма используют полный итог сбора. Проверки полей обычно читают первые 5 000 записей по внутреннему порядку. Пометка ограниченной выборки означает, что за её пределами тоже есть данные. Результат относится к проверенной части.
Есть и безопасный предел памяти: суммарно до 8 МиБ данных и до 100 000 проверяемых значений, не больше 32 разных полей в одном сборе. Значения больше 8 КБ исключаются отдельно. Если проверку пришлось остановить по общему пределу, она помечается пропущенной с частичными измерениями, а не успешной. Исходные записи сохраняются.
Очень большие списки и глубоко вложенные данные могут занимать много памяти даже в коротком JSON. Перед проверкой сервис оценивает такую структуру. Если её небезопасно прочитать, вы увидите отдельную причину пропуска. Это относится и к первой записи: сообщение не будет утверждать, что записей вообще нет.
Если последнего результата вообще нет, дождитесь нового полного сбора и проверьте, включено ли правило. Пустая лента находок не заменяет этот шаг.
Команда и собственный агент
Вы видите только сайты и находки, доступные в выбранном пространстве. Для создания или изменения правила нужно право редактировать соответствующий сайт. Если кнопки недоступны, попросите владельца пространства или участника с подходящими правами.
В собственном агенте правила просматриваются, а определения меняются в облаке. После изменения синхронизируйте агент. Проверка выполняется рядом с собранными данными, поэтому отсутствие облачной копии не должно выглядеть как успешная проверка пустого набора. Для этого нужна совместимая версия агента и облака.
Если раздел сообщает, что отчёты ещё отправляются, это не значит, что замечаний нет. Дождитесь доставки или посмотрите результат в самом агенте. Сообщение о неподдерживаемой версии требует обновить агент и облако, а не создать локальное правило в обход синхронизации.
Подробности для интеграции: справочник видов, шаблоны и рекомендации API, создание правила.