Сайты и поля данных

Сайт: это источник и граница связанных сценариев, прогонов, записей и выгрузок. Нажмите плюс в разделе «Сайты», укажите узнаваемое название и адрес. Протокол https:// выбран по умолчанию; для сайтов без HTTPS переключите его на http://. Полную ссылку можно вставить целиком: форма сама определит протокол. Описание необязательно. Значок сайта ищется автоматически. При создании можно загрузить свой значок, даже если автоматический уже найден. Подходят PNG, JPEG и WebP до 4 МБ и 2048 × 2048 пикселей. GIF не принимается; сохранённый значок остаётся неподвижным. Позже значок можно заменить в настройках сайта. Название и описание подставляются по содержимому страницы, если вы не заполнили их сами. Код система формирует сама; он остаётся постоянным для ссылок и интеграций.

Настройки сбора

В настройках сайта основные поля находятся вверху. Параметры подключения, частоты и браузера раскрываются в «Дополнительных настройках сбора». Если вы только начинаете работу, менять их необязательно.

• Ограничение частоты защищает источник от чрезмерной нагрузки. Ускорение сценария не отменяет это ограничение: параллельные запросы также должны его соблюдать.
• Режим рендеринга определяет, достаточно ли HTTP-ответа или нужен браузер для выполнения JavaScript. Браузер требуется не каждому сайту и расходует больше вычислительного времени.
• robots.txt: отдельная опциональная настройка. Если она включена, запрещённый адрес будет остановлен до загрузки. Проверяйте разрешённость и условия сбора у источника.
• Исполнитель: локальный сервер платформы или ваш агент. Недоступный агент может стать причиной ожидания запуска.
• Прокси настраиваются отдельно и привязываются к источнику через пул.

Если сайт создан из готового решения Wildberries, в настройках появятся товары и города доставки. Выберите несколько городов, если хотите сравнивать цены и доступность: сценарий обработает каждый город отдельно. После изменения списка нажмите «Сохранить настройки». Для собственного сценария используйте методы Wildberries в SDK, чтобы получить выбранные товары и города без ручной настройки адресов запросов.

Поля

Откройте в карточке сайта вкладку «Данные для сбора». Добавьте то, что хотите получать: например, название товара, цену, артикул и ссылку на карточку. Для каждого поля укажите понятное название и тип данных. При необходимости отметьте обязательное поле и поле, по которому можно находить повторы. Редактор каждого поля открывается справа. После изменений нажмите «Сохранить поля» внизу страницы.

Код поля создаётся автоматически. При необходимости укажите описание рядом с названием. В панели можно выбрать подготовку значения: например, убрать лишние пробелы или разобрать цену. В блоке «Какие значения подходят» можно задать пределы, шаблон и список допустимых вариантов. Каждый вариант списка добавляется и удаляется отдельно.

В «Проверьте на примере» можно выбрать готовый пример или вставить значение с сайта. Результат появится после небольшой паузы ввода. Шаблон находится рядом с пробным текстом: можно начать с готового правила, раскрыть краткую подсказку по его записи и посмотреть, какие части текста попали в группы. Код поля и значение по умолчанию находятся в «Настройках для интеграций». Обычно их менять не нужно. Добавленные поля определяют состав результата; получение данных с сайта настраивается отдельно.

Проверьте пустые цены, дробные числа, единицы измерения и массивы остатков. Не используйте название как единственный идентификатор, если оно может измениться. Правила качества помогают заметить отклонения, но не исправляют неверный парсер.

Визуальный маппер

Маппер открывает страницу через программу на вашем компьютере. Выберите элемент, исследуйте его свойства и используйте результат для настройки извлечения. Всплывающие окна нужно закрывать внутри страницы. Дождитесь загрузки динамического содержимого. Подробности: визуальный маппер.

Удаление сайта затрагивает связанные данные: заранее сохраните нужные результаты и проверьте действующие интеграции.

CAPTCHA

Настройка CAPTCHA и API: автоматический режим, отключение, параметры сайта, агент и проверка результата. Пользовательское руководство и цены.