Сценарии, версии и публикация
Сценарий описывает, какие страницы открыть и какие данные вернуть. Он принадлежит одному сайту, где хранятся результаты, но может читать несколько сайтов и входящее письмо в одном прогоне. Подробнее: один сценарий, несколько источников. Редактор поддерживает подсветку выбранного языка и подсказки методов среды исполнения. Это ограниченная среда: произвольные системные команды недоступны.
Создание сценария
Откройте «Сценарии сбора» и нажмите «Создать сценарий». Выберите сайт, укажите название и при желании описание. Для самостоятельной настройки выберите «Ручное создание»; для готового шаблона заполните предложенные поля. Недоступные шаблоны пока нельзя применять. После выбора основы каталог сужается до двух столбцов, освобождая место для настроек. Входные поля находятся под заголовком «Настройки сбора», перед необязательным описанием. Кнопка создания находится справа от заголовка. После сохранения откроется карточка сценария.
Для шаблона Wildberries добавьте артикулы или ссылки на товары и выберите регионы доставки. Окно выбора позволяет искать город или регион, отмечать несколько городов и добавлять собственный код адреса. Кнопка «Где взять код доставки?» открывает отдельное окно с пошаговой инструкцией. Цены каждого региона сохраняются отдельно. Точка доставки влияет на цену; городской пресет использует точку, заранее подобранную для этого города. Для конкретного адреса добавьте свой код доставки. Добавьте необходимый список товаров.
Безопасный порядок изменений
Памятку можно открыть крупнее и сохранить перед изменением рабочего сценария.
Проверка кода обнаруживает ошибки, но не исправляет их автоматически. Проба даёт предпросмотр и не меняет рабочий каталог. После сверки опубликуйте версию и запустите рабочий сбор отдельно: публикация сама не создаёт прогон.
- Откройте сценарий и сохраните новую версию с понятным комментарием.
- Выполните проверку кода. Ошибки проверки нужно устранить до рабочего запуска.
- Запустите пробный прогон на небольшом объёме.
- Сравните товары с исходным сайтом: число записей, значения, типы и пропуски.
- Опубликуйте проверенную версию. Именно публикация определяет рабочую версию для последующих запусков, если другая версия не указана явно.
Сохранение черновика само по себе не заменяет опубликованный код. Если новая версия работает неверно, вернитесь к проверенной публикации. История помогает понять, какое изменение привело к расхождению.
Что предусмотреть в алгоритме
Пагинацию каталога, переходы по категориям, варианты товаров, повторные ссылки, стабильный идентификатор записи, обработку отсутствующих полей. Не ограничивайтесь первыми товарами на странице. Ограничивайте параллельность и следите за частотой запросов сайта.
Добавляйте понятные сообщения в журнал: начало категории, количество найденных страниц, обработанные товары, пропущенные карточки и причины. Пользовательские этапы и процент выполнения полезны, когда алгоритм знает общий объём работы. Не показывайте 100%, пока обработка и сохранение результата ещё продолжаются.
AI и редактор
AI может помочь написать или исправить сценарий. После изменений всё равно откройте результат и выполните проверку. Назначение запроса формулируйте через наблюдаемый результат: «все товары всех категорий с артикулами, ценами и остатками».
Работа с AI · Состояния прогонов
Написать свой алгоритм
Доступны PHP, JavaScript, TypeScript и Python. Для TypeScript откройте первый сценарий с типами. Для JavaScript начните с отдельного примера. Поддержка Go и других языков планируется в будущих выпусках.
Код и методы среды собраны в отдельном разделе SDK. Начните с первого алгоритма. В справочнике можно найти запросы к сайту, поиск элементов HTML, сохранение записей и прогресс. Полные примеры обхода страниц и работы с браузером также находятся в разделе SDK.
Сценарии Python
Выберите Python при создании нового сценария; существующие версии сохраняют прежний язык. Проверка, проба, публикация, расписания, журнал, записи и выгрузки работают по общим правилам. Откройте Python SDK, жизненный цикл и ограничения среды. Python синхронный, методы имеют snake_case-имена; собственному агенту нужна включённая поддержка Python.