К содержимому
Akmelo

Документация

Все методы API

Примеры ниже сохраняют v1. Те же внешние методы доступны в /api/v2 с UUID по умолчанию; форматы и переход.

Выберите метод: у каждого есть назначение, параметры, пример запроса, ответ и готовый код для curl, серверного Node.js, Go, PHP и Python. Перед началом создайте API-ключ и прочитайте разницу между браузером и сервером.

Агенты

  • Список агентов · GET /api/v1/agents. Возвращает состояние агентов текущего пространства. Метод ничего не разворачивает и не выдаёт секреты.
  • Состояние агента · GET /api/v1/agents/{agent}. Показывает карточку существующего агента, доступность, версию и время последнего контакта.

Баланс

  • Баланс и лимиты · GET /api/v1/billing. Возвращает тариф, бюджеты, занятые ресурсы и срок периода текущего пространства. Метод не пополняет баланс.

Сайты и данные

  • Посмотреть источник до создания · POST /api/v1/sites/preview. Получает предварительную информацию по URL. Выполняет реальный запрос к источнику.
  • Список сайтов · GET /api/v1/sites. Возвращает только сайты, доступные владельцу ключа в его пространстве.
  • Создать сайт · POST /api/v1/sites. Создаёт источник сбора. Не запускает парсинг автоматически.
  • Карточка сайта · GET /api/v1/sites/{site}. Показывает настройки источника и объявленные поля результата.
  • Изменить сайт · PATCH /api/v1/sites/{site}. Меняет только переданные настройки сайта. Сохранённые записи не пересобираются автоматически.
  • Удалить сайт · DELETE /api/v1/sites/{site}. Удаляет источник. Перед вызовом сохраните нужные результаты и проверьте связанные ресурсы.
  • Проверить страницу сайта · POST /api/v1/sites/{site}/fetch. Загружает одну страницу доступного сайта с его сетевыми настройками. Это проверка страницы, не полный прогон.
  • Получить снимок страницы · GET /api/v1/sites/{site}/artifacts/{uuid}. Возвращает содержимое снимка или изображения по UUID. Проверяет принадлежность артефакта сайту.
  • Схема полей сайта · GET /api/v1/sites/{site}/fields. Показывает поля результата и справочники допустимых типов и преобразований.
  • Заменить схему полей · PUT /api/v1/sites/{site}/fields. Сохраняет полный список полей. Всё, чего нет в items, удаляется из схемы.
  • Проверить преобразование значения · POST /api/v1/sites/{site}/fields/preview. Применяет к одному значению цепочку преобразований без изменения записей сайта.
  • Записи сайта · GET /api/v1/sites/{site}/records. Возвращает сохранённые записи с курсорной пагинацией.
  • Запись и история изменений · GET /api/v1/sites/{site}/records/{key}. Находит запись по её стабильному ключу и возвращает историю изменений.

Сценарии

  • Список сценариев · GET /api/v1/scripts. Возвращает сценарии доступных сайтов.
  • Создать сценарий · POST /api/v1/scripts. Создаёт карточку сценария. Исходный код сохраняется отдельной версией.
  • Карточка сценария · GET /api/v1/scripts/{script}. Показывает сценарий, опубликованную версию и историю версий.
  • Изменить карточку сценария · PATCH /api/v1/scripts/{script}. Меняет название, описание и разрешённые параметры карточки. Для изменения исходника создайте новую версию.
  • Удалить сценарий · DELETE /api/v1/scripts/{script}. Удаляет сценарий в рамках разрешений владельца ключа.
  • Проверить исходный код · POST /api/v1/scripts/{script}/validate. Проверяет синтаксис, функции и ограничения песочницы, не создавая новую версию.
  • Версии сценария · GET /api/v1/scripts/{script}/versions. Возвращает сохранённые версии и результаты их проверки.
  • Сохранить новую версию · POST /api/v1/scripts/{script}/versions. Сохраняет исходник как черновик и возвращает отчёт проверки.
  • История публикаций · GET /api/v1/scripts/{script}/publications. Показывает кто, когда и почему переключал рабочую версию.
  • Опубликовать версию · POST /api/v1/scripts/{script}/publish. Делает проверенную версию рабочей для последующих запусков.
  • Вернуться к прежней версии · POST /api/v1/scripts/{script}/rollback. Переключает публикацию на выбранную версию этого сценария.
  • Снять сценарий с публикации · POST /api/v1/scripts/{script}/unpublish. Убирает рабочую версию из автоматического выбора, сохраняя код и историю.

SDK

  • Каталог SDK · GET /api/v1/sandbox/sdk. Возвращает доступные классы, методы и функции среды PHP для редактора и интеграции.

Версии сценариев

  • Исходник версии · GET /api/v1/script-versions/{version}. Возвращает сохранённый код версии, результат валидации и готовность к публикации.
  • Сравнить две версии · GET /api/v1/script-versions/{version}/diff. Показывает различия двух версий одного сценария. Без against сравнивает с опубликованной.
  • Создать черновик из версии · POST /api/v1/script-versions/{version}/branch. Создаёт новую версию на основе старого исходника, чтобы продолжить его редактирование.
  • Запустить пробный прогон · POST /api/v1/script-versions/{version}/trial-run. Ставит проверку версии в очередь. Пробный запуск не записывает товары в боевой каталог.

Прогоны

  • Список прогонов · GET /api/v1/runs. Показывает запуски доступных сайтов и их состояния.
  • Запустить сбор · POST /api/v1/runs. Ставит обычный прогон в очередь. Ответ не содержит готовый результат.
  • Состояние прогона · GET /api/v1/runs/{run}. Возвращает текущий статус, счётчики, стадии, длительности и пользовательский прогресс.
  • Остановить прогон · POST /api/v1/runs/{run}/cancel. Запрашивает остановку. Воркер завершит работу в ближайшей безопасной точке.
  • Возобновить прогон · POST /api/v1/runs/{run}/resume. Создаёт продолжение завершённого прогона с сохранённым состоянием, если это поддерживается его состоянием.
  • Повторить по снимкам · POST /api/v1/runs/{run}/replay. Ставит пробный повтор по сохранённым HTTP-ответам без повторного чтения источника.
  • Отчёт повтора · GET /api/v1/runs/{run}/replay-report. Сравнивает результат повтора с исходными данными.
  • Журнал прогона · GET /api/v1/runs/{run}/log. Возвращает новые сообщения после указанного ID.
  • Журнал HTTP-запросов · GET /api/v1/runs/{run}/http-log. Показывает адреса, HTTP-статусы, длительность, кэш и UUID снимков страниц.
  • Ошибки записей · GET /api/v1/runs/{run}/item-errors. Возвращает причины отклонения отдельных значений и записей.
  • Результат пробного запуска · GET /api/v1/runs/{run}/preview. Возвращает пробные записи и результаты проверки полей.

Качество

Расписания

  • Рассчитать ближайшие запуски · POST /api/v1/schedules/preview. Проверяет время и возвращает ближайшие срабатывания без сохранения расписания.
  • Список расписаний · GET /api/v1/schedules. Показывает расписания доступных сайтов.
  • Создать расписание · POST /api/v1/schedules. Настраивает регулярный запуск опубликованного сценария.
  • Карточка расписания · GET /api/v1/schedules/{schedule}. Возвращает правило времени, паузу, ближайший запуск и связь со сценарием.
  • Изменить расписание · PATCH /api/v1/schedules/{schedule}. Обновляет только переданные параметры и пересчитывает ближайший запуск.
  • Удалить расписание · DELETE /api/v1/schedules/{schedule}. Прекращает будущие запуски по этому расписанию. Для временной остановки удобнее pause.
  • Приостановить расписание · POST /api/v1/schedules/{schedule}/pause. Отключает расписание бессрочно либо приостанавливает до указанного момента.
  • Включить расписание · POST /api/v1/schedules/{schedule}/resume. Снимает паузу, включает расписание и пересчитывает время от текущего момента.
  • Запустить расписание сейчас · POST /api/v1/schedules/{schedule}/run-now. Ставит внеочередной прогон по сценарию и параметрам расписания.
  • История расписания · GET /api/v1/schedules/{schedule}/events. Показывает решения планировщика: запуск, пропуск и причины отказа.

Выгрузки

  • Модули выгрузки · GET /api/v1/exports/modules. Возвращает каталог форматов и интеграций с признаком готовности.
  • Предложить поля выгрузки · GET /api/v1/exports/{export}/suggest-schema. Строит начальную схему для выбранного модуля по полям источника.
  • Список выгрузок · GET /api/v1/exports. Показывает профили выгрузки доступных сайтов.
  • Создать выгрузку · POST /api/v1/exports. Создаёт профиль формата и полей; файл готовится отдельной командой.
  • Карточка выгрузки · GET /api/v1/exports/{export}. Возвращает схему полей, формат, режим обработки, доставки и справочники параметров.
  • Изменить выгрузку · PATCH /api/v1/exports/{export}. Сохраняет переданные параметры профиля и проверяет схему.
  • Удалить выгрузку · DELETE /api/v1/exports/{export}. Удаляет профиль выгрузки. Перед вызовом отключите потребителей его endpoint.
  • Посмотреть пример результата · GET /api/v1/exports/{export}/preview. Формирует небольшую выборку в формате выгрузки, включая обработку кодом.
  • Настроить преобразование кодом · PUT /api/v1/exports/{export}/transformation. Переключает обычное сопоставление или сохраняет код обработки записей/набора.
  • Подготовить файл · POST /api/v1/exports/{export}/run. Создаёт файл из сохранённых записей. Не запускает новый сбор сайта.
  • История подготовки файлов · GET /api/v1/exports/{export}/runs. Возвращает последние подготовки выгрузки и ссылки на файлы.
  • Доставки выгрузки · GET /api/v1/exports/{export}/deliveries. Возвращает настроенные способы отправки результата.
  • Создать доставку · POST /api/v1/exports/{export}/deliveries. Настраивает автоматическую или ручную передачу результата.
  • Скачать файл выгрузки · GET /api/v1/exports/files/{uuid}. Возвращает подготовленный файл по UUID с проверкой доступа к его выгрузке.

Доставки

  • Изменить доставку · PATCH /api/v1/deliveries/{delivery}. Меняет получателя, режим записи, запуск по времени и другие переданные поля.
  • Удалить доставку · DELETE /api/v1/deliveries/{delivery}. Удаляет правило отправки результата.
  • Запустить доставку · POST /api/v1/deliveries/{delivery}/run. Ставит отправку в очередь по сохранённому правилу.
  • Сбросить курсор доставки · POST /api/v1/deliveries/{delivery}/reset-cursor. Сбрасывает отметку отправленных изменений. Следующая доставка может повторить весь набор.

Подключения

Пулы прокси

  • Список пулов прокси · GET /api/v1/proxy-pools. Показывает пулы текущего пространства и сводку состояния адресов.
  • Создать пул прокси · POST /api/v1/proxy-pools. Создаёт группу адресов для назначения сайтам.
  • Изменить пул · PATCH /api/v1/proxy-pools/{pool}. Меняет название, ротацию и активность пула.
  • Удалить пул · DELETE /api/v1/proxy-pools/{pool}. Удаляет пул прокси. Проверьте привязки сайтов перед удалением.
  • Проверить адреса пула · POST /api/v1/proxy-pools/{pool}/check. Выполняет сетевую проверку всех прокси в пуле.
  • Снять баны пула · POST /api/v1/proxy-pools/{pool}/unban. Обнуляет временные запреты использования адресов пула.

Прокси