Один из инструментов с открытым кодом который используется внутри каталога данных DataCrafter - это утилита командной строки APIBackuper.
Изначально она разрабатывалась для архивации данных которые предоставляются только через API. Таких примеров много, многие государственные информационные системы устроены именно так - есть API, чаще недокументированное, и поверх него работает веб интерфейс. Но, конечно, это не только про государственные информационные системы, такое есть и у частных проектов.
Эта утилита работает без кода, через настройки конфиг файла в котором указываются параметры обращения к API. Вот тут пример по получению данных из API российского реестра удостоверяющих центров.
Чтобы собрать данные нужно в папке с этим конфигом запустить утилиту
apibackuper run full
А после сбора данных выполнить команду apibackuper export jsonl data.jsonl
На выходе получается файл в формате JSON lines который можно обрабатывать другими инструментами.
#opendata #tools #api #openapi
Изначально она разрабатывалась для архивации данных которые предоставляются только через API. Таких примеров много, многие государственные информационные системы устроены именно так - есть API, чаще недокументированное, и поверх него работает веб интерфейс. Но, конечно, это не только про государственные информационные системы, такое есть и у частных проектов.
Эта утилита работает без кода, через настройки конфиг файла в котором указываются параметры обращения к API. Вот тут пример по получению данных из API российского реестра удостоверяющих центров.
Чтобы собрать данные нужно в папке с этим конфигом запустить утилиту
apibackuper run full
А после сбора данных выполнить команду apibackuper export jsonl data.jsonl
На выходе получается файл в формате JSON lines который можно обрабатывать другими инструментами.
#opendata #tools #api #openapi