ai-mlПроверки: пройдено 3 · предупреждение 1

data-scraper-agent

Шаблон агента на Python, который собирает данные с публичных сайтов или API, обогащает их с помощью Gemini Flash и сохраняет в Notion, Google Sheets или Supabase, запускается по расписанию через GitHub Actions.

Суть

Что это за skill и зачем он нужен

Data Scraper Agent – готовый к использованию шаблон, позволяющий быстро построить автоматический сборщик данных из открытых источников. Агент работает в три слоя: сбор (requests/BeautifulSoup или Playwright), обогащение (Gemini Flash через REST‑API) и хранение (Notion, Google Sheets или Supabase). Запуск происходит по расписанию, определяемому в GitHub Actions, а результаты могут улучшаться на основе обратной связи пользователя, сохраняемой в JSON‑файле репозитория. Всё построено на бесплатных сервисах, но требует настройки окружения и переменных API‑ключей.

Установка

Как установить

npx skills add https://github.com/affaan-m/everything-claude-code --skill data-scraper-agent

Сценарии

Когда использовать

Подходит

Необходимо регулярно собирать данные с публичных веб‑страниц, RSS‑лент или открытых API.
Требуется автоматическое обогащение собранных записей с помощью LLM (оценка, резюме, классификация).
Хранение результатов в Notion, Google Sheets или Supabase удобно для последующего анализа.
Нужен бесплатный и прост в настройке стек без собственного серверного хостинга.
Требуется гибкое расписание (cron) для периодических запусков.

Не подходит

Сбор данных с закрытых, аутентифицированных или защищённых авторским правом ресурсов.
Необходимо обрабатывать огромные объёмы данных, превышающие бесплатные лимиты Gemini Flash или GitHub Actions.
Требуется мгновенный отклик в реальном времени (агент работает по расписанию).
Отсутствие возможности установить Python‑окружение или управлять зависимостями.
Необходимо строгая соответствие требованиям GDPR/CCPA без возможности локального контроля над данными.

Доверие

Проверки безопасности

SnykПредупреждение

Средний риск · 1 замечание.

Gen Agent Trust HubПройдено

Проверка не нашла критичных проблем.

SocketПройдено

Предупреждений нет.

ZeroLeaksПройдено

Оценка 93/100 · проанализировано 2 раздела.

Похожие