scrape
Скрипт для извлечения веб‑страниц через API Bright Data, поддерживает прокси‑ротацию и разблокировку контента.
Суть
Что это за skill и зачем он нужен
Skill **scrape** позволяет агентам получать HTML‑страницы, используя Bright Data Web Unlocker API. Авторизация происходит через переменные окружения (BRIGHTDATA_USERNAME, BRIGHTDATA_PASSWORD). Скрипт автоматически обрабатывает редиректы, поддерживает пользовательские заголовки и возвращает чистый HTML. Подходит для обхода гео‑ограничений, капч и других механизмов защиты, предоставляя стабильный доступ к целевому контенту.
Установка
Как установить
npx skills add https://github.com/brightdata/skills --skill scrapeСценарии
Когда использовать
Подходит
- Необходимо получить контент с сайтов, защищённых гео‑блокировкой или анти‑бот механизмами;
- Требуется использовать вращающиеся прокси‑серверы Bright Data для повышения анонимности;
- Необходимо быстро интегрировать скрейпинг в существующий агентный workflow без установки тяжёлых браузеров;
- Требуется гарантировать, что учётные данные передаются безопасно через переменные окружения;
- Нужен простой способ получения HTML‑страницы для последующего анализа или парсинга.
Не подходит
- Требуется полноценный рендеринг JavaScript (например, SPA‑приложения);
- Необходимо собирать огромные объёмы данных, превышающие лимиты Bright Data;
- Отсутствует возможность хранить или обрабатывать полученные файлы локально;
- Требуется полностью офлайн‑решение без обращения к внешним API;
- Необходимо полностью исключить любые потенциальные уязвимости prompt injection.
Доверие
Проверки безопасности
Проверка вернула предупреждение. Перед установкой стоит просмотреть исходники, команды и доступы.
Средний риск · 1 замечание.
Проверка не нашла критичных проблем.
Предупреждений нет.
Оценка 93/100 · проанализировано 2 раздела.
Похожие