Парсинг сайтов с защитой от ботов

Как устроен сбор с защищенного сайта

Защищенный сайт проверяет, кто к нему пришел: настоящий человек в браузере или скрипт. Простой парсер эту проверку не проходит и получает пустую страницу или капчу. Поэтому сбор строится в несколько шагов.

1. Анализ сайта. Смотрю, какая защита стоит, откуда сайт берет данные и есть ли внутренний API. Часто данные удобнее и надежнее брать из API, чем из верстки.
2. Настоящий браузер там, где он нужен. Браузер открывает сайт и проходит проверку так же, как человек.
3. Быстрые запросы с полученной сессией. После прохождения проверки основной объем данных забирается легкими запросами. Это в разы быстрее и меньше нагружает сайт.
4. Спокойный темп. Паузы, повторы, ограничение одновременных соединений и пул адресов. Цель – не обойти все за минуту, а стабильно работать месяцами.
5. Проверка результата. Если данных пришло подозрительно мало, сбор не отдает их молча, а сообщает о проблеме.

Какие сайты чаще всего требуют такого подхода

• крупные интернет-магазины и маркетплейсы, в том числе европейские и американские;
• площадки объявлений: авто, недвижимость, техника;
• аукционы и сайты продажи авто на экспорт;
• агрегаторы цен, страхования, медицинских услуг;
• B2B-кабинеты поставщиков с авторизацией.

Что вы получаете

Данные в вашем формате и по вашему расписанию: Excel или Google Таблица, CSV, XML-фид для маркетплейса, запись в вашу базу или CRM, сообщения в Telegram. Для регулярных задач – ежедневный или еженедельный сбор с историей изменений.

Почему такие парсеры требуют поддержки

Защищенные сайты чаще других меняют и верстку, и саму защиту. Парсер, который никто не поддерживает, рано или поздно перестанет работать. Поэтому регулярные проекты я веду в формате ежемесячной поддержки: мониторинг каждого запуска, уведомления о сбоях и адаптация парсера, когда сайт меняется. О поломке я узнаю раньше вас.

Почему готовые сервисы парсинга здесь не работают

Готовые сервисы и расширения для браузера рассчитаны на простые сайты: открыл страницу, забрал таблицу. На защищенном сайте они упираются в одно из трех:

• вместо данных получают страницу проверки браузера или капчу;
• страница пустая, потому что содержимое подгружается скриптом уже после открытия;
• после нескольких десятков запросов сайт начинает отдавать ошибки или блокирует адрес.

Индивидуальный парсер пишется под конкретный сайт: учитывает его защиту, структуру и лимиты. Поэтому он работает там, где готовый сервис возвращает пустой результат, и продолжает работать после изменений на сайте, потому что его поддерживают.

Юридические границы

Я собираю только публичные данные или данные, к которым у вас есть легальный доступ, например кабинет поставщика, выданный вам как партнеру. Персональные данные физических лиц массово не собираются. Нагрузка на сайт держится в разумных пределах.

Как начать

Пришлите ссылку на сайт и опишите, какие данные нужны и как часто. Я посмотрю сайт и честно скажу, реально ли забрать данные, сколько это займет и сколько будет стоить разовый сбор или регулярная работа.