Парсинг www.craigslist.org

[Эдуард]

Добрый день!

Подскажите пожалуйста, кто-нибудь сталкивался с парсингом сайта крейглист? Была проблема с решением recaptcha 3 - я её решил. Теперь не могу решить проблему с проксями. Пытаюсь парсить через GET-POST запросы, но через 2-3 запроса крейглист банит прокси(

Кто-то решал проблему блокировки проксей? Если да, то каким образом? Буду очень благодарен за любую помощь.

 

[PavelCL]

Да. У нас таже проблема. Нужно больше проксей и сделать http хедеры более динамическими.
Но в основном решается количеством прокси.
И блокировка айпишника временная. Вроде сутки

 

[Эдуард]

А как сделать http хедеры более динамическими?
А прокси приватные используете?

 

[PavelCL]

А как сделать http хедеры более динамическими?

Не используйте один и тот же, используйте разные.

А прокси приватные используете?

при частом бане приватные прокси бессмысленно использовать.

 

[Эдуард]

Спасибо!

 

[Эдуард]

Но в основном решается количеством прокси.

А вы используете пул проксей со сменой после каждого http запроса? Можете подсказать, которые прокси больше подходят для парсинга крейглиста? А то пробовал stormproxies, но там они что-то фигового качества и половина из них уже в бане.