Парсинг www.craigslist.org

Эдуард

New member
Добрый день!

Подскажите пожалуйста, кто-нибудь сталкивался с парсингом сайта крейглист? Была проблема с решением recaptcha 3 - я её решил. Теперь не могу решить проблему с проксями. Пытаюсь парсить через GET-POST запросы, но через 2-3 запроса крейглист банит прокси(

Кто-то решал проблему блокировки проксей? Если да, то каким образом? Буду очень благодарен за любую помощь.
 

PavelCL

New member
Да. У нас таже проблема. Нужно больше проксей и сделать http хедеры более динамическими.
Но в основном решается количеством прокси.
И блокировка айпишника временная. Вроде сутки
 

Эдуард

New member
А как сделать http хедеры более динамическими?
А прокси приватные используете?
 

Эдуард

New member
Но в основном решается количеством прокси.

А вы используете пул проксей со сменой после каждого http запроса? Можете подсказать, которые прокси больше подходят для парсинга крейглиста? А то пробовал stormproxies, но там они что-то фигового качества и половина из них уже в бане.