Парсинг www.craigslist.org

#1
Добрый день!

Подскажите пожалуйста, кто-нибудь сталкивался с парсингом сайта крейглист? Была проблема с решением recaptcha 3 - я её решил. Теперь не могу решить проблему с проксями. Пытаюсь парсить через GET-POST запросы, но через 2-3 запроса крейглист банит прокси(

Кто-то решал проблему блокировки проксей? Если да, то каким образом? Буду очень благодарен за любую помощь.
 
#2
Да. У нас таже проблема. Нужно больше проксей и сделать http хедеры более динамическими.
Но в основном решается количеством прокси.
И блокировка айпишника временная. Вроде сутки
 
#6
Но в основном решается количеством прокси.
А вы используете пул проксей со сменой после каждого http запроса? Можете подсказать, которые прокси больше подходят для парсинга крейглиста? А то пробовал stormproxies, но там они что-то фигового качества и половина из них уже в бане.