Proxy API

Proxy API

 

    - 무료 프록시 서버 리스트 사이트는 제대로 동작하는 것이 거의 없다

 

    - Request 마다 프록시 사이트를 자동으로 변경해주는 서비스

    - 웹 스크랩을 할때 유용 , http error 429 Too Many Requests 나 CAPTCHA 에 대응 할수 있다

 

//--------------------------

* Scraper API  <=== 권장

https://www.scraperapi.com/dashboard

    - API 방식

    - 1000 요청 무료 ,  사실상 1달에 5000 제한(하루에 5000 가능)

    - $29/달

 

curl "http://api.scraperapi.com?api_key=키&url=http://httpbin.org/ip"

* scrapingbee

https://www.scrapingbee.com/

    - 무료 : 1000 

    - $29/달

    - 한번 요청해도 5번씩 올라감

    - json 리턴이 HTML 형식으로 변형되서 리턴됨

 

curl "https://app.scrapingbee.com/api/v1/?api_key=키&url=http%3A%2F%2Fhttpbin.org%2Fheaders%3Fjson"

 

  

 

//-----------------------

* scrapestack

https://scrapestack.com

    - 1000 무료, (가입시 신상 정보 요구)

    - $20/달

* scrapinghub

https://www.scrapinghub.com/crawlera/

    - 14일간 1만번 무료 ( 신용카드 등록 필요)

    - $99/달

 

    

//---------------

 

https://www.scraperapi.com/blog/the-10-best-rotating-proxy-services-for-web-scraping/

//-----------

// pass

 

* SmartProxy => 설정해서 사용, 최저 $75

https://smartproxy.com/

* Luminati

https://luminati.io/

    $3.5/1k req

    1000번에 4000원

* Microleaves

    - 프록시 서버만 제공

 

* Geosurf

    - 최소 : $450/ 달

 

* Oxylabs

    - $99

 

* NetNut

    $300

 

* Intoli

    $100

 

* Crawlera

    $99

 

* Blazing Proxies

    서버 대여

 

* Honorable Mention: HomeIP

    $200