Proxy API
Proxy API
- 무료 프록시 서버 리스트 사이트는 제대로 동작하는 것이 거의 없다
- Request 마다 프록시 사이트를 자동으로 변경해주는 서비스
- 웹 스크랩을 할때 유용 , http error 429 Too Many Requests 나 CAPTCHA 에 대응 할수 있다
//--------------------------
* Scraper API <=== 권장
https://www.scraperapi.com/dashboard
- API 방식
- 1000 요청 무료 , 사실상 1달에 5000 제한(하루에 5000 가능)
- $29/달
curl "http://api.scraperapi.com?api_key=키&url=http://httpbin.org/ip"
* scrapingbee
- 무료 : 1000
- $29/달
- 한번 요청해도 5번씩 올라감
- json 리턴이 HTML 형식으로 변형되서 리턴됨
curl "https://app.scrapingbee.com/api/v1/?api_key=키&url=http%3A%2F%2Fhttpbin.org%2Fheaders%3Fjson"
//-----------------------
* scrapestack
- 1000 무료, (가입시 신상 정보 요구)
- $20/달
* scrapinghub
https://www.scrapinghub.com/crawlera/
- 14일간 1만번 무료 ( 신용카드 등록 필요)
- $99/달
//---------------
https://www.scraperapi.com/blog/the-10-best-rotating-proxy-services-for-web-scraping/
//-----------
// pass
* SmartProxy => 설정해서 사용, 최저 $75
* Luminati
$3.5/1k req
1000번에 4000원
* Microleaves
- 프록시 서버만 제공
* Geosurf
- 최소 : $450/ 달
* Oxylabs
- $99
* NetNut
$300
* Intoli
$100
* Crawlera
$99
* Blazing Proxies
서버 대여
* Honorable Mention: HomeIP
$200