Scrapling

현대 웹을 위한 손쉬운 웹 스크래핑

선택 방법
·
Fetcher
·
Spider
·
프록시 로테이션
·
CLI
·
MCP

Scrapling은 빠른 HTTP 요청, 스텔스 브라우저, 강력한 파싱, 동시 크롤링을 하나의 라이브러리로 제공하는 Python 웹 스크래핑 프레임워크입니다.

정적 페이지를 스크래핑하고, JavaScript를 렌더링하고, 웹사이트와 상호작용하며, 그 뒤에 있는 API 호출에서 데이터를 추출하세요. 재사용 가능한 세션, 프록시 로테이션, 자동 재시도, 일시정지/재개, 내장 데이터 내보내기 기능으로 크롤러를 구축하세요.

Python, 터미널, 또는 MCP 서버와 Agent Skill을 통해 AI 에이전트에서 사용할 수 있습니다. 몇 개의 필드를 추출하는 것부터 웹사이트 전체를 깔끔한 Markdown으로 수집하는 것까지, Scrapling은 전체 스크래핑 워크플로우를 다룹니다.

Scrapling으로 할 수 있는 일

Fetch & interact : 빠른 HTTP 요청, 스텔스 브라우저, JavaScript 렌더링, Cloudflare Turnstile/Interstitial 처리, 영구 세션, 백그라운드 API 캡처.
Parse & extract : CSS, XPath, 텍스트 및 정규식 검색, 적응형 요소 추적, 유사 요소 매칭, 깔끔한 Markdown 출력.
Crawl & export : 동시 Spider, 프록시 로테이션, 재시도, AutoThrottle, 일시정지/재개, 스트리밍, 바로 사용 가능한 템플릿, JSON/JSONL/CSV/XML 내보내기.
Scrape with AI or from your terminal : AI 에이전트가 탐색하고 데이터를 추출할 수 있는 MCP 서버, Agent Skill, CLI 명령어, 대화형 셸.

단일 페이지로 시작하기:

from scrapling . fetchers import Fetcher

page = Fetcher . get ( 'https://quotes.toscrape.com/' )
quotes = page . css ( '.quote .text::text' ). getall ()
print ( quotes )
또는 Spider로 확장하기:

from scrapling . spiders import Spider , Response

class QuotesSpider ( Spider ):
name = "quotes"
start_urls = [ "https://quotes.toscrape.com/" ]

async def parse ( self , response : Response ):
for quote in response . css ( '.quote' ):
yield {
"text" : quote . css ( '.text::text' ). get (),
"author" : quote . css ( '.author::text' ). get (),
}

result = QuotesSpider (). start ()
print ( len ( result . items ))
result . items . to_json ( "quotes.json" )
이 코드는 10을 출력하고 명언과 저자를 quotes.json에 저장합니다.

Platinum Sponsors

NodeMaven - 웹 스크래핑 및 자동화를 위한 가장 효율적인 프록시 제공업체로, 시장에서 가장 높은 품질의 IP를 제공합니다. 코드 SCRAPLING35를 사용하면 35% 할인을 받을 수 있습니다.

Scrapling은 Cloudflare Turnstile을 처리합니다. 엔터프라이즈급 보호를 위해
Hyper Solutions
는 Akamai, DataDome, Kasada, Incapsula용 유효한 안티봇 토큰을 생성하는 API 엔드포인트를 제공합니다. 간단한 API 호출만으로 브라우저 자동화가 필요 없습니다.

Evomi
: $0.49/GB부터 시작하는 주거용 프록시. 완전히 위장된 Chromium 스크래핑 브라우저, 주거용 IP, 자동 CAPTCHA 해결, 안티봇 우회 기능을 제공합니다.

번거로움 없는 결과를 위한 Scraper API. MCP 및 N8N 통합을 사용할 수 있습니다.

웹 스크래핑에 전념하는 #1 뉴스레터인 The Web Scraping Club(Nov 2025)에서 Scrapling의 전체 리뷰를 읽어보세요.

Swiftproxy는 195개 이상의 국가에 걸쳐 8천만 개 이상의 IP를 갖춘 확장 가능한 주거용 프록시를 제공하며, 빠르고 안정적인 연결, 자동 로테이션, 강력한 안티블록 성능을 제공합니다. 무료 체험 가능.

Byteful은 윤리적인 주거용, 모바일, ISP, 데이터센터 프록시와 스크래핑 및 AI 자동화 도구를 제공합니다. 코드 SCRAPLING10 사용 시: 주거용 프록시 10% 할인.

ProxyLane : Scrapling 실행 시 CAPTCHA를 90% 줄여줍니다. 2,800만 개의 실제 P2P 주거용 기기, 98.7% 깨끗한 IP, 195개국. 도시/ISP/ZIP 타겟팅, 고정/로테이팅 세션, 트래픽 만료 없음. 350 MB를 $1.95에 체험해보세요. 코드 SCRAPEANDTAKE : 25% 할인.

LundProxy : GB당 지불을 멈추세요. 무제한 주거용 트래픽, 1억 개 이상의 IP, 190개 이상의 국가. 대역폭 기준 지불. 무료 50 Mbps 주거용 프록시 체험을 신청하세요.

DataImpulse에서 $1/GB. 윤리적인 자사 프록시. 9천만 개 이상의 IP, 195개 이상의 국가. 주거용, 데이터센터, 모바일. 종량제 = 구독 없음. 트래픽 만료 없음.

여기에 광고를 게재하고 싶으신가요? 여기를 클릭하세요

Sponsors

여기에 광고를 게재하고 싶으신가요? 여기를 클릭하고 원하시는 등급을 선택하세요!

주요 기능
Spiders - 완전한 크롤링 프레임워크

🕷️ Scrapy 스타일 Spider API : start_urls, async parse 콜백, Request / Response 객체로 Spider를 정의합니다.
⚡ 동시 크롤링 : 구성 가능한 동시성 제한, 도메인별 스로틀링, 다운로드 지연.
🔄 멀티 세션 지원 : 단일 Spider에서 HTTP 요청과 스텔스 헤드리스 브라우저를 위한 통합 인터페이스 - ID별로 요청을 다른 세션으로 라우팅합니다.
💾 일시정지 & 재개 : crawldir로 대기 중인 요청과 확인된 URL을 저장합니다. Ctrl+C를 눌러 정상적으로 중지하고 동일한 디렉토리로 재시작합니다.
📡 스트리밍 모드 : async for item in spider.stream()을 통해 스크래핑된 항목을 실시간 통계와 함께 도착하는 대로 스트리밍 - UI, 파이프라인, 장기 실행 크롤에 이상적입니다.
🛡️ 차단된 요청 감지 : 사용자 정의 로직으로 차단된 요청을 자동 감지하고 재시도합니다.
🚦 AutoThrottle : 지연 시간을 추측하지 마세요. Spider는 웹사이트 응답 속도로부터 각 도메인의 지연을 스스로 조정한 뒤, 웹사이트가 차단이나 속도 제한을 시작하면 두 배로 늘리고(또는 Retry-After가 요청하는 만큼 대기), 중단되면 다시 속도를 높입니다.
🤖 Robots.txt 준수 : Disallow, Crawl-delay, Request-rate 지시문을 도메인별 캐싱과 함께 준수하는 선택적 robots_txt_obey 플래그.
🧪 개발 모드 : 첫 실행 시 응답을 디스크에 캐시하고 이후 실행에서 재생 - 대상 서버를 다시 건드리지 않고 parse() 로직을 반복 개선합니다.
🧩 바로 사용 가능한 Spider 템플릿 : 규칙 기반 링크 팔로잉을 위한 CrawlSpider, 사이트맵/robots.txt 기반 크롤을 위한 SitemapSpider, XML/RSS 및 CSV 피드 반복을 위한 XMLFeedSpider / CSVFeedSpider, 공개 Shopify 스토어에서 변형별로 제품을 수집하는 ShopifySpider로 보일러플레이트를 건너뛰세요.
🔗 링크 추출 : allow/deny 패턴, 도메인 필터, CSS/XPath 스코핑, 확장자 필터링, 정규화를 갖춘 독립형 LinkExtractor 프리미티브 - 템플릿 내에서 또는 단독으로 사용하세요.
📦 내장 내보내기 : 훅과 자체 파이프라인 또는 내장 JSON/JSONL/CSV/XML 내보내기를 통해 결과를 내보내세요 - result.items.to_json(), to_jsonl(), to_csv(), to_xml().

세션 지원을 통한 고급 웹사이트 Fetching

HTTP Requests : Fetcher 클래스로 빠르고 스텔스한 HTTP 요청. 브라우저의 TLS 지문, 헤더를 임퍼소네이트하고 HTTP/3를 사용할 수 있습니다.
Dynamic Loading : Playwright의 Chromium과 Google의 Chrome을 지원하는 StealthyFetcher 클래스를 통한 완전한 브라우저 자동화로 동적 웹사이트를 Fetch합니다.
Anti-bot Bypass : StealthyFetcher와 지문 스푸핑을 통한 고급 스텔스 기능. 자동화로 모든 유형의 Cloudflare Turnstile/Interstitial을 쉽게 우회할 수 있습니다.
Session Management : 요청 전반에 걸친 쿠키 및 상태 관리를 위한 FetcherSession 및 StealthySession 클래스를 통한 영구 세션 지원.
Proxy Rotation : 모든 세션 유형에 걸친 순환 또는 사용자 정의 로테이션 전략을 갖춘 내장 ProxyRotator, 그리고 요청별 프록시 재정의.
Domain & Ad Blocking : 특정 도메인(및 하위 도메인)에 대한 요청을 차단하거나 브라우저 기반 Fetcher에서 내장 광고 차단(약 3,500개의 알려진 광고/트래커 도메인)을 활성화합니다.
DNS Leak Prevention : 프록시 사용 시 DNS 누출을 방지하기 위해 Cloudflare의 DoH를 통해 DNS 쿼리를 라우팅하는 선택적 DNS-over-HTTPS 지원.
Remote Browsers : 로컬에서 브라우저를 실행하는 대신 cdp_url을 통해 이미 실행 중인 브라우저에 연결합니다 - 같은 머신이든, 다른 호스트든, 관리형 브라우저 제공업체든 상관없습니다. executable_path로 모든 브라우저 Fetcher를 자체 Chromium 빌드로 지정할 수도 있습니다.
Background API Capture : 브라우저 세션에서 record_requests=True를 활성화한 다음 session.network.search(limit=None)로 저장된 응답을 검색합니다. 요청을 다시 보내지 않고 페이지 로드 전반에 걸쳐 API 데이터와 HTTP 오류를 읽습니다. 기록은 제한되며 텍스트 응답 본문을 저장합니다.
Async Support : 모든 Fetcher와 전용 async 세션 클래스에 걸친 완전한 async 지원.

파싱 및 데이터 추출

🔄 스마트 요소 추적 : 지능형 유사성 알고리즘을 사용하여 웹사이트 변경 후 요소를 재배치합니다.
🎯 스마트 유연한 선택 : CSS 선택자, XPath 선택자, 필터 기반 검색, 텍스트 검색, 정규식 검색 등.
🔍 유사 요소 찾기 : 발견된 요소와 유사한 요소를 자동으로 찾습니다.

AI 기능

🤖 MCP 서버 : AI 챗봇과 에이전트(Claude/Cursor 등)가 HTTP 요청, 브라우저 액션, 스크린샷, 저장된 로그인 상태, 백그라운드 API 응답을 통해 Scrapling으로 스크래핑할 수 있게 합니다. 적합한 AI 모델이 작업 중 마주치는 모든 CAPTCHA를 우회할 수 있도록 올바른 도구와 함께 스텔스 브라우저를 사용합니다(Cloudflare 솔버는 말할 것도 없습니다). 모델에 전송되는 콘텐츠를 줄이고, 광고를 차단하며, 프롬프트 인젝션으로부터 보호하기 위해 많은 방법을 사용합니다. CDP를 통한 원격 브라우저와 인증 옵션이 포함된 HTTP 전송이 포함됩니다. ( 데모 영상 )
🧠 Agent Skill : 코딩 에이전트에게 라이브러리 전체를 가르치는 바로 설치 가능한 Agent Skill로, Scrapling으로 작성하는 코드가 추측이 아닌 현재 API와 일치하도록 합니다.
📚 RAG-ready Markdown : 한 줄(page.markdown())로 모든 페이지를 깔끔하고 정제된 LLM-ready Markdown으로 변환하거나, ContentSpider 템플릿으로 웹사이트 전체를 Markdown 코퍼스로 크롤링합니다 - 모두 LLM을 루프에 넣지 않고. ( 문서 )

고성능 & 검증된 아키텍처

🚀 번개처럼 빠름 : 대부분의 Python 스크래핑 라이브러리를 능가하는 최적화된 성능.
🔋 메모리 효율적 : 최소한의 메모리 풋프린트를 위한 최적화된 데이터 구조와 지연 로딩.
⚡ 빠른 JSON 직렬화 : 표준 라이브러리보다 10배 빠름.
🏗️ 검증됨 : Scrapling은 92% 테스트 커버리지와 완전한 타입 힌트 커버리지를 갖추고 있을 뿐만 아니라, 지난 한 해 동안 수백 명의 웹 스크래퍼가 매일 사용해왔습니다.

개발자/웹 스크래퍼 친화적 경험

🎯 대화형 웹 스크래핑 셸 : Scrapling 통합, 단축키, 웹 스크래핑 스크립트 개발 속도를 높이는 새로운 도구(curl 요청을 Scrapling 요청으로 변환, 브라우저에서 요청 결과 보기 등)를 갖춘 선택적 내장 IPython 셸.
🚀 터미널에서 직접 사용 : 선택적으로, 단 한 줄의 코드도 작성하지 않고 Scrapling으로 URL을 스크래핑할 수 있습니다!
🛠️ 풍부한 탐색 API : parent, sibling, child 탐색 메서드를 갖춘 고급 DOM 순회.
🧬 향상된 텍스트 처리 : 내장 정규식, 정리 메서드, 최적화된 문자열 연산.
📝 자동 선택자 생성 : 모든 요소에 대해 견고한 CSS/XPath 선택자를 생성합니다.
🔌 익숙한 API : Scrapy/BeautifulSoup과 유사하며 Scrapy/Parsel에서 사용되는 것과 동일한 의사 요소를 사용합니다.
🤝 드롭인 Scrapy 통합 : 이미 Scrapy에 투자하셨나요? Scrapling으로 이미 Fetch한 응답을 Scrapling의 파서로 파싱하려면 콜백에 scrapling_response를 데코레이트하기만 하면 됩니다 - 재작성이 필요 없습니다.
📘 완전한 타입 커버리지 : 뛰어난 IDE 지원과 코드 완성을 위한 완전한 타입 힌트. 전체 코드베이스는 변경 시마다 PyRight와 MyPy로 자동 스캔됩니다.
🔋 바로 사용 가능한 Docker 이미지 : 각 릴리스마다 모든 브라우저를 포함한 Docker 이미지가 자동으로 빌드되고 푸시됩니다.

시작하기
깊이 들어가지 않고 Scrapling이 무엇을 할 수 있는지 빠르게 살펴보겠습니다.

기본 사용법
세션 지원을 통한 HTTP 요청

from scrapling . fetchers import Fetcher , FetcherSession

with FetcherSession ( impersonate = 'chrome' ) as session : # 최신 버전 Chrome의 TLS 지문 사용
page = session . get ( 'https://quotes.toscrape.com/' , stealthy_headers = True )
quotes = page . css ( '.quote .text::text' ). getall ()

# 또는 일회성 요청 사용
page = Fetcher . get ( 'https://quotes.toscrape.com/' )
quotes = page . css ( '.quote .text::text' ). getall ()
고급 스텔스 모드

from scrapling . fetchers import StealthyFetcher , StealthySession

with StealthySession ( headless = True , solve_cloudflare = True ) as session : # 완료할 때까지 브라우저를 열어 둡니다
page = session . fetch ( 'https://nopecha.com/demo/cloudflare' , google_…