Crawl4AI
lastmod 2026-11-15created 2026-11-151 edits
AI가 읽기 좋은 Markdown으로 웹페이지를 바꾸는 오픈소스 크롤러
About
- 웹페이지를 LLM이 읽기 좋은 Markdown으로 바꿔 AI 검색, RAG, 문서 요약에 넣기 쉽게 만드는 Python 크롤러
- Clean Markdown은 제목·목록·표·코드 블록 구조를 살리고, Fit Markdown은
PruningContentFilterLXML,BM25ContentFilter,LLMContentFilter로 메뉴·바닥글 같은 군더더기를 걸러냄. 페이지 링크는 번호 붙은 참조 목록으로 정리 - 구조화 추출: LLM 없이 CSS·XPath·정규식 스키마로 빠르게 뽑거나, 아무 LLM으로 JSON 스키마에 맞춰 추출. 원하는 것을 한 번 설명하면
generate_schema가 재사용 스키마를 써 줌 - 브라우저 제어: 로그인·쿠키가 저장된 내 브라우저 프로필(
user_data_dir), CDP 원격 브라우저, 세션 유지, 프록시, 스텔스 모드. Chromium·Firefox·WebKit 지원 - 끝없이 내려가는 페이지도
scan_full_page로 끝까지 스크롤해서 읽고, 스크롤하면 항목이 교체되는 가상 목록은VirtualScrollConfig로 수집 - BFS·DFS·best-first 딥 크롤, 질문에 답할 만큼 배우면 멈추는
AdaptiveCrawler, 사이트맵·Common Crawl 기반 URL 탐색, 스크린샷·PDF 저장, 캐시, 여러 URL 동시 처리 -
pip install -U crawl4ai후crawl4ai-setup으로 브라우저를 한 번 설치. Docker 서버는 REST API(/md,/crawl,/screenshot등)와 MCP를 제공해 Claude Code에 붙여 자료 조사를 시킬 수 있음. 모든 엔드포인트에CRAWL4AI_API_TOKEN필요 - 서버 없이 쓰는 호스팅 Crawl4AI Cloud(검색·SERP·답변 API, 관리형 MCP)도 있음
- 쿠키가 담긴 브라우저 프로필은 Git에 올리지 말고, 수집할 사이트의 이용 조건과 요청 빈도 제한을 확인할 것
- Apache-2.0 라이선스. 다만 사용할 때 배지("Powered by Crawl4AI")나 문서에 "This project uses Crawl4AI (https://github.com/unclecode/crawl4ai) for web data extraction." 같은 출처 표기를 넣어야 함
See also
- Web Scraping
- Firecrawl
- Maxun - 어떤 웹사이트든 구조화된 API로 바꾸는 오픈소스 웹 데이터 플랫폼
- Defuddle - Readability를 대체하는 HTML-to-Markdown 오픈소스