Cloudflare:Crawl

단일 API 호출로 전체 웹사이트 크롤링 지원

About

Cloudflare가 Browser Rendering의 새로운 /crawl 엔드포인트를 공개 베타로 제공, 단 한 번의 API 호출로 전체 웹사이트를 크롤링할 수 있음
시작 URL을 제출하면 페이지를 자동으로 탐색하고 헤드리스 브라우저로 렌더링, 결과를 HTML, Markdown, JSON 형식으로 반환
Workers AI 기반의 구조화된 JSON 출력, 크롤링 깊이, 페이지 수 제한, 와일드카드 패턴 등 범위 제어 기능과 증분 크롤링, 정적 모드 등 다양한 기능 제공
robots.txt 규칙을 준수하며, 비정상적 트래픽을 방지하는 crawl-delay도 지원
모델 학습, RAG 파이프라인 구축, 사이트 전반의 콘텐츠 리서치 및 모니터링에 활용 가능