Scraperr
셀프 호스팅 웹 스크레퍼
About
- 코드를 작성하지 않고 웹사이트를 수집·추출할 수 있는 자체 호스팅형 웹 스크레이핑 솔루션
- 브라우저 기반 UI에서 작업을 생성·관리하는 노코드 워크플로우 제공
- XPath 기반 추출로 페이지 요소를 정밀하게 타겟팅하고, 큐 관리와 도메인 스파이더링으로 동일 도메인 내 모든 페이지 스크래핑 지원
- 스크래핑 요청에 JSON 헤더 추가 가능, 이미지/비디오 등 미디어 자동 다운로드, 구조화된 테이블 형식으로 스크래핑 데이터 시각화 지원
- Markdown/CSV 내보내기 지원, 다양한 채널을 통한 완료 알림 전송
- Docker 및 Helm 배포를 통해 로컬·클러스터 환경에서 빠르게 기동 가능
See also
- Web Scraping
- 웹 크롤러 (Web crawler)
- wget
- Scrapeghost - GPT를 이용한 웹 스크래핑 라이브러리
- Archive.today
- 데이터 스크레이핑
- 데이터 랭글링
- 지식 추출
- 오픈소셜
- 스팸덱싱
- 말뭉치
- 웹 아카이빙
- 웹 크롤러
- 링크 팜
- 1History - 브라우저 기록 백업 및 시각화 도구