Maxun
lastmod 2026-11-15created 2026-11-151 edits
어떤 웹사이트든 구조화된 API로 바꾸는 오픈소스 웹 데이터 플랫폼
About
- 웹사이트에서 원하는 데이터를 모으는 로봇을 만들어 반복 실행하는 오픈소스 웹 스크래핑·크롤링·모니터링·AI 데이터 추출 플랫폼
- Extract
- Recorder Mode: 브라우저에서 원하는 부분을 클릭하며 동작을 녹화하면 재사용 가능한 추출 로봇이 만들어짐. Capture List로 반복 항목(상품명·가격·재고 등)을 고르고 Next 버튼이나 스크롤로 여러 페이지 목록도 코드 없이 수집
- AI Mode: 가져올 내용을 자연어로 적으면 AI가 찾아서 뽑아 줌. 셀프 호스팅에서는 Anthropic 같은 모델 제공자나 Ollama 연결 필요
.env의 JWT_SECRET, SESSION_SECRET, ENCRYPTION_KEY 등은 openssl rand -hex 32로 만든 값으로 바꿔야 하고, 개인 PC에서는 Compose의 포트 앞에 127.0.0.1:을 붙여 외부 노출을 막는 게 좋음 See also
- Web Scraping
- Crawl4AI - AI가 읽기 좋은 Markdown으로 웹페이지를 바꾸는 오픈소스 크롤러
- Firecrawl
- Scraperr - 셀프 호스팅 웹 스크레퍼