Search engine

lastmod 2025-05-20created 2017-10-3115 edits

검색 엔진은 컴퓨터 시스템에 저장된 정보를 찾아주는 것을 도와주도록 설계된 정보 검색 시스템이다. 이러한 검색 결과는 목록으로 표현되는 것이 보통이다. 검색 엔진을 사용하면 정보를 찾는데 필요한 시간을 최소화할 수 있다.

가장 눈에 띄는 형태의 공용 검색 엔진으로는 웹 검색 엔진이 있으며 월드 와이드 웹에서 정보를 찾아준다.

Categories

• Programmable Search Engine (PSE)
• typesense - Fast, typo tolerant, fuzzy search engine for building delightful search experiences.

Full-text search (전문검색)

• Apache Lucene
  • ElasticSearch
• Apache Solr
• ArangoSearch
• BaseX
• KinoSearch
• Lemur/Indri
• MariaDB
• mnoGoSearch
• MySQL
• OpenSearch
• PostgreSQL
• Searchdaimon
• Sphinx
• Swish-e
• Terrier IR Platform
• Xapian
• SQLite:FTS5 - SQLite의 Full-Text Search

Web search engine

• Google
• DuckDuckGo

AI 기반 웹 검색 엔진

• Liner | Credible AI Search Engine - 라이너
• Perplexity - 퍼플렉시티
• Introducing ChatGPT search | OpenAI - SearchGPT
• Genspark - 젠스파크
• Exa | Web Search API | AI Web Researcher - 임베딩 기반 검색 엔진
  • 키워드 기반 검색의 한계를 넘기 위한 임베딩 기반 검색 엔진으로 사용자의 의도에 정확히 맞는 결과만 반환
  • 검색어 의미에 따라 웹 전체에서 벡터 임베딩 검색 → LLM 기반 검증 → 정제된 결과 제공이라는 다단계 프로세스로 작동
  • 일반적인 리스트가 아니라 테이블 형식으로 결과를 제공, 원하는 컬럼을 추가해 비동기로 부가 정보를 수집 가능
    • 각 셀은 비동기로 개별 로딩하며, 웹을 데이터베이스처럼 탐색 가능하게 설계됨
  • 예를 들어 "2021~2025년에 설립된 샌프란시스코 소재 오픈소스 개발툴 스타트업"처럼 구체적이고 복잡한 조건도 정확히 찾아줌
  • 각 결과는 LLM이 실제로 검색 조건에 맞는지 평가 하며, 해당 조건에 부합함을 증명하는 근거(출처) 와 함께 제공
    • 처리 시간이 몇 분에서 몇 시간까지 걸릴 수 있음
  • 검색 예: 미국 외에 있는 수학 교사가 만든 수학 블로그
  • 데모 영상: https://youtu.be/Unt8hJmCxd4
  • API 문서: https://docs.exa.ai/websets

Deep learning

• jina - 딥러닝 기반 검색엔진 오픈소스

Projects

• Marginalia - 독립 운영되는 DIY 검색엔진

AI

• ChatGPT
• Liner
• Genspark
• Phind
• Perplexity

See also

• 웹 크롤링 (Web crawler)
• Web search engine
• TF-IDF
• BM25

Favorite site

• Wikipedia (en) Search engine
• SlideShare - 아주 심플한 검색엔진의 원리
• 검색 엔진은 어떻게 작동하는가
  • 나이브한 텍스트 검색 로직 구현
  • 데이터베이스의 WHERE .. LIKE, REGEXP 문을 사용하는 텍스트 검색
  • 데이터베이스의 FULLTEXT 인덱스를 사용하여 검색을 구현하는 방법
  • 역 인덱스 직접 구현하기
  • TF-IDF와 BM25를 직접 구현하여 문서 스코어링