Launch HN: Captain (YC W26) – 파일을 위한 자동화된 RAG

Hi HN, 저희 Lewis와 Edgar는 비정형 데이터 검색을 간소화하는 Captain을 만들고 있습니다( https://runcaptain.com ). Captain은 파일 기반 RAG 파이프라인의 구축과 유지 관리를 자동화합니다. S3, GCS 같은 클라우드 스토리지와 Google Drive 같은 SaaS 소스를 인덱싱합니다. 빠른 워크스루는 https://youtu.be/EIQkwAsIPmc 에서 볼 수 있습니다. 또한 “Ask PG’s Essays”라는 데모 사이트도 올렸는데, pg의 에세이 코퍼스를 질문/검색할 수 있어 어떻게 작동하는지 감을 잡을 수 있습니다: https://pg.runcaptain.com . 이 데모의 RAG 부분은 Captain으로 설정하는 데 약 3분이 걸렸습니다. 경험을 느껴보실 수 있도록 몇 가지 샘플 프롬프트를 소개합니다: “When do we do things that don't scale? When should we be more cautious?” https://pg.runcaptain.com/?q=When%20do%20we%20do%20things%20... “Give me some advice, I'm fundraising” https://pg.runcaptain.com/?q=Give%20me%20some%20advice%2C%20... “What are the biggest advantages of Lisp” https://pg.runcaptain.com/?q=what%20are%20the%20biggest%20ad... 제대로 된 프로덕션 RAG 파이프라인을 구축하는 데는 특히 파일 워크로드의 경우 상당한 노력이 듭니다. ETL 또는 텍스트 추출, 청킹, 임베딩, 저장, 검색, 재순위화, 추론, 그리고 흔히 컴플라이언스와 관측 가능성까지 처리해야 하며, 그 모든 것을 지연 시간과 안정성에 맞춰 최적화해야 합니다. 관리할 것이 많습니다. grep이 일부 경우에는 잘 작동하지만, 에이전트에게는 시맨틱 검색이 훨씬 더 높은 성능을 제공합니다. Cursor는 둘 다 사용하며, 벡터 검색이 grep 대비 6.5%–23.5%의 정확도 향상을 보고한다고 밝힙니다( https://cursor.com/blog/semsearch ). 저희는 지난 4년간 기업들을 위해 RAG 파이프라인을 확장해 왔고, Edgar가 Purdue NLP lab에서 한 작업은 저희 청킹 기법에 직접적인 영향을 주었습니다. 수십 명의 엔지니어와 대화하면서, DIY 파이프라인이 몇 주간 튜닝한 뒤에도 일관성 없는 결과를 내는 경우를 반복해서 보았습니다. 많은 팀이 어떤 검색 전략이 자신들의 데이터에 가장 적합한지 명확히 알지 못했습니다. 저희는 스토리지와 임베딩을 프로비저닝하고, 인덱싱을 처리하며, 최신 검색 기법을 반영해 파이프라인을 지속적으로 업데이트하는 시스템이 있다면 모든 팀이 RAG를 직접 다시 만들 필요가 없어질 것이라고 생각했습니다. 그 아이디어가 Captain이 되었습니다. 실제로는 API 호출 한 번으로 URL, 클라우드 스토리지 버킷, 디렉터리 또는 개별 파일을 인덱싱합니다. 내부적으로는 모든 것을 Markdown으로 변환합니다. 이를 위해 이미지에는 Gemini 3 Pro, 복잡한 문서에는 Reducto, 기본 OCR에는 Extend로 좋은 결과를 얻었습니다. 임베딩 모델의 경우 처음에는 ‘gemini-embedding-001’이 꽤 잘 작동했지만, 이후 ‘voyage-context-3’의 Contextualized Embeddings로 전환했습니다. 이 모델은 청크 임베딩이 주변 문서 컨텍스트를 인식해 인코딩되기 때문에, 더 새로운 Voyage 4 모델보다도 더 관련성 높은 결과를 냈습니다. 그다음 Voyage의 ‘rerank-2.5’를 2단계 재순위화로 적용해, 초기 50개 청크를 최종 상위 15개로 줄였습니다(Captain의 API에서 구성 가능). Dense 임베딩만으로는 절반에 불과하며, RRF를 사용한 전체 텍스트 검색이 저희 하이브리드 검색을 완성합니다. Captain API에서는 이러한 기법들이 단일 /query 엔드포인트를 통해 노출됩니다. 접근 제어는 메타데이터 필터로 구성할 수 있고, 페이지 번호 인용은 자동으로 반환됩니다. 스택은 끊임없이 바뀌지만 Captain API는 표준을 만들어