Launch HN: Vellum (YC W23) – LLM 앱을 위한 개발 플랫폼

Hi HN – Noa, Akash, Sidd입니다. 저희는 Vellum( https://www.vellum.ai )을 만들고 있습니다. OpenAI의 GPT-3, Anthropic의 Claude 같은 LLM 위에서 개발할 수 있는 개발자 플랫폼입니다. 효율적인 프롬프트 엔지니어링, 시맨틱 검색, 성능 모니터링, 파인튜닝을 위한 도구를 제공하여 LLM 기반 기능을 프로토타입에서 프로덕션까지 가져올 수 있도록 돕습니다. MLOps 산업은 전통적인 ML(일반적으로 사내에서 호스팅되는 오픈소스 모델)을 위해 빠르게 성숙해 왔지만, LLM을 사용하는 기업들은 실험, 버전 관리, 모니터링 같은 것들을 지원할 도구가 부족해 고통받고 있습니다. 이들은 이러한 도구를 직접 만들어야 하며, 그 과정에서 핵심 제품에 써야 할 소중한 엔지니어링 시간을 빼앗기고 있습니다. 4가지 주요 페인 포인트가 있습니다. (1) 프롬프트 엔지니어링은 지루하고 시간이 많이 걸립니다. 사람들은 개별 모델 제공자의 플레이그라운드에서 프롬프트를 반복하고 결과를 스프레드시트나 문서에 저장합니다. 프롬프트 엔지니어링의 수작업 특성 때문에 많은 테스트 케이스에 걸친 테스트는 보통 수행되지 않습니다. (2) 시맨틱 검색 없이는 텍스트 코퍼스에 대한 LLM 호출이 불가능합니다. 제한된 컨텍스트 윈도우 때문에 LLM이 문서 집합에서 사실적 데이터를 반환해야 할 때마다 기업은 임베딩을 생성하고, 이를 벡터 데이터베이스에 저장하고, 런타임에 관련 결과를 쿼리하기 위한 시맨틱 검색 모델을 호스팅해야 합니다. 이 인프라를 구축하는 것은 복잡하고 시간이 많이 걸립니다. (3) LLM이 프로덕션에서 사용되면 관측성/모니터링이 제한적입니다. 무언가가 어떻게 성능을 내고 있는지에 대한 기준선이 없으면 더 나빠질까 봐 변경하기가 두렵습니다. 그리고 (4) 새로운 데이터가 생길 때마다 파인튜닝된 모델을 만들고 재학습하는 것은 잠재적 이득(더 높은 품질, 더 낮은 비용, 더 낮은 지연, 더 높은 방어력)에도 불구하고 거의 이루어지지 않습니다. 기업들은 보통 고품질 학습 데이터를 수집하기 위한 인프라와 새로운 모델을 재학습하고 평가하는 자동화 파이프라인을 구축할 역량이 없습니다. 저희는 이러한 페인 포인트를 경험에서 알고 있습니다. Sidd와 Noa는 Quora와 DataRobot에서 ML 도구를 만들었던 엔지니어입니다. 그런 다음 저희 셋은 Dover(YC S19)에서 몇 년간 함께 일하며 GPT-3가 아직 베타일 때 GPT-3 기반 기능을 만들었습니다. 저희의 첫 프로덕션 기능은 채용 공고 작성기였고, 그다음은 개인화된 채용 이메일 생성기, 그다음은 이메일 응답용 분류기였습니다. 프로토타이핑은 충분히 쉬웠지만, 기능을 프로덕션으로 가져가고 개선하는 것은 다른 이야기라는 것을 알게 되었습니다. 어떤 프롬프트를 시도했는지 추적하고 실제 사용자 입력에서 어떻게 성능을 내는지 모니터링하는 것이 힘들었습니다. 프롬프트를 버전 관리하고, 롤백하고, 심지어 A/B 테스트할 수 있으면 좋겠다고 생각했습니다. 저희는 핵심 기능과 아무 관련 없는 인프라(예: 시맨틱 검색)에 투자하고 있는 자신을 발견했습니다. 결국 기존 동작을 깨뜨릴까 봐 프롬프트를 바꾸거나 다른 모델을 시도하는 것이 두려워졌습니다. 새로운 LLM 제공자와 파운데이션 모델이 출시될 때마다 비교해서 작업에 가장 적합한 도구를 사용하고 싶었지만, 직접 평가할 시간이 없었습니다. 이런 식이었습니다. 기업이 LLM을 대규모로 도입하려면 더 나은 도구가 필요하다는 것은 분명했고, 저희가 그것을 만들 좋은 위치에 있다는 것을 깨달았습니다. 그래서 여기 있습니다! Vellum은 위에서 언급한 페인 포인트를 해결하기 위한 4가지 시스템으로 구성됩니다. (1) Playground—프롬프트를 나란히 반복하고 여러 테스트 케이스에 대해 한 번에 검증할 수 있는 UI입니다. 프롬프트 변형은 텍스트, 기반 모델, 모델 파라미터(예: "temperature"), 심지어 LLM 제공자까지 다를 수 있습니다. 각 실행은 히스토리 항목으로 저장되며 팀원과 공유할 수 있는 영구 URL을 가집니다. (2) Search—UI에서 텍스트 코퍼스(예: 회사 도움말 문서)를 업로드하면(PDF/TXT) Vellum이 텍스트를 임베딩으로 변환하고 벡터 데이터베이스에 저장하여 런타임에 사용할 수 있게 합니다. LLM 호출을 할 때 문서에서 관련 컨텍스트를 쿼리에 주입하고 LLM에게 사실적으로만 답하도록 지시합니다