Launch HN: Screenpipe (YC S26) – 작업 방식을 기록하고 이를 에이전트로 전환하세요

Hi Hacker News, 저는 Louis입니다. 저는 Screenpipe( https://screenpipe.com )를 만들었습니다. 화면과 오디오를 로컬에서만(!) 녹화하고, AI 에이전트에게 당신이 본 것, 말한 것, 들은 것에 대한 검색 가능한 기억을 제공하는 앱입니다. 이를 통해 반복적인 작업을 자동화하고, SOP(표준 운영 절차)로 전환하는 등의 일이 쉬워집니다. https://www.tella.tv/video/build-your-ai-second-brain-with-s... 에 HN 스타일 데모 영상을 만들었고, https://www.youtube.com/watch?v=c1jV6E9pyug 에 마케팅 영상도 있습니다. 저는 오랫동안 이것에 푹 빠져 있었습니다. 2020년부터 "세컨드 브레인"을 유지해 왔는데, 거기에는 일기, 손글씨 노트, 듣는 음악, 진행 중인 프로젝트, 사람들과 나눈 대화, 개인 CRM 등을 저장했습니다. 초기에는 ParlAI, 수백 개의 파인튜닝된 GPT2 모델, GPT3( https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-y... )로 RAG를 많이 실험했습니다. 이후 첫 Obsidian AI 플러그인인 Ava를 만들었고, 빠르게 수천 명의 사용자로 성장했습니다. 그것이 이후 RAG 기반 AI 앱을 더 쉽게 만들 수 있게 해주는 API인 Embedbase가 되었습니다. 이 모든 것에서 배운 것은, 모델이 원하는 일을 하게 하려면 당신이 컴퓨터에서 무엇을 하고 있는지에 대한 컨텍스트를 갖는 것이 얼마나 중요한지입니다. 초기에는 파인튜닝이 있었지만 너무 고통스러웠고, 그다음에는 AI가 당신이 사용하는 소프트웨어에 접근할 수 있게 하는 툴 콜링이 있었지만 여전히 충분히 자율적이지 않았습니다. 미세 관리가 필요했습니다. 그다음 MCP가 나왔지만 너무 정적이었고, 비기술 사용자들은 MCP를 구축하고 사용하는 데 어려움을 겪었습니다. 그다음 skills가 나왔습니다. 가장 최근에는 Karpathy의 LLM이 유지 관리하는 위키, Garry의 GBrain 등이 등장했는데, 에이전트가 지속적인 Markdown 페이지 모음을 점진적으로 유지 관리하는 방식입니다. 새로운 소스가 엔티티 페이지를 업데이트하고, 기존 주장을 강화하거나 반박하며, 시간이 지나면서 축적되는 종합을 개선합니다. 저는 이 패턴을 좋아하지만, 여전히 누군가가 소스를 선택하고 가져오는 것으로 시작합니다. AI가 앱 내부만이 아니라 앱 전반에 걸쳐 당신과 당신의 회사가 매일 무엇을 하는지 알 방법은 여전히 없습니다. 물론 모든 사람이 이것을 원하는 것은 아닙니다. 하지만 저는 원합니다! 저는 AI가 제가 무엇을 하는지 알고 다시는 기억을 잃지 않기를 원하며, 고통스러운 컨텍스트 전환 없이 인간이 사용하는 것과 동일한 소프트웨어를 사용하기를 원합니다. 저는 2024년에 저 자신을 위해 Screenpipe를 만들기 시작했습니다. 화면을 녹화하고 이 컨텍스트를 AI에 연결하는 CLI입니다. 2024년에 한 HN 사용자가 그것을 게시했고( https://news.ycombinator.com/item?id=41695840 ), 그 논의가 제품에 영향을 주었습니다. 가장 유용한 비판은 녹화 동의, 로컬 보안, CPU 사용량, 신호 대 잡음비, 그리고 에이전트가 데이터 위에서 행동할 수 있는지에 관한 것이었습니다. 순진한 구현은 지속적으로 비디오를 녹화하고 모든 프레임에 OCR을 실행하는 것에서 시작했습니다. 하지만 그것은 중복 데이터를 만들고, 상당한 리소스를 소비하며(기본적으로 컴퓨터를 히터로 만들어 버립니다!), 운영 체제가 이미 알고 있는 구조를 버립니다. 이제 Screenpipe는 대신 앱 전환, 클릭, 타이핑 일시 정지, 스크롤, 유휴 폴백 같은 이벤트를 수신합니다. 의미 있는 변화가 있을 때, 동일한 타임스탬프의 운영 체제 접근성 트리와 함께 스크린샷을 짝지어 저장합니다. 구조화된 접근성 데이터를 사용할 수 없을 때는 OCR이 사용됩니다. 또한 오디오를 지속적으로 캡처하고, 화자를 식별하며 Parakeet/Whisper를 통해 로컬에서 또는 클라우드 모델을 사용하여 전사합니다. 모든 것은 로컬 SQLite 데이터베이스, mp4 파일, 때로는 md 파일에 인덱싱됩니다. 포트 3030의 AI 친화적인 API가 인증과 MCP 및 skills와 함께 에이전트에 열려 있습니다. Screenpipe가 한동안 실행된 후에는 내장 채팅, Claude, ChatGPT, Hermes, Openclaw 또는 모든 에이전트를 통해 다음과 같은 일을 할 수 있습니다: - 현재 채팅에 컨텍스트 추가, 예: "작업 X에 대한 모든 컨텍스트를 모아줘"라고 하면 목표 달성에 필요한 프롬프트가 줄어듭니다 - 정보 검색, 예: "오전 8시부터 오후 4시까지 내가 작업하던 작업을 검색해서, 완료된 것과 남은 것의 목록을 만들어줘" - 생성 및 유지 관리