Show HN: MCP의 에이전트 세션을 위한 제품 분석(및 평가)

안녕하세요 HN! 저희는 Armature(YC P26)의 창업자 Theodore와 Louis입니다. 저희는 여러분이 받는 MCP 도구 호출 뒤에 있는 전체 세션을 재구성합니다. 여기에는 사용자가 에이전트에게 요청한 내용과 에이전트가 생각한 내용이 포함됩니다. 3줄의 코드로 MCP를 감싸면(저희 SDK는 TypeScript, Python, Go에서 사용 가능합니다) 대시보드에서 다음을 보기 시작합니다: - 재구성된 모든 세션: 사용자가 Claude나 ChatGPT 안에서 나눈 실제 대화를 읽는 것과 같습니다! - 세션 클러스터링을 기반으로 구축된 MCP의 가장 인기 있는 사용 사례 순위 - 사용자 에이전트가 가장 자주 겪는 문제를 파악하여 수정할 수 있습니다. 빠른 데모는 다음과 같습니다: https://youtu.be/ZFlvquhyNMQ 이야기의 배경은 이렇습니다. 저희는 처음에 Armature를 독립형 테스트 도구( https://www.ycombinator.com/launches/QQc-armature-making-you... )로 출시했는데, 이 도구는 MCP 자체를 통해 자연스럽게 사용할 수 있었습니다. 저희는 사용자들이 Armature MCP를 어떻게 사용하고 있는지, 그리고 사용자들이 만족하는지 아니면 불만을 느끼는지 전혀 알지 못한다는 사실을 빠르게 깨달았습니다. 이는 이전 회사에서도 경험했던 일이었습니다. Louis는 수백만 사용자에게 노출되는 MCP를 구축했고, Theo는 Palantir에서 Forward Deployed Engineer로 일한 뒤 Datadog 스핀오프에 Founding Engineer로 합류했습니다. 테스트와 제품 분석은 항상 제품을 에이전트에 노출할 때 실제 고통이었지만, 대화가 사용자의 AI 클라이언트 안에 살기 때문에 분석에 관해서는 할 수 있는 일이 별로 없다고 늘 생각했습니다. 그러다 문득 떠올랐습니다. 에이전트에게 왜 이런저런 도구 호출을 하는지, 사용자의 의도나 잠재적 불만은 무엇인지 물어보면 어떨까? 그래서 MCP 계측을 실험하기 시작했는데, 사용 사례가 실제로 저희를 놀라게 했습니다! 초기 고객 중 다수가 CI에서 새 테스트를 트리거하거나 코딩 에이전트가 결과를 효율적으로 가져오기 위한 우회 방법을 구현해 두고 있었습니다. 저희는 초기 사용자들과 정기적으로 대화했음에도 그들이 이런 피드백을 공유한 적이 없었습니다. 그래서 저희는 사용 사례를 자동으로 클러스터링하고, 자주 마주치는 문제를 식별하며, 저희 자체 코딩 에이전트가 이를 수정하도록 하는 자동화를 구축했습니다. CTO 친구들이 이 소식을 듣고 직접 써보고 싶어 했고, 그래서 저희 내부 제품의 복제 버전에 접근 권한을 주었더니 "진짜" 제품에서는 한 번도 하지 않았던 피드백을 공유하기 시작했습니다! 그때 저희는 MCP Analytics를 제품으로 본격적으로 개발하기로 결정했습니다. 처음에는 MCP 성능이 저하될까 걱정했기 때문에, 계측 없이와 동일한 성공률(870회 실행 중 89.17% 대 89.15% 통과율)에 도달할 때까지 반복했습니다. 그다음 프라이버시는 명백한 제약이었기에, 은행 데이터를 다루거나 로그에서 민감 데이터 스캔을 구축하며 배운 것과 동일한 방법을 적용했습니다. 오늘날 마스킹은 서버에 도달하기 전에 클라이언트 측에서 실행됩니다. 아직 완전히 해결하지 못한 것들도 많습니다. 모든 모델이 모든 필드를 똑같이 채우지는 않고, 서버리스/무상태 MCP를 위한 세션 핑거프린팅은 완벽하지 않으며, 사용 사례 클러스터링은 여전히 최적화가 필요합니다. 하지만 저희는 마침내 분석 제품을 모든 사람에게 출시합니다. https://armature.tech 에서 셀프서비스로 이용할 수 있으며, 설정은 5분 이내에 끝나고 넉넉한 무료 티어도 제공합니다. 그리고 지금은 루프를 완전히 닫는 작업을 하고 있습니다. 평가를 다시 제품에 통합하여 다음을 할 수 있게 하려는 것입니다: 주요 워크플로와 문제 식별 -> 수정 및 개선 권장 -> 사용자가 실행한 동일한 워크플로에서 모든 하네스와 모델에 걸쳐 대규모로 수정 테스트 -> 수정 사항을 배포하기 위해 PR 열기. 평가는 세션 분석에서 자동으로 생성될 수 있어 모든 회귀를 잡아내고, 모든 모델과 하네스에 걸쳐 배포 전에 각 개선 사항의 실제 영향을 테스트할 수 있습니다. 여기까지입니다