Show HN: Web-eval-agent – 코딩 에이전트가 스스로 디버깅하게 하기

HN 여러분! 저희는 AI 지원 웹 앱 개발자들을 돕기 위해 MCP 서버를 만들고 있습니다. 브라우저 에이전트를 활용해 에디터 안에서 AI가 수행한 변경 사항이 실제로 작동하는지 테스트하는 것이죠. UI의 새로운 플로우를 검증하거나, 채팅 요청을 보냈을 때 응답이 트리거되는지 확인하는 등의 시나리오로 테스트해 왔습니다. 핵심 아이디어는 코딩 에이전트가 코드를 작성하는 동시에 자신이 한 일이 올바른지 평가할 수 있게 하는 것입니다. Cursor로 진행한 짧은 데모는 여기 있습니다: https://www.youtube.com/watch?v=_AoQK-bwR0w 앱을 만들면서 느낀 점은, AI 지원 코딩에서 가장 어려운 부분은 코딩이 아니라 작동 여부를 확인하기 위한 지루한 클릭 반복 테스트라는 것입니다. 저희는 이런 루프에 지쳤습니다: 앱 열고, 플로우 클릭하고, 네트워크 탭 들여다보고, 콘솔 에러를 에디터로 복사하고, 반복. 이건 당연히 AI가 도와야 할 일이라고 생각했습니다. 바이브 코딩이 가능하다면, 바이브 테스트도 가능해야 하니까요! Cline이나 Windsurf 같은 일부 에이전트에는 브라우저 통합이 있지만, Cline의 경우(Anthropic Computer Use 경유) 느리게 느껴졌고 콘솔 로그만 보고했으며, Windsurf의 것은 아직 안정적으로 작동하지 않았습니다. 수동 테스트에 너무 지쳐서 직접 해결하기로 했습니다. 저희 MCP 서버는 IDE 에이전트(Cursor/Windsurf/Cline/Continue)와 Playwright 기반의 browser-use 에이전트 사이에 위치합니다. 브라우저를 띄우고, IDE 에이전트의 지시에 따라 앱을 탐색한 뒤, 단계·콘솔 이벤트·네트워크 이벤트를 돌려주어 IDE 에이전트가 앱 상태를 평가할 수 있게 합니다. 저희는 Browser-use의 원래 Claude 호출을 프록시하면서 Gemini Flash 2.0으로 교체해 단계당 지연을 ~8초 → ~3초로 줄였습니다. 또한 콘솔/네트워크 로그를 10,000자로 제한해 컨텍스트 한도 내에 머물도록 했고, 관련 없는 로그(예: 시끄러운 XHR 요청)는 필터링합니다. 마지막에 브라우저 에이전트는 다음과 같은 요약을 출력합니다: Web Evaluation Report for http://localhost:5173 Task: delete an API key and evaluate UX Steps: Home → Login → API Keys → Create Key → Delete Key Flow tested successfully; UX had problems X, Y, Z... Console (8)... Network (13)... Timeline of events (57) … 이를 통해 코딩 에이전트는 콘솔 및 네트워크 에러나 클릭 과정의 문제를 인식하고, 사용자에게 돌아가기 전에 스스로 수정할 수 있습니다. (더 긴 예시는 https://github.com/Operative-Sh/web-eval-agent 의 README에 있습니다.) Cursor / Cline / Windsurf / Claude Desktop에서 사용해 보세요: (macOS/Linux): curl -LSf https://operative.sh/install.sh -o install.sh less -N install.sh # inspect if you’d like bash install.sh # installs uv + jq + Playwright + server # then in Cursor/Cline/Windsurf/Continue: craft a prompt using the web_eval_agent tool (Windows의 경우 README에 4줄짜리 수동 설치 방법이 있습니다.) 다음으로 하고 싶은 것들: OAuth 화면에서 일시정지/진행; 브라우저 인증 상태 저장/불러오기; 자동화 테스트 생성 및 회귀 테스트 생성을 위한 Playwright 단계 녹화; 웹 버전을 제공해 Loveable / v0 / Bolt.new 사이트 지원. 여러분의 피드백을 듣고 싶습니다. 특히 IDE 안에서 변경한 뒤 웹 앱에서 수동으로 테스트해야 하는 고통을 겪어 보셨다면, 혹은 이와 관련해 잘 작동하는 대안 MCP 도구를 사용해 보셨다면 알려 주세요. 워크플로에 도움이 될 것 같다면 한번 사용해 보세요: https://github.com/Operative-Sh/web-eval-agent . (참고: 서버는 Gemini 토큰을 충당하기 위해 저희 operative.sh 프록시를 거칩니다. MCP 서버 자체는 OSS이며, Anthropic base-URL 지원이 곧 제공될 예정입니다. 무료 티어가 포함되어 있고, 헤비 유저는 모델 비용을 상쇄하기 위해 $10 플랜을 선택하실 수 있습니다.) 여러분의 생각을 알려 주세요! 읽어 주셔서 감사합니다!