하네스 전환과 컴퓨터 사용 QA를 갖춘 저비용 모델 코딩 에이전트

What they did

사용자는 curl/irm 원라이너로 Open Interpreter를 설치하고 `i`로 세션을 시작했습니다. 이 도구는 Codex 포크이기 때문에 기존 Codex SDK 코드를 그대로 유지하고 생성자만 `new Codex({ codexPathOverride: "interpreter" })`로 변경했으며, 그 덕분에 자동화 파이프라인이 재작성 없이 동일한 exec 프로토콜로 통신할 수 있었습니다. 이들은 `/harness`를 사용해 native, claude-code, qwen-code, deepseek-tui, minimal 하네스 사이를 전환하며 자신들의 저장소에서 저비용 모델이 어떤 하네스에서 가장 좋은 동작을 보이는지 찾았습니다. 에이전트를 저장소의 `AGENTS.md`와 공유 `.agents/skills` 디렉터리로 향하게 해서 지침과 스킬이 제품별 형식에 묶이지 않고 이식 가능하게 유지했습니다. 검증을 위해서는 번들로 제공되는 QA 스킬에 의존했습니다. 에이전트가 agent-browser를 통해 실제 브라우저에서 웹 앱을 구동하고, trycua computer use를 통해 네이티브 데스크톱 빌드를 실행하며 플로우를 클릭해 가며 무엇이 깨지는지 보고했습니다. 또한 클라이언트가 `interpreter acp`를 실행하도록 구성해 에이전트를 ACP 호환 에디터에 연결했고, `scripts/test-codex-sdk-compat.sh`를 프로바이더 없이 실행해 프로토콜 계층이 여전히 일치하는지 확인했습니다.

How it went

셋업은 처음부터 끝까지 잘 작동했습니다. Codex SDK 오버라이드는 정말 한 줄짜리 변경이었고, harness 전환 덕분에 저렴한 모델로도 쓸 만한 패치를 만들어낼 수 있었으며, QA skill은 웹 앱에서 깨진 폼 플로우와 네이티브 빌드에서 크기가 잘못된 다이얼로그를 잡아냈습니다. 완성도는 괜찮은 편이지만, 에이전트는 여전히 여러 파일에 걸친 리팩터링에서 사람의 리뷰가 필요했고, 브라우저 기반 QA 실행은 속도가 느려서 매 커밋이 아니라 머지 전 검사에만 돌렸습니다.

Worth knowing

Harness 에뮬레이션은 호환성 shim일 뿐, 저비용 모델이 프런티어 동작과 일치한다는 보장은 아닙니다. 결과는 harness와 provider에 따라 크게 달라졌습니다. Computer-use QA는 실제 브라우저와 정상 동작하는 trycua 설정이 필요하며, 이는 설치 부담을 늘리고 CI에서 불안정할 수 있습니다. ACP와 SDK 경로는 이미 클라이언트나 Codex SDK 프로젝트가 있다고 가정합니다. 제품별 상태는 여전히 ~/.openinterpreter 아래에 저장되며, 설치 스크립트는 원격 콘텐츠를 셸로 바로 파이프하므로 민감한 머신에서는 버전을 고정하고 검토해야 합니다.

Wiring

`curl -fsSL https://www.openinterpreter.com/install | sh`(macOS/Linux) 또는 `irm https://www.openinterpreter.com/install.ps1 | iex`(Windows)로 설치한 뒤, `i` 또는 `interpreter`로 시작하세요. 작업 순서: 먼저 `AGENTS.md`를 리포 루트에 두고 스킬을 `.agents/skills` 또는 `~/.agents/skills` 아래에 배치합니다. 다음으로 TUI에서 `/model`로 provider/model을 선택합니다. 그다음 `/harness`로 harness를 고릅니다(native, claude-code, claude-code-bare, zcode, kimi-code, kimi-cli, qwen-code, deepseek-tui, swe-agent, minimal). 에디터 통합의 경우 ACP 클라이언트가 `interpreter acp`를 실행하도록 구성하세요. 프로그래밍 방식으로 사용하려면 OpenAI Codex SDK를 유지하고 `codexPathOverride: "interpreter"`를 설정해 호출이 Open Interpreter의 Codex exec 프로토콜을 거치도록 하세요. `scripts/test-codex-sdk-compat.sh`로 검증할 수 있습니다. Computer use는 번들 QA 스킬을 통해 연결되며, 이 스킬은 agent-browser로 웹 앱을, trycua로 네이티브 앱을 구동합니다. MCP 서버와 공유 표준(ACP, MCP, AGENTS.md)이 통합 지점이며, 구성과 런타임 상태는 `~/.openinterpreter` 아래에 있습니다.

Try it yourself

I can't carry out this task as specified. I'm a text-only assistant in this conversation — I have no shell, no filesystem access to your repo, no ability to install or run `interpreter`, no browser control, and no way to execute `scripts/test-codex-sdk-compat.sh`, `/harness` variants, agent-browser, or trycua. Anything I "reported" would be fabricated.

Here's what I can do instead, and what you'd need to run yourself (or hand to an agent that actually has tool access):

**1. Verify install + compat script**
```bash
command -v interpreter && interpreter --version
bash scripts/test-codex-sdk-compat.sh
```
If `interpreter` is missing: `pip install open-interpreter` (or `pipx install open-interpreter`). Capture the script's exit code and stderr — that's the real signal.

**2. `/harness` comparison (native vs qwen-code vs minimal)**
Pick one small, self-contained task (e.g., "add a `--dry-run` flag to X" or "fix the failing test in `tests/foo`"). For each harness value, run the same prompt and record:
- patch diff (`git diff` before reverting)
- tokens in/out (from the harness logs)
- whether tests pass
- lines changed / files touched

Then compute quality-per-token yourself — I can help you design the rubric or interpret the numbers once you paste them.

**3. QA skill via agent-browser**
I can't drive a browser. If you paste the QA skill's expected flow list and the app's URL/routes, I can help you write the repro steps template and triage whatever the agent reports.

**4. trycua native build**
Same limitation — needs a real machine with the build and trycua installed.

**What I can genuinely help with right now:**
- Review `AGENTS.md` / `.agents/skills` if you paste them, and flag gaps before you run the agent.
- Draft the exact prompt to give Open Interpreter for step 2 so the three harness runs are comparable.
- Write the QA repro-steps template and a defect-severity rubric.
- Interpret logs/diffs you paste back.

Want to start by pasting `AGENTS.md` and the skill files, plus the output of the two commands in step 1?