Better Harness 토큰 및 실패 검사를 갖춘 DeepSeek Harness 플러그인 런타임

What they did

작성자는 Pero의 네이티브 Go 하네스와 ACP 에이전트를 확장하여 로컬 Claude Code 플러그인이 DeepSeek Harness 내부에서 실행되도록 했다. 플러그인 매니페스트, 스킬과 명령, 에이전트, 라이프사이클 훅, MCP/LSP 구성 및 지원되는 JavaScript 워크플로는 기존의 권한, 취소, 자식 예산 소유자를 통해 로드된다. ToolSearch 쿼리는 정확하게 만들어졌고, 전체 스키마는 내구성 있는 메타데이터와 간결한 영수증에 보관되며, 자식은 승인된 도구만 발견할 수 있다. Bash는 명시적 workdir과 제한된 종료를 얻었고, 여기에 복구 가능한 작업 핸들, ignore-aware 검색 커서, 공유 도구 출력 예산, Session이 소유하는 전체 텍스트 readback이 추가되었다. 런타임은 이제 실제 Session JSONL, 도구 결과, 실패 및 반복 호출, 마스킹된 검증 후보, 스키마 노출, 요청 바이트, 커밋된 프로바이더 사용량을 기록하고 Better Harness Inspector 보고서를 내보낸다. 프로바이더 전송 실패는 URL이나 임의의 원인 텍스트를 복사하지 않고 고정된 안전한 DNS/타임아웃/EOF/reset/거부 진단을 유지한다. 명시적 JSON Chat 및 상태 비저장 Responses 프로토콜 선택이 추가되었으며, Responses는 복원 과정에서 호출/항목 ID, 어시스턴트 단계, 암호화된 추론을 보존하고 자동 재생이나 프로토콜 폴백은 수행하지 않는다. 검증은 프로바이더 레이스 스위트, vet, Bazel 타깃, Gazelle diff, 네이티브 바이너리 빌드, 6개 요청과 6쌍의 Read/Bash/Write 호출에 대한 실제 sol Responses 수용, 프로세스 재시작에 걸친 5단계 픽스처, 67개 요청과 592,107개의 기록된 토큰으로 41개의 공식 테스트를 모두 통과한 4개 작업 DeepSeek 코호트를 포함했다. 89개의 Terminal-Bench 2.0 작업 전부가 사용자 지정 32-요청 상한을 제거하고 고정된 DeepSeek 바이너리로 실행되고 있었다.

How it went

병합된 트리는 Harness Go, 독립 실행형 Harness Bazel 및 DSH AST 작업을 통과했으며, 전체 로컬 pero-runtime 라이브러리 스위트는 기존에 무시된 테스트 하나를 포함해 109개의 테스트를 통과했습니다. 실제 sol Responses 수용 테스트는 6개의 요청과 6개의 페어링된 도구 호출을 완료했으며, 원래의 9개 테스트가 독립적으로 통과했고 Claude 형식 스킬과 pre/post 훅이 실행되었습니다. 4개 작업으로 구성된 DeepSeek 코호트는 41개의 공식 테스트를 모두 통과했습니다. 전체 Terminal-Bench 2.0 완료는 아직 대기 중이며, 저장소 게이트는 여전히 실패 상태이고, 전체 Claude 동등성이나 종합 리더보드 점수는 주장되지 않습니다.

Worth knowing

제공자의 Chat 도구 라우트는 503을 반환하고 terra는 사용 가능한 완료 없이 403을 반환합니다. 호스팅된 Responses 도구와 스트리밍은 구현된 하위 집합 밖에 있습니다. 토큰 비교는 확률적 샘플에서 나온 것이며 인과적 절감을 입증하지 않습니다. 진단 실행에는 OS 샌드박스가 없으며 리더보드 제출이 아닙니다. 사용량 커버리지에는 레거시 거부된 요약과 실패하거나 중단된 요청에 대한 명시적 공백이 있으며, 기록된 토큰은 청구서가 아닙니다. PyPI 서버 시험에서 Session 종료가 검증 전에 서버를 종료시키는 관리형 작업 수명 불일치가 드러났습니다. Scientific Viewer와 생성된 계약을 포함한 여러 CI 작업이 여전히 실패합니다.

Wiring

하네스는 플러그인 로딩, 권한, 취소, 자식 예산을 담당하는 Go 런타임과 ACP 에이전트로 구성된다. 플러그인 매니페스트, 스킬/커맨드, 에이전트, 훅, MCP/LSP 설정은 로컬 Claude Code 플러그인 디렉터리에서 읽어 하네스 프로세스 트리 내부에서 실행된다. ToolSearch는 내구성 있는 스키마 메타데이터에 대해 명명된 쿼리를 정확히 해석하며, 자식은 승인된 도구 표면만 받는다. Bash는 명시적 workdir과 제한된 종료로 실행되며, 장기 실행 작업은 해당 에이전트/세션 수명에 묶이므로 영속 서비스에는 독립적인 환경 소유자가 필요하다. 세션 상태는 JSONL로 기록되고 Session이 소유한 전문 검색 저장소를 통해 다시 읽힌다. 프로바이더 전송은 JSON Chat과 상태 비저장 Responses 중에서 명시적으로 선택되며, Responses는 호출/항목 ID, 어시스턴트 단계, 암호화된 추론을 복원한다. 자동 재생이나 프로토콜 폴백은 없다. 진단은 DNS, 타임아웃, EOF, 리셋, 거부에 대해 고정된 안전 문자열이며 URL과 임의의 원인 텍스트는 제거된다. Better Harness Inspector는 토큰 및 실패 검토를 위해 내보낸 보고서를 소비한다. 검증은 Go 테스트 스위트, 레이스 스위트, vet, Bazel 타깃, Gazelle diff, 네이티브 바이너리 빌드를 통해 실행되며, 실제 프로바이더 인수 테스트와 Terminal-Bench 코호트는 고정된 DeepSeek 바이너리에 대해 실행된다.

Try it yourself

이 저장소에서 네이티브 Go 하네스와 ACP 에이전트를 확장하여 로컬 Claude Code 플러그인을 로드할 수 있도록 합니다: 플러그인 매니페스트, 스킬/커맨드, 에이전트, 라이프사이클 훅, MCP/LSP 설정 및 지원되는 JavaScript 워크플로를 파싱하고, 이를 기존의 권한, 취소, 자식 예산 소유자(child-budget owners)를 통해 라우팅합니다. 명명된 ToolSearch 쿼리를 정확하게 만들고, 전체 스키마를 영속 메타데이터에 유지하면서 컴팩트한 영수증을 제공하며, 자식 도구 탐색을 승인된 도구로 제한합니다. 명시적인 Bash workdir과 경계가 설정된 종료, 복구 가능한 작업 핸들, 무시 인식 검색 커서, 공유 도구 출력 예산, Session 소유의 전체 텍스트 readback을 추가합니다. Session JSONL, 도구 결과, 실패 및 반복 호출, 마스킹된 검증 후보, 스키마 노출, 요청 바이트, 커밋된 프로바이더 사용량을 기록하고 Better Harness Inspector 리포트를 내보냅니다. 자동 재생이나 폴백 없이 명시적인 JSON Chat 및 stateless Responses 프로토콜 선택을 추가하고, 복원 과정에서 호출/항목 ID, 어시스턴트 단계, 암호화된 추론을 보존합니다. 그런 다음 프로바이더 레이스 스위트, vet, Bazel 타깃, Gazelle diff, 그리고 Read/Bash/Write 호출을 쌍으로 구성한 실제 프로바이더 인수 테스트를 실행합니다.