Recipes

Colony 적응형 MCP 오버헤드 감소 및 선택적 워크플로 가이던스

README 링크에서 발견 · today

Research & KnowledgeSoftware & DevOps

적응형 MCP 도구 표면과 소스 메타데이터를 간소화하면서 출처 정보는 유지했습니다.

What they did

Colony repo에서 작성자는 부모 adaptive-context-budgets 브랜치를 대상으로 하는 draft 자식 PR(feat/adaptive-context-low-overhead)을 열었으며, merge나 auto-merge는 승인되지 않았습니다. 이 변경은 opt-in adaptive MCP 경로를 더 간결하게 만듭니다. 일상적인 writable 워크플로는 ask/push만 노출하고, read-only 워크플로는 ask만 노출하며, 명시적 메모리 관리는 기존 CLI 명령이나 전체 non-adaptive 연결을 통해 계속 사용할 수 있습니다. 검증된 adaptive 응답은 중복되는 source metadata를 압축하지만, ref/content_hash 쌍으로 구성된 최상위 sources 목록은 유지하여 다운스트림 소비자(특히 병합된 PR16 evaluator)가 findings를 publications에 바인딩할 수 있게 합니다. 의미 있는 selector, non-file kind, 알 수 없는 metadata, 또는 불완전한 identity coverage를 가진 sources는 전체 metadata를 유지합니다. 최종 canonical payload는 receipt와 함께 다시 계산되며, 수용할 수 없는 evidence는 안전한 budget-limited miss를 반환합니다. small-bundle 보정은 전역적으로 preselected passage가 없는 saved findings에 대한 명시적 whole-file 요청에서 모든 필수 파일을 보존하며, 최대 4개 파일과 <=2,800 combined source characters입니다. Adaptive guidance는 값싼 known-file 읽기가 메모리를 우회하도록 허용하면서 실질적인 multistep research는 메모리를 통해 진행하도록 재작성되었으며, 이는 강제 라우팅이 아닌 best-effort guidance입니다. 작성자는 CLI/HTTP/Store를 통해 sourced trail을 게시하고, 인증된 read-only MCP를 통해 이를 검색하며, trail ID, source identities, 현재 텍스트 및 최종 budget receipt를 검증하는 regression을 추가했습니다. 이 regression은 이전 head에서 KeyError: sources로 실패했습니다. 고정된 evaluator overlay는 MCP research contracts, fact-scoped oracles, source-bound blank handling, protocol/collector guards 및 offline integration controls를 추가했으며, 병합된 PR16 Git blob에 hash-bound patch로 적용되었습니다. 검증에는 전체 suite(1018 passes, 36 platform skips), 26 scoped passes, 161 patched evaluator passes, Ruff, fresh wheel/install/CLI/HTTP/MCP demo, 그리고 Git에 대해 검증된 27개의 설치된 runtime modules 전부가 포함되었습니다. Native evaluation은 head e073919에서 arm당 28개의 matched sessions를 실행했습니다.

How it went

테스트, lint, 범위/호환성 검사는 통과했고, 소스맵 수정은 실제 소스에 바인딩된 좁은 히트로 검증되었다. 토큰 증거 검토는 실패했다: e073919에서 새로 매칭된 28개 세션은 Colony 없이 총 903,094 토큰을 사용한 반면 Colony 사용 시 962,593 토큰(+6.59%)을 사용해, 앞서 df9ba5c에서의 -4.04%를 뒤집었다; uncached-input-plus-output은 111,542 대 142,497(+27.75%)이었다. 품질은 근접했다(Colony 13/14 정확성/그라운딩, 13/14 형식; 베이스라인 12/14 및 14/14). 그러나 필수 통제된 게시/재사용 커버리지는 실패했다. 뒷받침되는 제품 우위는 없으며, PR은 실험적 상태이자 드래프트로 남는다.

Worth knowing

최신 수정에 대해 새 모델 평가가 실행되지 않았으므로 변경된 런타임과 컬렉터에 대한 토큰 증거는 보류 중입니다. 이전 e073919 및 df9ba5c 수치는 불변이며 현재 헤드의 절감분으로 상속되지 않습니다. 네이티브 클라이언트 바이너리, 에이전트/캐시 동작, 이전 체크포인트 연속성이 서로 다르기 때문에 이번 역전을 P2 수정 탓으로 돌릴 수 없습니다. 변경되지 않은 검사기는 보수적인 빈 줄 커버리지 한도를 가집니다. 네이티브 Linux/macOS는 여전히 미검증 상태이며, 36건의 스킵은 환경적 한계(Windows 8.3 별칭, 심볼릭 링크 권한)입니다. 오프라인 토큰 수는 표현(representation) 카운트이며 실제 측정된 프로바이더 프롬프트가 아닙니다.

Wiring

작업은 feat/adaptive-context-low-overhead 브랜치에서 진행되며, 이 브랜치는 4ba3269를 기반으로 한 PR #14(feat/adaptive-context-budgets)의 draft 자식 브랜치이고, merge나 auto-merge는 없습니다. 핵심 수정은 src/colony/mcp.py와 두 개의 테스트 파일, 그리고 adaptive 동작 문서로 한정되며, dependency, ranking, storage, authorization 구현은 건드리지 않습니다. adaptive 경로는 opt-in 방식이며 routine setup에 의해 단일 connection으로 설치됩니다. 비-adaptive 도구, 스키마, instructions, payload 바이트는 unbound, writable, read-only 프로필 전반에서 고정된 parent와 일치해야 합니다. evaluator overlay는 고정되어 있으며, D:의 merged PR16 Git blob에 대해 리뷰된 hash-bound patch로 적용되고, framework와 무관한 main-branch 변경 사항은 의도적으로 import하지 않습니다. 검증 순서는 다음과 같습니다: 우선 targeted adaptive/context-budget/setup 테스트, 그다음 전체 suite, Ruff와 whitespace, 27개 runtime 모듈 전부를 Git에 대해 hash 검증한 wheel/source archive 빌드, fresh install, 그리고 source 변경, branch mismatch, minimum-budget 미달, writable tool 노출, management CLI 접근, server teardown을 다루는 CLI/HTTP/Git/stdio-MCP 데모입니다. Native studies는 arm별로 동일한 task, model, effort, budget을 사용한 matched session을 사용하며, raw log, cost, label, continuation disclosure는 보존됩니다.

Try it yourself

## 1. 적응형 MCP 도구 노출 축소

- 쓰기 가능한 일상 적응형 워크플로는 `ask`/`push`만 노출하고, 읽기 전용 워크플로는 `ask`만 노출하도록 변경.
- 명시적 메모리 관리는 기존 CLI 명령 또는 전체 비적응형 연결을 통해 계속 사용 가능.

## 2. 적응형 응답의 소스 메타데이터 압축

- 검증된 적응형 응답에서 중복 소스 메타데이터를 압축하되, 항상 최상위 `sources` 목록에 `ref`/`content_hash` 쌍을 유지.
- 다음 경우에는 전체 메타데이터 유지:
  - 선택자가 의미 있는 경우
  - kind가 파일이 아닌 경우
  - 메타데이터를 알 수 없는 경우
  - 신원 커버리지가 불완전하거나 충돌하는 경우

## 3. 최종 정규 페이로드 재계산

- 영수증과 함께 최종 정규 페이로드를 다시 계산.
- 필수 증거가 예산에 맞지 않으면 안전한 예산 제한 miss 반환.

## 4. 저장된 소스 번들 수정

- 전역적으로 미리 선택된 구절이 없을 때 명시적 전체 파일 요청이 모든 필수 파일을 보존하도록 소규모 저장 소스 번들 수정.
- 최대 4개 파일, 결합 소스 문자 수 2,800자 이하.

## 5. 적응형 가이드 재작성

- 저비용의 알려진 파일 읽기는 메모리를 우회하고, 실질적인 다단계 리서치는 메모리를 사용하도록 안내.
- 이는 best-effort 가이드로만 취급.

## 6. 회귀 테스트 추가

- CLI/HTTP/Store를 통해 소스가 포함된 trail을 게시.
- 인증된 읽기 전용 MCP로 검색.
- trail ID, 소스 신원, 현재 텍스트, 최종 예산 영수증을 검증.

## 검증

- 전체 테스트 스위트 실행.
- Ruff 실행.
- 새 wheel 설치.
- CLI/HTTP/MCP 데모 실행.
- 표현 수준 토큰 수는 네이티브 측정과 별도로 보고.

Source

English

Tools in this stack