4B 모델 87점 vs 14B 모델 75점. 차이는 하네스입니다

This is the long-form blog cut of a note I originally posted on LinkedIn. The claims, numbers, and product names are the same; the formatting is for reading on the site.

Context

Original framing (translated in place for key technical posts; substance preserved):

GitHub: https://lnkd.in/dGV6tncU

Claude Code, OpenCode 에 로컬 모델을 붙여보셨나요? Gemma나 Qwen 을 연결하는 순간 tool call 이 깨지고 context 가 넘칩니다.

“모델이 작아서 안 되는 거야” 하고 넘겼는데, 누군가가 그 문제를 하네스 설계로 풀었습니다.

바로 SmallCode 입니다. 작동 원리를 7가지로 정리했습니다.

Compound tools 로 순차 호출을 줄입니다

“파일 찾기 → 읽기 → 수정 → 검증” 4번을 툴 하나로 묶습니다. 소형 모델은 tool call 3회 이상이면 coherence 가 무너지기 때문입니다. 이걸 4번에서 1번으로 줄이는 것만으로 실패율이 절반으로 줄었습니다.

Improvement loop 가 에러를 자동으로 피드백합니다

코드를 생성하면 즉시 compile·lint 를 돌립니다. 에러가 나면 그 결과를 곧바로 모델에 넣어줍니다. 첫 생성 코드부터 완벽할 필요가 없어요. 에러를 보고 고치는 것만 잘하면 됩니다.

Decompose on failure 로 작업의 범위를 좁힙니다

같은 작업이 두 번 실패하면 재시도 대신 문제를 쪼갭니다. “200줄 파일 수정”이 “45번째 줄만 수정”으로 바뀝니다. 일단 scope 를 좁히는 게 재시도보다 낫습니다.

Code graph 로 연결된 코드만 가져옵니다

보통 에이전트는 키워드로 grep 합니다. “auth”를 검색하면 auth 라는 글자가 들어간 파일 15개가 쏟아집니다.

SmallCode 는 코드를 파싱해서 “어떤 함수가 어떤 함수를 호출하는지” 관계도를 미리 만들어 둡니다. “auth 가 어떻게 작동해?“를 물으면 verifyToken() → checkPermission() → UserModel 순서로 호출 체인을 따라가서 실제로 연결된 코드만 context 에 넣어줍니다. 관계 없는 파일이 안 들어오니까 소형 모델의 정확도가 올라갑니다.

Tool call 형식이 틀려도 알아서 파싱합니다

소형 모델은 JSON 을 자주 깨뜨립니다. 괄호가 빠지거나 파라미터 이름을 틀리거나 아예 다른 포맷으로 답합니다.

SmallCode 는 JSON, YAML, XML, Hermes format, plain text 까지 전부 받습니다. 타입이 맞지 않아도 자동으로 교정합니다.

기존 에이전트는 JSON 이 아니면 바로 에러를 뱉거든요. 이 차이만으로 소형 모델의 첫 tool call 성공률이 크게 달라집니다.

Token budgeting 이 context 를 직접 관리합니다

소형 모델 context window 의 크기는 고작 32k~256k. 파일 전체를 넣으면 터집니다.

SmallCode 는 파일에서 함수 이름과 입출력 정보만 남기고 본문 코드를 잘라냅니다. 모델이 “이 파일에 어떤 함수가 있는지”는 알되 전체를 읽지 않는 구조를 유지해 context window 의 70% 를 넘기지 않도록 합니다.

Cloud Model 은 딱 5% 의 경우에만 사용합니다

3번에서 언급한 문제를 쪼개는 단계까지 실패하면 그 작업만 Claude 나 OpenAI 로 자동으로 넘깁니다. 그 한 건만 클라우드에서 처리하고 나머지는 그대로 로컬입니다.

결과: Gemma 4 (4B 활성 파라미터)로 ~87%. OpenCode 는 14B 모델로 ~75%. 즉, 모델의 성능을 개선하는 것보다 하네스를 제대로 구축하는 것이 훨씬 더 큰 효과를 만들 수 있습니다.

작은 크기의 로컬 LLM 으로 코딩 에이전트를 써보고 싶다면 SmallCode 를 읽어보세요.

Links

• https://lnkd.in/dGV6tncU