채점표가 있는 곳에서만 에이전트가 이겼다
같은 주에 232배 커널과 못 쓸 PCB가 함께 나온 이유, 그리고 위임의 고정비와 벌어진 신뢰 표면
이번 주
성적표를 기계가 매길 수 있으면 이기고, 없으면 진다
이번 주 가장 화려한 숫자는 codex 자동 연구로 얻은 232배 커널에서 나왔습니다. 그런데 그 글이 스스로 밝히는 승인은 모델의 영리함이 아니라 벤치와 프로파일과 검증이 매 시도를 기계가 채점할 수 있게 깔려 있었다는 점입니다. 커널은 빠르거나 느리고, 맞거나 틀립니다. 채점표가 공짜로 존재하는 드문 영역입니다.
같은 주에 채점표가 없는 쪽의 성적도 나왔습니다. LLM에게 4층 PCB 배선을 맡긴 비교 실험은 처음에 그럴듯해 보였다가 사람 엔지니어 리뷰에서 무너졌고, 모델을 바꿔도 결론이 달라지지 않았습니다. 그럴듯함과 옳음을 자동으로 가르는 장치가 없으면 반복 루프를 아무리 돌려도 그럴듯함만 정교해집니다. LLM이 강한 수학의 종류를 나눈 정리가 그은 선도 같은 자리입니다. 탐색으로 닿을 수 있는 문제와 그렇지 않은 문제 사이입니다.
그래서 이번 주의 실무 항목들이 하나같이 채점표 만드는 이야기였던 것은 우연이 아닙니다. 정상 케이스가 29개 중 4개뿐인 LLM 테스트 설계는 깨끗한 데이터로 보는 시험은 전부 통과하고 실전에서 무너진다고 말하고, 700명을 가르치며 모은 LLM Evals 실무 답변은 벤치마크 점수가 아니라 내 사용자에게 나가는 답을 어떻게 검사하느냐가 질문이라고 못박습니다. 자동매매 3년 운영기는 이 구조를 가장 날것으로 보여줍니다. 실주문 프로그램과 백테스트 프로그램이 정확히 같은 규칙으로 도는지가 사실상 전부이고, 버그를 고치면 채점표 쪽이 어긋납니다.
정리하면 이번 주 재료는 에이전트의 성능 곡선이 아니라 채점 가능성의 지도를 그립니다. 관리자님이 다음에 무언가를 에이전트에게 통째로 맡길지 판단하실 때, 먼저 물어볼 것은 모델이 이걸 할 수 있느냐가 아니라 결과가 틀렸을 때 그 사실을 사람 없이 알 수 있느냐입니다.
쓰는 값은 내려갔고 이해하는 값은 그대로다
병목이 이해로 옮겨 갔다는 관찰은 이번 주 여러 항목의 공통 분모였습니다. 코드를 쓰는 속도가 문제였던 자리에 쏟아진 코드를 이해하는 속도가 들어앉았다는 이야기인데, AI와 일하는 건 코딩보다 리딩에 가깝다는 글은 같은 변화를 사람 쪽에서 봅니다. 무엇을 맡길지 정하고 맥락을 주고 받아서 판단하는 순환이 앞에 옵니다.
여기서 재미있는 것은 그 순환에 실제 가격표가 붙어 나왔다는 점입니다. 위임할 때마다 붙는 고정비 두 개는 넘겨받은 쪽이 프롬프트 캐시를 공유하지 못해 매번 처음부터 다시 읽고, 지시서를 쓰는 것 자체가 토큰이라고 셉니다. 둘 다 일의 크기와 무관하게 붙으니 작은 일을 넘길수록 손해입니다. Claude Code 세션에서 값을 뽑아내는 방법이 무엇을 넘기지 않을지를 핵심으로 꼽은 것도, 코딩 에이전트에 유리한 언어를 토큰 관점에서 따진 글이 언어 선택까지 이 계산에 넣은 것도 같은 흐름입니다.
맥락을 미리 쌓아 두는 쪽으로 답을 낸 것들도 있습니다. Spotify의 Xirp는 에이전트가 기술적으로 맞고 운영상으로 틀린 결정을 내리는 원인을 문서 부족이 아니라 검색 문제로 규정하고, Slack과 담당자 기억과 낡은 README에 흩어진 조직 지식을 시점에 맞춰 끌어오는 쪽에 걸었습니다. Pi의 컨텍스트 compaction 해부는 같은 문제의 아래층, 즉 무엇을 버리고 무엇을 남길지를 코드 수준에서 보여줍니다.
모델은 노트북으로 내려오고, 신뢰 표면은 위로 벌어진다
주 초부터 작고 로컬인 것들이 줄줄이 나왔습니다. 상시 구동 로컬 에이전트를 겨냥한 30B 오픈 웨이트 Muse Glimmer, 소비자 하드웨어를 노린 Qwen 3.8 27B, 그리고 극단으로는 28MB RAM 안에서 도는 14MB 에이전틱 LLM Needle2입니다. 실행 환경 쪽도 같이 움직여서 Unsloth Desktop은 실행과 학습을 한 앱으로 묶었고, macOS VM에서 llama.cpp 속도를 되찾은 기록은 토큰 생성 16배를 회수했습니다. antirez가 C와 Metal로 짠 전용 추론 엔진은 이 흐름의 정서적 극단입니다. 코드를 다 맡기는 시대에 굳이 손으로 특화 구현을 냅니다.
내려오는 힘의 반대편에서는 신뢰 표면이 벌어졌습니다. 상용 API의 암호화된 추론 트레이스를 재생해 읽어낸 연구는 그 블록이 세션과 사용자와 모델을 넘어 재생되고, 강한 모델의 트레이스를 약한 형제 모델에 먹여 우회할 수 있다고 말합니다. ClaudeBot을 사칭한 대량 취약점 스캔은 에이전트 트래픽이 이제 위장할 값어치가 있는 신원이 됐다는 뜻이고, 회의 녹화 SaaS tl;dv의 18만 건 노출은 특별한 기교 없이 남의 테넌트에 닿았습니다. GLM-5.3 공개가 코딩 프런티어와 사이버 능력의 동반 창발을 같은 문서에서 다룬 것도 이 그림의 일부입니다.
이 두 방향은 사실 한 가지 결정을 서로 다른 각도에서 압박합니다. 어디까지 내 손 안에서 돌릴 것인가입니다. 예산을 강제하고 인용을 검증하며 로컬 데이터에 경계를 두는 리서치 에이전트 Mole이 내건 세 가지 약속이, 이번 주 사고 항목들이 남긴 요구사항과 거의 그대로 겹칩니다. 그리고 MCP가 stateless로 바뀐 스펙 변경은 그 반대편, 즉 원격 서버를 평범한 HTTP 서비스로 굴리는 쪽의 문턱을 낮췄습니다. 어느 쪽이든 선택지가 늘었을 뿐, 경계선은 관리자님이 그으셔야 합니다.
규격이 된 실수는 지워지지 않는다
화제와 무관해 보이는 항목 몇 개가 이번 주에 묘하게 같은 말을 했습니다. 유니코드를 떠도는 유령 문자들은 필사와 판독 과정의 오류가 표준에 들어앉은 뒤로는 지울 수 없게 된 사례이고, 컴파일러마다 다른 UTF-8 처리는 그 표준 위에서 각자 다르게 가정하는 층이 또 쌓였음을 보여줍니다.
더 아래로 내려가면 Tailscale이 16년 묵은 SQLite WAL 리셋 경합까지 내려간 데이터 손상 추적이 있습니다. 재현이 안 돼서 VFS 계층에 shim을 끼워 실행 순서를 흔들고 나서야 잡혔습니다. zsh 기록이 잘려 나가던 버그 추적기도 성격이 같습니다. 원인이 잡히기 전까지는 착각인지 실제 유실인지조차 확신할 수 없습니다. 로그 한 줄이 journald에 만드는 49KB 쓰기나 RAM 1GB를 쓰는 Windows 11 날씨 앱은 재현이 쉬운 쪽이지만, 오래 아무도 재 보지 않았다는 점에서는 다르지 않습니다.
첫 번째 이야기와 이어 붙이면 결론이 하나로 모입니다. 에이전트가 잘하는 일은 채점표가 있는 일인데, 이런 종류의 결함은 채점표를 만드는 것 자체가 작업의 전부입니다. 그 자리는 당분간 사람이 지킵니다.
이번 주 아카이브를 한 줄로 줄이면, 생산은 싸졌고 검증은 그대로라는 이야기였습니다. 다음 주에도 이 격차가 좁혀지는지 보고드리겠습니다.