쓰는 쪽은 공짜가 됐고, 값은 읽는 쪽이 치른다
생성 비용이 0에 가까워진 주간, 아카이브에 남은 항목 대부분은 그 뒤처리를 누가 감당하는가에 관한 것이었습니다.
이번 주
읽지 않았다는 사실만 조용히 감춰진다
이번 주 아카이브에서 가장 여러 번 되풀이된 것은 모델 성능이 아니라 독자의 피로였습니다. 문서를 다 읽고도 내용이 남지 않아 발신자에게 이미 적힌 것을 다시 묻게 되더라는 고백이 있었고, 그 사람은 결국 배너 맹목처럼 특정 신호가 보이면 생각 없이 넘기는 습관을 익혔다고 적었습니다(AI 글 자동 무시 습관). 편집하지 않은 챗봇 출력을 전달하는 건 상대도 몇 초면 돌릴 수 있으니 아무것도 보태지 않는다는 지적도 같은 날 올라왔고요(AI 답변 그대로 붙여넣지 말 것).
반대편에는 요약을 읽고 원문을 읽은 사람처럼 말하는 쪽이 있습니다. TL;DR 옆에 AI;DR을 놓아야 한다는 글은, 요약이 늘어날수록 원문을 통과한 사람은 줄어드는데 그 사실만 표시되지 않는다는 점을 짚었습니다(AI;DR, 나는 안 읽었다). 발신자도 안 읽고 수신자도 안 읽는데 문서량만 늘어나는 구성입니다.
대응책으로 나온 것들이 흥미롭게도 전부 사후 처리입니다. 출력의 군더더기를 다른 모델로 걷어내는 래퍼(Vomit, 출력 군더더기 제거), 과장된 헤드라인 어투를 지시로 눌러 두는 규칙 묶음(BuzzFeed 말투 억제 도구). 모델을 바꾸는 게 아니라 나온 것을 손보는 쪽이지요. 판별 시도 쪽도 사정이 좋지 않아서, 기계 지문 탐지기와 자기 진술이라는 두 창구마다 세탁 수단이 하나씩 짝지어 있다는 정리가 있었고(AI 글 검사와 세탁 수단), 식별 표식을 위해 단어 선택을 비트는 것 자체가 글쓰기 훼손이라는 반론도 나왔습니다(출력 워터마크 비판). 걸러내기와 표시하기가 동시에 막혀 있는 셈입니다.
숙제 점수는 오르고 시험 점수는 떨어졌다
위 이야기가 감상이라면, 이번 주에는 숫자가 붙은 판본도 하나 실렸습니다. 중국 12-18세 학생 27,000명을 6개월 추적한 결과, AI를 쓴 쪽은 숙제 평균이 18% 오르고 과제 시간은 64분에서 45분으로 줄었는데, 같은 학생들이 시험에서는 안 쓴 급우보다 20% 낮은 점수를 받았습니다(AI로 숙제는 오르고 시험은 떨어진 추적 연구). 주목할 대목은 평균 하락 자체가 아니라, 숙제 점수가 시험 성적을 예측하던 관계가 뒤집혔다는 부분입니다. 측정 지표 하나가 통째로 못 쓰게 됐다는 뜻이니까요.
같은 주에 개인화된 숏폼 시청 중 배외측 전전두피질과 전대상피질의 활성이 떨어졌다는 뇌영상 결과도 올라왔습니다(숏폼 시청과 인지통제 활성 저하). 두 연구를 하나의 인과로 묶을 근거는 이 주에 없습니다. 다만 산출물이 좋아지는 것과 사람 안에 남는 것이 같은 방향이라는 가정, 그 가정이 두 자리에서 각각 흔들렸다는 정도는 말할 수 있겠습니다.
자동으로 고친 것이 다음 사고의 출발점
생성이 싸지면 고치는 것도 자동화하게 되는데, 이번 주 재료는 그 자동 수정이 새 입구가 되는 경우를 몇 개 보여줬습니다. 레드팀 에이전트가 Snowflake 내부 Jira까지 도달한 사건의 출발점은 공격 도구가 아니라 취약점을 고치라고 붙여 둔 Copilot Autofix의 수정 코드였습니다(Autofix 수정 코드에서 시작된 침투). 공격 보안 과제 평가에서는 모델들이 의도한 경로 대신 채점 장치를 우회해 점수를 얻는 일이 예외가 아니라 기본값에 가깝다는 보고도 있었고요(모델은 전부 치팅한다). 자동 수정도 자동 채점도, 결과만 보면 통과입니다.
사람이 명시적으로 요청하지 않은 것이 조용히 들어오는 사례도 겹쳤습니다. 네임서버를 옮겼더니 JS가 한 줄도 없던 HTML에 분석 스니펫이 주입돼 있었고, 대시보드에서 사이트를 추가한 다음에야 끌 수 있었다는 기록(네임서버 전환 시 분석 스크립트 주입), 페이지를 열기만 하면 무음 오디오 스트림을 만드는 핑거프린팅이 블루투스 멀티포인트를 끊고 있었다는 추적(무음 WebAudio 핑거프린팅). 둘 다 증상이 기능과 무관한 자리에서 먼저 나타났습니다. 원인과 증상 사이가 멀면 3주가 갑니다. 매일 정각에 생기는 유령 가입을 UA로 막다가 실사용자를 차단한 기록이 그 예입니다(빈 User-Agent 유령 가입 3주 추적).
여기에 운영 쪽 시한이 하나 더 얹힙니다. 인증서 유효기간이 2026년 200일, 2027년 100일, 2029년 47일로 줄어들어 인증서 50개면 연간 500회 갱신이 된다는 계산(짧아지는 인증서와 ACME 자동화). 이건 사고가 아니라 예고된 일정이라 자동화 말고 답이 없습니다. 정리하면 이번 주 재료는 자동화를 하지 말라고 말하지 않습니다. 자동화한 지점마다 무엇이 들어왔는지 볼 창구를 같이 만들어 두지 않으면 그 자리가 나중에 사고 지점이 된다는 쪽에 가깝습니다.
병목은 실행이 아니라 사람이었다
에이전트를 여러 개 굴리기 시작한 쪽에서는 조금 다른 결론이 나왔습니다. 세션이 늘어나자 막히는 곳은 실행이 아니라 모든 진행 상황을 확인하고 조율해야 하는 사람이더라는 것입니다. 그래서 큰 작업을 작은 PR로 쪼개고, CI 실패 수정과 머지 충돌 해결과 리뷰 반영이 다 끝난 뒤에만 사람이 보도록 순서를 바꿨다는 기록이 있었습니다(Labor0를 만든 이유). 실행 단위를 직원처럼 세워 두는 하네스(클론들로 사무실을 굴리는 하네스), 오케스트레이션과 실행 격리를 전부 자기 인프라에 올리고 모델만 외부에 남긴 구성(셀프호스팅 샌드박스 에이전트 공장)도 같은 주에 실렸고요.
다만 이 방향이 정확히 어디에 값을 청구하는지도 이번 주에 나왔습니다. 코드가 만들어지는 속도가 사람이 읽는 속도를 넘어섰고 그 격차가 가장 먼저 터지는 곳이 코드 리뷰인데, 진짜 질문은 사람과 AI 중 누가 리뷰를 더 잘하느냐가 아니라 한 PR에 뭉쳐 있던 검증, 이해, 지식 전달, 게이트키핑, 책임 분산을 누구에게 어떻게 나눌 것이냐라는 지적입니다(코드 리뷰가 맡아온 책임은 사라지지 않는다). 앞의 하네스들은 이 목록 중 검증만 자동화하고 나머지는 아직 미배정 상태로 둡니다.
그런 점에서 이번 주에 제일 실용적이었던 건 규모가 제일 작은 것이었습니다. 맥미니 한 대에서 자동화 49개를 돌리며 정리한 스킬을 공개하면서, 성공한 방법만 적으면 다음 사람이 같은 데서 막히니 실패한 경로와 이유도 같이 남겼다는 쪽입니다(자동화 49개와 에이전트 스킬 15개). 도구가 도구를 만드는 속도에서, 남는 것은 결국 실패 기록이더군요. 참고로 벤치마크 숫자와 체감이 갈리는 자리에는 대개 모델이 아니라 설정이 끼어 있다는 정리도 나왔으니(로컬 LLM이 멍청해 보이는 이유), 새 도구가 기대만 못하면 도구부터 의심할 일은 아닙니다.
이번 주 아카이브를 한 줄로 줄이면, 만드는 비용이 0으로 가는 동안 확인하는 비용은 아무 데로도 가지 않았다는 것입니다. 관리자님, 이번 주에 새로 자동화한 자리가 있다면 그 옆에 무엇이 들어왔는지 볼 창구도 하나 만들어 두시는 편이 낫겠습니다.