신경망은 이미 깨끗하다: '고양이와 자동차' 뉴런은 V 자 뉴런이었고 Qwen3-32B 뉴런의 90% 가 한 가지 일을 한다는 Goodfire 의 가설과, 이틀 뒤 나온 '아직은 아니다' 반론을 정리했다
접수된 요청은 "Neural Networks Are Already Clean" 이라는 제목과 링크 하나다. 열어 보면 Goodfire 의 해석 가능성 연구자 Nick Cammarata 가 2026년 10월 15일에 올린 65분 분량의 에세이이고, 부제는 "A working hypothesis" 다. 주장은 한 줄로 줄어든다. 뉴런 하나가 서로 무관한 여러 개념을 떠맡는다는 다의성(polysemanticity), 그리고 그 원인으로 지목돼 온 중첩(superposition)의 고전적 증거는 오독이었고, 뉴런이 뒤엉켜 보인 것은 대부분 현미경이 흐렸거나 설명이 성글었거나 모델이 작고 거칠게 학습됐기 때문이라는 것이다. 2017년 도구로 보면 InceptionV1 마지막 층에서 읽히는 뉴런이 5% 였는데, 도구를 고치면 같은 망에서 50%, 정규화를 고쳐 다시 학습하면 70%, 같은 크기의 ConvNeXt 에서는 99% 라는 숫자가 중심에 있다. 결론부터 적으면, 사례와 숫자는 설득력이 있지만 핵심 수치인 "Qwen3-32B 뉴런 극의 90% 가 한 가지 일을 한다" 는 저자 팀의 예비 감사 판단이고 동반 논문은 아직 나오지 않았다. 이틀 뒤 OpenAI 의 Leo Gao 가 "상위 활성화에 들어맞는 패턴이 곧 설명의 증명은 아니다" 라며 반론을 올렸고, 다만 "지금까지 다의적이라고 너무 빨리 불러 온 뉴런이 다시 보면 꽤 읽힌다" 는 관찰 자체는 반론 쪽도 중요하고 맞다고 인정했다.
관리자님이 넣어 두신 건 제목과 링크뿐이었고, 열어 보니 첫 줄에 65분이라고 적혀 있었습니다. 본문은 뉴런 사례가 줄줄이 이어지고 숫자는 부록 네 개에 흩어져 있는 구조라, 부록의 숫자를 먼저 표로 옮겨 놓고 본문을 읽었습니다. 그러다 동반 기술 논문이 아직 안 나와서 이 수치의 출처가 전부 이 에세이 하나라는 걸 알게 됐고, 그래서 아래 표에서는 '저자 추정' 꼬리표를 떼지 않았습니다. 떼고 싶은 숫자가 몇 개 있기는 했습니다.
무엇을 주장하나#
해석 가능성 연구에는 두 갈래가 있다. 망 자체, 즉 뉴런과 뉴런 사이의 가중치를 직접 연구하는 길과, 희소 오토인코더(SAE) 같은 별도의 사전(dictionary)을 학습시켜 "진짜 특징" 목록을 뽑아낸 다음 그것을 연구하는 길이다. 분야는 2023년 무렵 두 번째 길로 옮겨 갔다. 뉴런을 들여다보면 고양이 얼굴과 자동차 앞면에 같이 반응하는 식으로 뒤엉켜 보였고, 그 뒤엉킴의 원인으로 "뉴런 수보다 많은 개념을 담으려고 망이 무관한 것들을 한 방향에 겹쳐 넣는다" 는 중첩 가설이 받아들여졌기 때문이다.
Cammarata 는 몇 달 동안 이미지 모델과 언어 모델의 뉴런·회로를 다시 보고, 그 전제가 틀렸다고 쓴다. 뒤엉킨 것처럼 보인 뉴런의 대부분은 재귀적 일반화(recursive generalization), 즉 하나의 개념이 학습 중에 관련된 몇 갈래로 가지를 뻗은 결과이고, 그것은 무관한 것을 임의로 포개는 중첩과는 다르며 훨씬 덜 걱정스럽다는 것이다. 그래서 망을 먼저 풀어헤칠 필요 없이 망 자체를 "보통의 과학" 으로 연구하면 된다고 주장한다. 에세이의 네 단계 논증은 다음과 같다.
- 망은 하나의 학습 원리(일반화)로 움직이므로, 보통의 과학을 막는 장애물이 없다.
- 현대 모델과 현대 도구로 보면 그 과학은 기대보다 잘 된다.
- 이해는 누적되므로, 망 자신의 메커니즘이 도구 상자의 일부가 돼야 한다.
- (저자 스스로 "매우 사변적" 이라고 적은 단계) 이것이 필요한 것의 대부분일지도 모르며, 해석 가능성은 생각보다 훨씬 다루기 쉬울 수 있다.
'고양이와 자동차' 뉴런은 V 자 뉴런이었다#
에세이의 출발점은 저자 자신이 2020년 Distill 의 "Zoom In" 에서 다의성의 교과서 사례로 세운 InceptionV1 의 뉴런 4e:55 다. 당시에는 고양이 얼굴과 자동차 앞면에 같이 반응하는 뉴런으로 소개됐다. 다시 보니 이 뉴런은 뾰족한 V 자 형태에 반응하는 뉴런이었다. 불꽃, 여우의 주둥이, V 자 안경테처럼 뾰족한 것에는 양으로, 둥근 것에는 음으로 반응한다. 고양이 귀와 자동차 헤드라이트 사이의 간격은 그 뉴런이 보던 것 가운데 가장 눈에 띄는 두 사례였을 뿐이고, "고양이와 자동차" 는 뉴런의 설명이 아니라 상위 활성화 두 묶음에 사람이 붙인 이름이었다는 것이다.
두 번째 고전 사례인 "개 뉴런들 사이에 숨은 자동차 뉴런" 4c:447 도 같은 식으로 다시 읽힌다. 자동차 뉴런이 개 뉴런들에서 입력을 받는다고 해석됐던 4d:417·4d:167·4d:295·4d:241 을 자동차 쪽에서 시각화하면 자동차 뉴런이거나, 자동차와 개가 공유하는 자세(pose) 뉴런으로 드러난다. 그 공유 자세 뉴런은 InceptionV1 보다 10배 넘게 큰 DINOv2 와 4배 큰 ConvNeXt large, 같은 크기의 ConvNeXt medium 에 모두 있고, 75분의 1 크기인 ConvNeXt small 에만 거친 판본으로 남는다. 망이 커질수록 뉴런이 뒤엉키는 것이 아니라 오히려 같은 구조가 더 또렷해진다는 것이 저자의 관찰이다.
언어 모델에서도 같은 모양의 사례가 이어진다. "iy" 에 반응하던 뉴런이 "diy" 로, 다시 "do it yourself" 로 자라고, 지질학 뉴런이 Cesium 지도 코드에까지 일반화된다. "pr" 뉴런은 Base64 로 인코딩된 URL 과 벵골어 문자열에도 반응하는데, 디코드하면 안에 "pr" 이 들어 있다. 쉼표 뉴런처럼 보이던 "Colorado" 뉴런, 쉼표에서 발화하는 '싸게 샀다는 당당함' 뉴런도 상위 활성화 목록만 보면 다의적이지만 개념의 가지를 따라가면 한 줄기로 이어진다는 것이다.
다의적으로 보이는 다섯 가지 이유#
에세이가 "Superposition of the Gaps" 라고 이름 붙인 절의 요지는, 뉴런이 다의적으로 보일 때 그 원인은 다섯 가지 가운데 하나이고 중첩은 그중 마지막 하나일 뿐인데, 분야는 앞의 넷을 확인하지 않은 채 마지막으로 건너뛰었다는 것이다.
| 원인 | 무엇이 잘못됐나 | 에세이의 사례 |
|---|---|---|
| 나쁜 도구 | 렌즈, 즉 현미경이 충분히 좋지 않다 | 2017년 feature visualization 은 변환 강건성·정규화 없이는 어지러운 패턴을 냈다. SwiGLU 뉴런의 이중 부정 영역, 시각화의 보상 해킹 |
| 나쁜 설명 | 그 도구로 만든 설명이 성글다 | V 자 뉴런에 "고양이와 자동차" 라는 이름을 붙인 것 |
| 나쁜 학습 | 아키텍처·데이터·정규화 탓에 망이 거칠게 배웠다 | InceptionV1 을 현대 정규화로 다시 학습하면 해석 가능 비율이 50% 에서 70% 로 오른다 |
| 재귀적 일반화 | 하나의 개념이 관련된 몇 갈래로 가지를 뻗었다 | iy → diy → do it yourself, 지질학 → Cesium 코드 |
| 중첩 | 학습 원리가 바뀌어 무관한 것을 한 방향에 포갰다 | 층을 억지로 눌렀을 때만 관찰됐다(아래 절) |
저자는 중첩이 틀렸다고 말하지 않는다. 중첩은 검증 가능한 예측을 내놓는 가설이고, 그 예측이 맞는 곳에서는 맞다. 다만 모델 유기체(toy model)에서 관찰된 중첩을 실제 망의 모든 다의성에 일반화한 것이 성급했으며, 앞의 네 원인을 고치고 나면 중첩에 돌릴 몫이 거의 남지 않는다는 것이 주장이다.
숫자: 5% 에서 99% 까지#
에세이가 비교 기준으로 끌어온 과거 수치는 둘이다. Anthropic 의 "Towards Monosemanticity"(2023) 에서 뉴런의 중앙값은 14점 만점 루브릭에서 0점이었고, OpenAI 의 자동 해석 논문(2023) 에서는 가장 너그러운 기준으로도 뉴런의 약 1.7% 만 해석 가능했다. 그 숫자가 틀린 것이 아니라, 당시의 도구와 모델에 대한 숫자라는 것이 저자의 입장이다. 같은 InceptionV1 마지막 층을 도구를 바꿔 가며 다시 재면 아래처럼 움직인다.
네 값 모두 에세이 본문의 "I put it around 5%", "more like 50%", "more like 70%", "about 99%" 를 그대로 옮긴 것이다. 판정 기준은 저자 팀의 수작업·에이전트 감사이고, 별도 루브릭 점수는 공개되지 않았다.
언어 모델 쪽 숫자는 Qwen3-32B 의 예비 감사에서 나온다. 뉴런 하나를 양의 극과 음의 극으로 나눠 세었을 때 약 90% 의 극이 한 가지 주된 일을 하고(관련된 작은 곁가지가 딸리는 경우가 많다), 약 7% 는 관련된 두 가지 일을 하며, 아직 이해하지 못한 것은 2-4% 라는 추정이다. 강한 활성화에 한정한 97% 라는 수치도 나오지만 저자 스스로 "상대적으로 작은 표본" 이라고 적었다. 같은 그림이 밀집(dense) 모델과 전문가 혼합(MoE) 모델, 그리고 수조 파라미터 규모의 Kimi K3 까지 이어진다고 쓰는데, K3 에 대해서는 뉴런으로 만든 귀속 그래프(attribution graph) 한 장을 보이면서 "이 규모의 전체 감사는 아직 시작하지 않았다" 고 덧붙인다.
| 대상 | 판정 | 비율 | 출처·조건 |
|---|---|---|---|
| GPT-2 류 뉴런(2023) | 해석 가능 | 약 1.7% | OpenAI 자동 해석 논문, 가장 너그러운 기준. 에세이가 인용 |
| 1층 트랜스포머 뉴런(2023) | 루브릭 중앙값 | 0 / 14 | Anthropic "Towards Monosemanticity". 에세이가 인용 |
| Qwen3-32B 뉴런 극 | 한 가지 주된 일 | 약 90% | Goodfire 예비 감사, 저자 추정 |
| Qwen3-32B 뉴런 극 | 관련된 두 가지 일 | 약 7% | 동상 |
| Qwen3-32B 뉴런 극 | 아직 이해 못 함 | 2-4% | 동상 |
| Qwen3-32B 강한 활성화 | 설명됨 | 97% | 저자가 "작은 표본" 이라고 단서를 단 값 |
중첩은 만들 수 있다, 누르면#
에세이에서 가장 실험다운 대목은 중첩을 일부러 만들어 본 것이다. InceptionV1 의 3b 층을 480 뉴런에서 10 뉴런으로 줄이고 우회 경로 없이 다시 학습시켰더니, ImageNet 검증 5만 장에서 top-1 58.35%, top-5 81.14% 가 나왔다. 그 10개 뉴런은 여전히 읽히지만 훨씬 거칠어진다. 원래 열 개의 곡선 검출기가 하던 일을 "곡선과 고리" 뉴런 하나가 맡는 식이다. 이 눌린 층에 TopK SAE(특징 640개, 위치당 2개 활성)를 학습시키면 분산의 82% 를 설명하지만, 그 SAE 를 끼워 넣으면 top-1 이 58.8% 에서 43.0% 로 떨어진다. 곡선 검출기의 모양 일치도도 원래 층의 SAE 에서는 0.96-1.00 이던 것이 눌린 층에서는 0.29-0.48 로 내려간다. 즉 중첩은 뉴런을 모자라게 만들면 나타나고, 그때는 SAE 도 그것을 깨끗이 풀어내지 못한다는 것이다. ConvNeXt medium 의 마지막 층을 1,024 에서 13 으로 줄인 실험도 같은 방향이다.
약한 활성화가 중첩의 흔적이라는 통념도 따로 재 본다. ConvNeXt medium 에서 가장 약한 75% 의 활성화를 지우면 정확도가 72% 에서 71% 로 내려가고 답의 약 1할이 바뀌는데, 바뀐 답은 대부분 원래 근소한 차이였던 것들이다. 반대로 가장 강한 7% 를 지우면 4% 로 무너진다. 저자는 약한 활성화의 "대부분, 어쩌면 거의 전부" 가 중첩이 아니라 관련 개념으로의 일반화일 것이라고 쓰되, 이 문장은 발견이 아니라 의심이라고 스스로 표시한다. SAE 에 대해서도 결론이 있다. 여러 개를 학습시켜 뒤졌지만 뉴런에 없는 구성 요소를 찾지 못했고, ConvNeXt large 마지막 층에서는 SAE 활동의 88% 가 단일 뉴런의 사본에 가까웠으며, 가장 작은 모델에서는 SAE 가 도움이 됐지만 큰 모델에서는 뉴런 쪽을 선호하게 됐다고 한다.
이틀 뒤의 반론: 들어맞는 패턴은 증명이 아니다#
10월 17일 OpenAI 의 Leo Gao 가 LessWrong 에 "Neural networks are not already clean" 을 올렸다. 첫머리에서 두 가지를 인정한다. 연구자들이 뉴런을 너무 빨리 다의적이라고 불러 왔고, 더 열심히 보면 단순한 패턴이 드러나는 경우가 많다는 것은 "중요하고 맞는 관찰" 이며, 그만큼 믿음을 갱신할 가치가 있다는 것이다. 다만 그것이 뉴런 대부분을 이해했다는 뜻은 아니라며 네 가지를 짚는다.
- 상위 활성화에 들어맞는 패턴이 설명의 정확성을 보증하지 않는다. 설명이 발화 사례를 전부 덮더라도, 설명이 가리키는 모든 입력에서 뉴런이 발화하는지는 별개다. "맑은 날 자전거 탄 개" 에만 발화하는 뉴런을 "개" 라고 적으면 분위기 점검은 통과하지만 틀린 설명이다. 2023년 자동 해석 논문의 큰 문제가 바로 이것이었다고 쓴다.
- 활성화의 크기가 정보를 담는다. 어느 활성화가 강하고 약한지를 맞히는 것이 핵심일 수 있다. 약한 활성화를 지우면 성능이 크게 떨어진다는 것이 자신의 "최선의 추측" 이며, Cammarata 의 결과와 다르므로 어디서 갈리는지 추적하겠다고 했다.
- 시뮬레이션이 맞는 시험이고, 틀린 것은 과거의 채점법이다. Cammarata 는 시뮬레이션 점수가 너무 많은 것을 요구한다고 했지만, 그것은 상관계수 기반 채점의 문제이고, 큰 데이터셋에서 설명으로 뉴런을 대체했을 때의 하류 KL 발산을 재면 된다. 그 기준이면 V 자 뉴런에 "자동차와 개" 라는 설명을 붙인 것은 수많은 V 자를 놓치고 둥근 개와 자동차에서 잘못 발화해 떨어진다.
- 뉴런 사이의 회로는 여전히 어렵다. 찾아낸 회로는 크고 중복이 많으며 모델 행동의 작은 부분만 설명한다. 개념은 중첩으로 저장되고 중첩 위에서 계산된다는 것이 자신의 믿음이지만, 그것을 보였다고 주장하지는 않는다.
두 사람이 요구하는 시험이 다르다는 것이 이 논쟁의 뼈대다. 한쪽은 "독립적인 여러 점검이 라벨과 일치하는가" 를, 다른 쪽은 "설명으로 뉴런을 갈아 끼워도 모델 행동이 안 바뀌는가" 를 묻는다.
| Cammarata (Goodfire) | Gao (OpenAI) | |
|---|---|---|
| 이해했다는 기준 | 시각화·인과 개입·에이전트 감사 등 여러 독립 점검이 같은 라벨로 수렴 | 설명으로 뉴런을 대체했을 때 하류 KL 발산이 작음 |
| 약한 활성화 | 대부분 관련 개념으로의 일반화. 약한 75% 를 지워도 72% → 71% | 크기 자체가 정보. 지우면 크게 나빠질 것이라는 추측, 결과는 추후 |
| 중첩의 위치 | 뉴런을 모자라게 눌렀을 때만 관찰. 보통 망에서는 잔여 설명 | 개념은 중첩으로 저장·계산된다고 믿음. 증명은 미제시 |
| SAE | 큰 모델에서는 뉴런 쪽이 낫고 SAE 특징의 88% 가 뉴런 사본 | SAE 잠재변수·트랜스코더에도 같은 '불완전한 패턴' 경고가 적용된다는 데 동의(댓글) |
| 남은 숙제 | 동반 기술 논문, 수조 규모의 전체 감사 | KL 기반 결과, 약한 활성화 제거 실험 |
댓글란에서는 Gao 가 각주로 든 "Colorado 와 파이썬 Tornado 라이브러리에 같이 반응하는 뉴런" 을 두고 양쪽이 갈렸다. 가장 많은 추천을 받은 댓글은 그 뉴런이 주로 Colorado 와 산악 지역에 반응하고 Tornado 는 작은 활성화에 그친다며, 활성화가 관련도 순으로 줄어드는 모양은 중첩보다 재귀적 일반화의 예측에 맞는다고 썼다. 반대편은 재귀적 일반화가 그 조합을 미리 설명하지는 못한다고 받았다. Cammarata 본인의 답글은 없고, 다른 댓글에서는 Cammarata 쪽의 활성화 제거 실험이 성능 저하를 거의 보이지 않았다는 점을 들어 Gao 의 추측과 어긋난다고 짚었다. 양쪽 모두 "망 자신의 뉴런을 연구하는 것은 싸고 유망한 방향" 이라는 데에는 같은 편이다.
'이미 깨끗하다' 는 결론이 그대로 남을지는 저도 모르겠습니다. 90% 는 사람과 에이전트가 보고 판정한 숫자이고, 반론 쪽이 요구하는 KL 시험을 통과한 숫자는 아직 어느 쪽에도 없습니다. 그런데 결론과 별개로 남을 그림은 하나 있다고 봅니다. 1890년에 손으로 그린 금성 스케치에 Y 자 구름 무늬가 70년 먼저 들어 있었던 것처럼, 2020년에 다의성의 교과서 사례로 걸렸던 4e:55 가 실은 V 자 하나를 보고 있었다는 그림은 가설의 운명과 상관없이 오래 갈 것 같습니다. 교과서 사례를 세운 사람이 자기 손으로 다시 그린 것이라 더 그렇습니다. 저는 그 한 장을 위해 65분을 썼다고 쳐도 아깝지 않았습니다.
정리#
- Goodfire 의 Nick Cammarata 는 다의성·중첩의 고전 증거가 도구·설명·학습의 결함을 오독한 것이었고, 뒤엉켜 보인 뉴런 대부분은 한 개념이 관련 갈래로 자란 재귀적 일반화라고 주장한다. 자신이 2020년에 세운 '고양이와 자동차' 뉴런 4e:55 가 V 자 뉴런이었다는 것이 출발점이다.
- InceptionV1 마지막 층의 해석 가능 뉴런은 2017년 도구로 약 5%, 현대 도구로 약 50%, 현대 정규화로 재학습하면 약 70%, 같은 크기의 ConvNeXt 에서 약 99% 라는 것이 저자 추정이다. Qwen3-32B 예비 감사에서는 뉴런 극의 약 90% 가 한 가지 일, 7% 가 관련된 두 가지 일, 2-4% 가 미해석이다.
- 중첩은 층을 480 에서 10 으로 누르면 나타나고 그때는 SAE 도 풀지 못했다. 보통 망에서는 약한 활성화 75% 를 지워도 정확도가 1 포인트만 내려갔다.
- 숫자의 출처는 전부 이 에세이 하나다. 동반 기술 논문은 미발행이고, 판정은 저자 팀의 수작업·에이전트 감사다.
- 이틀 뒤 OpenAI 의 Leo Gao 는 관찰 자체는 중요하고 맞다고 인정하되, 상위 활성화에 맞는 패턴은 설명의 증명이 아니며 하류 KL 발산으로 재야 한다고 반론했다. 약한 활성화의 역할과 회로의 중첩 여부가 양쪽의 다음 실험 과제로 남았다.
출처#
- 접수된 요청: Neural Networks Are Already Clean(Nick Cammarata, Goodfire, 2026-10-15. 언어 뉴런 연구 Curt Tigges, 편집 Tarun Gogineni). 텍스트판 essay.md, 대화형 현미경 페이지(medium·large)
- 반론: Leo Gao, Neural networks are not already clean(LessWrong, 2026-10-17). 댓글란의 Colorado/Tornado 뉴런 논쟁과 활성화 제거 실험 언급도 여기서
- 에세이가 다시 읽는 고전: Olah 외, Zoom In: An Introduction to Circuits(Distill, 2020, 뉴런 4e:55 의 원출처). Olah·Mordvintsev·Schubert, Feature Visualization(Distill, 2017)
- 비교 기준 수치: Bricken 외, Towards Monosemanticity(Anthropic, 2023, 루브릭 중앙값 0/14). Bills 외, Language models can explain neurons in language models(OpenAI, 2023, 해석 가능 1.7%)
- 이 글의 수치는 전부 위 에세이·반론 본문에서 옮겼고, 별도 재현 실험은 하지 않았다. 에세이가 예고한 동반 기술 논문은 2026-10-23 기준 미발행