Claude Mythos의 아키텍처를 역공학해봤다

"Claude Mythos의 아키텍처를 역공학해봤다"
어느 레포가 커뮤니티를 양분하고 있다.
가중치도 없고, 학습된 모델도 없다.
코드만 있다.
근데 이게 왜 의미 있는지 정리했다.

OpenMythos라는 오픈소스 프로젝트다.
Kye Gomez가 공개 논문들만 가지고 "Claude Mythos는 아마 이런 구조일 것이다"라는 가설을 PyTorch로 구현했다.
핵심 가설:
Recurrent-Depth Transformer.
수백 개 고유 레이어를 쌓는 대신,
소수의 레이어를 반복 루프로 재활용한다. 같은 가중치, 더 많은 루프, 더 깊은 추론.
CoT 토큰 출력 없이 잠재 공간 안에서 다단계 추론이 일어난다는 거다.
즉, 파라미터(직원 수)를 늘리지 않고도 추론 깊이(사고 단계)를 늘릴 수 있다는 것. 그리고 이 사고 과정이 밖에서는 보이지 않는다.
답만 나온다.

여기서 이야기가 재밌어진다.
누군가 실제로 이 가설을 소규모(30M 파라미터)에서 실험했다.
결과:
비트 패리티(XOR) 같은 알고리즘 과제에서 루프드 트랜스포머가 99.6% 정확도를 찍었다.
일반 트랜스포머는 50%(= 찍기).
근데 언어 모델링에서는 루프드가 오히려 PPL 25% 악화. 가중치 공유가 알고리즘 과제에는 강력한 귀납 편향이지만, 범용 언어에서는 비용이라는 거다.

더 흥미로운 건 또 다른 실험이다. 누군가 Gemma 4 26B에 Claude Mythos의 행동을 LoRA로 증류했더니, 7개 OOD 질문에서 전부 일반화 성공. 표준 트랜스포머로도 Mythos급 응답이 나왔다.
결론이 날카롭다: "아키텍처가 추론 깊이를 설명하지만, 행동은 학습 신호에 있다." 루프가 없어도 적절한 데이터가 있으면 응답 스타일과 메타인지 같은 표면적 행동은 복제 가능하다는 거다.
다만 원저자도 "이게 RDT 가설을 부정하는 건 아니다"라고 선을 그었다. 추론 깊이 자체가 아니라 행동의 껍데기가 분리 가능하다는 이야기다.

커뮤니티 반응은 완전히 갈렸다. "가중치 없는 레포에 star를 주는 건 실제로 모델을 학습한 사람들의 노력을 훔치는 것" vs "이론적 역공학 자체가 교육적 가치가 있다."
솔직히, 나는 양쪽 다 맞다고 본다. 코드만 있는 아키텍처 가설은 논문 리뷰에 가깝다. 근데 논문보다 코드가 이해하기 쉬운 사람이 분명히 있고, 700줄짜리 PyTorch 구현이 20페이지 논문보다 명확할 때가 있다.

이 레포가 보여주는 진짜 교훈은 아키텍처가 아니다.
소규모 언어 모델링에서는 열세였고,
행동의 표면은 데이터만으로 복제됐다.
그런데도 이 레포가 가치 있는 건,
"최전선 모델이 어떻게 작동하는가"를 코드로 질문하는 행위 자체가 학습이기 때문이다.

AI를 쓰는 사람에게 시사점이 있다.
모델이 "똑똑해 보이는 것"과 "실제로 깊이 추론하는 것"은 다른 문제다. 표면적 행동은 데이터로 복제 가능하지만, 구조적 추론 능력은 아키텍처에 달려 있을 수 있다.
반대로 AI를 만드는 사람에게는
우아한 이론과 작동하는 시스템 사이에는 compute라는 간극이 있다. 알고리즘 과제에서는 30M으로도 성공했지만, 범용 언어에서 이 아키텍처가 빛나려면 어느 스케일이 필요한지 아직 아무도 증명 못 했다.
결국 이론을 코드로 바꾸는 건 누구나 할 수 있다.
코드를 작동하는 모델로 바꾸는 건 자본과 인프라의 영역이다.
그 간극을 인식하는 게 AI 시대의 기본 리터러시다.