2026년 9월 4일, 앤트로픽(Anthropic)이 수학사에 남을 발표를 내놓았다. 357년 동안 수학자들을 괴롭혀온 페르마의 마지막 정리(Fermat’s Last Theorem)를, AI 모델 클로드(Claude)가 단 11일 만에 컴퓨터가 한 줄씩 검증할 수 있는 “린(Lean)” 코드로 완전히 재구성했다는 것이다. 사람이 새로운 수학적 사실을 발견한 것은 아니지만, 몇 년이 걸릴 것으로 예상됐던 검증 작업을 AI 에이전트 수십 개가 협업해 13일이 채 안 되는 시간에 끝냈다는 점에서 파장이 크다. 이 글은 앤트로픽 공식 발표와 AI타임스 등 국내외 보도를 교차 확인해, 이번 성과가 정확히 무엇을 의미하고 무엇을 의미하지 않는지 정리한다.
- 앤트로픽이 발표한 것이 정확히 무엇인가
- 페르마의 마지막 정리, 358년의 역사
- 린(Lean)이 하는 일 — 증명을 기계가 검사하는 방법
- 클로드가 11일 동안 실제로 한 작업
- 1,300만 줄·3만 개 정리·60억 토큰이라는 숫자의 의미
- 실패에서 배운 것 — 프로브투미(Prove2Me)의 역할
- 수학계의 반응과 케빈 버자드 교수의 평가
- 다른 AI 수학 성과와의 비교
- 이번 성과가 중요한 이유와 남은 과제
- 한눈에 보는 핵심 요약
[toc]
앤트로픽이 발표한 것 — 페르마의 마지막 정리, 358년의 역사와 형식화
이 단원은 앤트로픽이 9월 4일 공개한 연구 게시물의 핵심 주장부터 짚는다. 무엇이 새로 증명됐다는 뜻인지, 그리고 무엇이 이미 증명되어 있던 것인지를 먼저 구분해야 이후 내용을 오해 없이 읽을 수 있다.
발표 시점과 핵심 메시지
앤트로픽은 2026년 9월 4일 공식 리서치 페이지 “Formalizing Fermat’s Last Theorem”을 통해, 클로드가 페르마의 마지막 정리에 대한 세계 최초의 완전한 컴퓨터 검증 증명(computer-checked proof)을 만들어냈다고 밝혔다. 앤트로픽 연구원 티안이 펑(Tianyi Peng)이 이끄는 컬럼비아대학교 협업팀이 클로드의 자동 형식화 능력을 시험해보자며 시작한 프로젝트였는데, 결과는 예상을 훌쩍 뛰어넘었다. 클로드는 거의 사람의 개입 없이 11일 동안 작업해 이 증명을 완성했다.
AI타임스 등 국내 매체도 이 발표를 9월 7일과 8일 잇따라 보도하며, “몇 년이 걸릴 것으로 예상됐던 정리의 형식화 작업을 불과 11일 만에 완료했다”고 전했다. 앤트로픽 공식 엑스(X) 계정도 같은 날 “지난달 클로드가 페르마의 마지막 정리에 대한 최초의 형식화된 증명을 완성했다”는 게시물을 올려 이 성과를 알렸다. 형식화 작업 자체는 8월 중순에서 하순 사이에 이뤄졌고, 9월 초에 공개 논문과 함께 세상에 알려진 셈이다.
앤트로픽은 발표와 동시에 전체 증명 코드를 깃허브(GitHub)에 공개했고, 증명 전체를 훑어볼 수 있는 별도의 해설 글도 함께 올렸다. 비공개로 남겨둘 법한 내부 연구 결과를 코드 수준까지 통째로 공개했다는 점에서, 이번 발표는 단순 보도자료를 넘어 검증 가능한 학술 자료에 가깝다. 실제로 케빈 버자드 교수를 비롯한 외부 수학자들이 공개 직후 코드를 직접 열어 검토할 수 있었던 것도 이 완전 공개 방식 덕분이었다.
“증명”이 아니라 “형식화”라는 차이
여기서 가장 중요하게 짚어야 할 점은, 클로드가 페르마의 마지막 정리를 새로 증명한 것이 아니라는 사실이다. 이 정리는 이미 1995년 영국 수학자 앤드루 와일스(Andrew Wiles)가 증명을 완성했다. 앤트로픽이 이번에 한 일은 와일스의 증명을 사람이 아니라 컴퓨터가 한 줄 한 줄 논리적으로 검사할 수 있는 “린(Lean)”이라는 프로그래밍 언어로 옮기는 “형식화(formalization)” 작업이었다.
앤트로픽 스스로도 공식 게시물에서 이 구분을 분명히 했다. 리만 가설처럼 새로운 수학을 만들어내는 최근 AI 연구와 달리, 이번 작업에서 새로운 것은 검증(verification)이라는 것이다. 케빈 버자드(Kevin Buzzard) 임페리얼 칼리지 런던 교수도 이 성과를 두고 “새로운 수학적 발견이라기보다 인류가 축적한 증명을 기계가 검사 가능한 언어로 전환하는 자동화 능력을 입증한 것”이라고 선을 그었다. 성과의 의미를 부풀리지 않으면서도, 그 자동화 속도 자체가 왜 놀라운 일인지는 다음 단원들에서 차례로 살펴본다.
1637년, 페르마의 여백 메모부터 시작된 전설
페르마의 마지막 정리는 2보다 큰 임의의 양의 정수 n에 대해, a^n + b^n = c^n을 만족하는 양의 정수 a, b, c가 존재하지 않는다는 명제다. 프랑스 수학자 피에르 드 페르마가 1637년 무렵 그리스 수학자 디오판토스의 저서 “산술(Arithmetica)” 여백에 이 명제를 적어 두면서 역사에 등장했다. 페르마는 그 옆에 “나는 이에 대한 실로 놀라운 증명을 발견했지만, 이 여백은 그것을 담기에 너무 좁다”는 메모를 남겼는데, 이 한 줄짜리 메모가 이후 수백 년간 수학자들을 사로잡은 전설이 됐다.
1908년에는 독일 수학자 파울 볼프스켈이 정리를 증명하는 사람에게 10만 마르크(현재 가치로 100만~200만 달러 상당)를 주겠다는 상금을 내걸기도 했다. 상금이 걸리자 첫 해에만 621건의 틀린 증명이 쏟아졌을 정도로 많은 사람이 도전했지만, 어느 누구도 완전한 증명을 내놓지 못했다. 페르마 자신이 실제로 완전한 증명을 갖고 있었는지는 지금도 의문으로 남아 있으며, 수학계는 그가 남긴 “놀라운 증명”이 사실은 틀렸을 가능성이 크다고 본다.
1995년, 앤드루 와일스가 완성한 최초의 증명
정리는 결국 1995년 영국 수학자 앤드루 와일스가 완성한 129쪽짜리 증명으로 풀렸다. 와일스는 1993년 케임브리지에서 사흘에 걸친 강연으로 증명을 처음 발표했는데, 검증 과정에서 심사자가 던진 질문 하나가 결정적인 결함을 드러냈다. 와일스는 이후 약 1년 동안 제자였던 리처드 테일러(Richard Taylor)와 함께 문제를 수정한 끝에, 한때 포기했던 접근법으로 돌아가 최종 증명을 완성했다.
와일스의 증명은 페르마가 1637년에는 알 수 없었던 현대 수론의 방대한 도구, 즉 타원곡선과 모듈러 형식을 연결하는 “타니야마-시무라 추측”(현재는 모듈러성 정리) 등을 총동원한 결과물이었다. 증명이 워낙 길고 복잡했던 탓에, 소수의 전문가만이 전체 논리를 이해하고 검증할 수 있었다. 이 지점이 바로 30년 뒤 클로드의 형식화 작업이 의미를 갖는 대목이다 — 사람이 아닌 기계가 이 복잡한 논리 사슬 전체를 처음부터 끝까지 검사할 수 있게 됐기 때문이다.
린(Lean)이 하는 일 — 증명을 기계가 검사하는 방법
사람이 쓴 수학 증명과 기계가 검사하는 형식 증명은 근본적으로 다르다. 이 단원에서는 왜 129쪽짜리 증명조차 사람이 완전히 검증하기 어려운지, 그리고 린(Lean) 같은 증명 보조기가 이 문제를 어떻게 해결하는지 살펴본다.
왜 수학자들도 129쪽 증명을 완전히 검증하지 못하나
수학 증명은 논리적 연결고리를 하나씩 쌓아 올리는 작업이다. 그런데 그 사슬 안의 연결고리 하나라도 깨지면, 그 뒤에 이어지는 모든 결론이 무너질 수 있다. 새로운 결과를 사람이 완전히 신뢰할 수 있을 만큼 깊이 이해하려면 수개월에서 수년이 걸리기도 한다. 앤트로픽은 이런 사례로 토마스 헤일스의 1998년 케플러 추측 증명을 든다 — 12명의 심사위원단이 4년을 검토하고도 “99% 확신한다”는 결론에 그쳤고, 결국 헤일스가 20명 규모의 별도 프로젝트를 꾸려서야 형식적으로 완전히 검증됐다.
그리고리 페렐만의 2002년 푸앵카레 추측 증명도 학계가 받아들이기까지 약 4년, 세 편의 300쪽짜리 해설 논문이 필요했다. 하랄드 헬프고트의 2013년 약한 골드바흐 추측 증명은 지금도 검토가 끝나지 않았다. 심지어 나중에 틀린 것으로 밝혀진 결과가 몇 년씩 정설로 받아들여지고, 다른 연구자들이 그 위에 이론을 쌓는 일도 있었다. 와일스 본인의 증명 역시 1993년 첫 발표 당시 검증 과정에서 결함이 드러났던 전례가 있다. 사람에 의한 동료 심사(peer review)에는 구조적인 한계가 있다는 뜻이다.
형식화(formalization)의 원리와 어려움
이 문제를 해결하는 한 가지 방법은 증명을 컴퓨터에 검사시키는 것이다. 린 같은 증명 보조기(proof assistant)는 증명의 논리를 알고리즘으로 검증해, 그 정확성을 의심의 여지 없이 보여준다. 사람이 읽는 증명은 “자명하다”며 여러 단계를 건너뛰지만, 린은 아무리 사소해 보이는 단계라도 전부 봐야 한다. 게다가 사람의 증명은 수백 년간 쌓인 기존 연구를 전제로 하지만, 형식화는 이미 형식화가 끝난 극히 일부의 수학에서 출발해야 한다.
페르마의 마지막 정리의 형식화는 원래 수년이 걸릴 것으로 예상됐던 작업이다. 임페리얼 칼리지 런던의 케빈 버자드 교수가 2024년부터 이끌어온 커뮤니티 프로젝트가 이 작업의 초기 단계를 설명하는 청사진(blueprint) 문서만 해도 86쪽에 달했다. 형식화 커뮤니티가 수년째 조금씩 쌓아온 이 기반 위에서, 앤트로픽은 클로드가 나머지 작업을 얼마나 빨리 해낼 수 있는지 시험한 셈이다.
클로드가 11일 동안 실제로 한 작업
이제 실제 작업 과정을 들여다볼 차례다. 몇 개의 에이전트가, 어떤 방식으로, 무엇을 만들어냈는지를 숫자와 함께 정리한다.
수십 개 클로드 에이전트의 병렬 작업 구조
앤트로픽에 따르면 이번 프로젝트에는 수십 개의 클로드 에이전트가 동시에 투입됐다. 각 에이전트는 개념을 정의하고, 세부 정리를 증명하고, 그 정리를 활용해 더 어려운 명제를 증명하는 식으로 역할을 나눠 작업했다. 사용된 모델은 일반에 공개된 제품이 아니라 앤트로픽 내부 연구용 모델로, 성능은 대략 클로드 페이블(Fable) 5.1과 비슷한 수준이라고 밝혔다.
클로드의 증명은 다르몽-다이아몬드-테일러(Darmon-Diamond-Taylor)가 정리한 와일스 증명의 해설적 버전을 따라가는 방식으로 설계됐다. 사람이 개입한 부분은 티안이 펑이 이따금 던진 “고차원 지침” 몇 마디뿐이었다고 한다. 앤트로픽이 공개한 예시로는 “스킴(scheme)으로서의 야코비안이 우선순위가 높아 보인다”, “마주르(Mazur) 정리를 곧 끝내는 쪽으로 밀어붙이자” 같은 짧은 방향 제시가 전부였다. 나머지 세부 증명 전략은 에이전트들이 스스로 판단해서 진행했다.
클로드가 자신의 성취를 알아차린 순간
앤트로픽은 작업 로그에 남은 클로드의 “생각” 일부도 공개했다. 최종 정리가 증명됐다는 사실을 확인한 순간 클로드가 남긴 기록에는 “FLT 루트가 ‘증명됨’으로 표시된다. 역사적인 순간이다(재확인이 필요하지만)”, “FLT 루트가 증명됨으로 표시되고 루트까지 연쇄적으로 반영됐다. 이것이 이 캠페인의 목표다” 같은 문장이 담겨 있었다.
“FLT 루트는 2026년 8월 18일 오전 2시 0분 57초(UTC)에 prove2me 사이트에서 증명됨으로 표시됐다. 이 캠페인에 있어 역사적인 순간이다.”
이 기록은 클로드의 작업이 단순한 자동 완성이 아니라, 스스로 진행 상황을 추적하고 목표 달성 여부를 판단하는 과정을 거쳤음을 보여준다. 물론 이런 “자각적으로 보이는” 출력이 실제로 어떤 내부 상태를 반영하는지는 여전히 해석의 여지가 있는 영역이지만, 적어도 장기간에 걸친 복잡한 프로젝트에서 에이전트가 맥락을 유지하며 협업했다는 사실 자체는 이번 사례의 중요한 관찰 포인트다.
1,300만 줄·3만 개 정리·60억 토큰이라는 숫자의 의미
이번 형식화 작업의 규모를 나타내는 숫자들은 그 자체로 압도적이다. 이 단원에서는 그 숫자들이 실제로 무엇을 뜻하는지 하나씩 풀어본다.
매스라이브(Mathlib)의 5배에 달하는 코드량
클로드가 작성한 린 코드는 총 1,300만 줄에 달한다. 이는 이 형식화 작업이 기반으로 삼은 커뮤니티 수학 라이브러리 매스라이브(Mathlib) 전체보다 5배 이상 큰 규모다. 앤트로픽은 이 차이가 매스라이브가 간결하고 꼼꼼하게 검토된 코드인 반면, 클로드의 증명은 필요한 것보다 훨씬 길게 작성됐을 가능성이 크기 때문이라고 설명했다. 다시 말해 “더 똑똑하게” 짧게 쓰는 최적화보다는, 우선 끝까지 완주하는 쪽을 택한 결과로 볼 수 있다.
과정에서 클로드는 30,300개의 정리를 증명했고, 이 가운데 29,500개가 최종 증명에 실제로 쓰였다. 나머지는 막다른 길이었거나 더 나은 경로로 대체된 시도였던 셈이다. 이 방대한 중간 정리들은 야코비안, 조화해석, 기하학, 수론에 걸쳐 있으며, 케빈 버자드 교수는 이를 두고 “다층적인(multi-layered)” 증명이라고 표현했다. 대수부터 정수론까지 여러 분야의 형식화가 유기적으로 맞물려야만 나올 수 있는 결과라는 뜻이다.
60억 토큰과 11일이라는 시간
이 모든 작업에 소비된 출력 토큰은 약 60억 개다. 클로드 코드(Claude Code) 기반의 다중 에이전트 하드니스(harness)를 이용해, 열흘하고도 하루가 채 안 되는 시간 동안 팀 단위로 협업한 결과다. 사람이 129쪽짜리 증명을 이해하고 신뢰하는 데 수개월이 걸릴 수 있다는 점을 감안하면, 완전한 형식 검증을 11일 만에 끝냈다는 사실 자체가 이례적이다.
완성된 증명은 린의 표준 공리 3개만으로 검증됐고, “비교기(comparator)”라는 별도 도구를 통해 증명된 명제가 매스라이브에 정의된 페르마의 마지막 정리의 명제와 정확히 일치하는지도 확인했다. 즉 클로드가 증명한 것이 “페르마의 마지막 정리처럼 보이는 다른 명제”가 아니라, 정확히 그 정리 자체라는 점을 기계적으로 재차 검증한 것이다. 이 이중, 삼중의 교차 검증 절차가 형식 증명이 갖는 신뢰성의 핵심이다.
실패에서 배운 것 — 프로브투미(Prove2Me)의 역할
이번 프로젝트가 처음부터 순조로웠던 것은 아니다. 이 단원에서는 초기 실패의 원인과, 그것을 해결한 협업 도구 프로브투미(Prove2Me)를 소개한다.
초기 실패 — 맥락을 잃고 서로 협력하지 못한 에이전트들
앤트로픽은 초기 시도들이 실패했다는 사실도 숨기지 않고 공개했다. 여러 에이전트를 투입한 초반 시도에서는 일부가 부분적인 성공을 거두기도 했지만, 곧 프로젝트의 진행 상황을 놓치고 서로 효과적으로 협업하지 못하면서 멈춰 섰다. AI타임스 보도에 따르면 에이전트들이 이미 수행한 작업을 제대로 추적하지 못하거나, 같은 문제를 중복해서 풀려고 시도하는 비효율이 반복됐다.
그럼에도 이 실패한 시도들이 완전히 낭비된 것은 아니었다. 앤트로픽에 따르면 초기 실패한 작업들이 최종 증명에서 “보일러플레이트가 아닌” 코드 줄의 약 7%를 차지했다. 실패한 경로에서도 일부 재사용 가능한 조각들이 나왔다는 뜻이다. 하지만 이 정도 성공률로는 11일이라는 기간 안에 전체 증명을 끝낼 수 없었다.
프로브투미가 문제를 해결한 방식
돌파구는 티안이 펑과 컬럼비아대학교 협업자들이 만든 오픈 협업 플랫폼 프로브투미(Prove2Me)를 도입하면서 열렸다. 이 도구는 세 가지 방식으로 작업을 도왔다. 첫째, 정리 명제들의 방향성 비순환 그래프(DAG)를 유지해, 에이전트들이 다음에 어떤 것을 증명해야 할지 판단할 수 있게 했다. 이는 특히 에이전트의 “기억 손실”을 완화하고 여러 에이전트가 동시에 작업하도록 하는 데 결정적이었다.
둘째, 정리 명제와 증명을 서로 다른 파일로 분리해 관리하면서 그 사이의 연결 관계는 독립적으로 유지함으로써, 린 컴파일 속도를 높이고 자원 소비를 줄였다. 셋째, 각 정리 명제에 대한 자연어 설명을 함께 관리해, 검색과 재사용을 쉽게 만들었다. AI타임스는 이를 “각 정리를 의존 관계에 따라 그래프로 관리하고, 자연어 설명을 함께 관리해 한 에이전트가 이미 다른 에이전트가 해결한 문제를 다시 풀지 않도록 했다”고 설명했다. 이 구조 덕분에 프로브투미 도입 이후에는 다수의 에이전트가 진짜 의미에서 “협업 팀”처럼 움직일 수 있었다.
수학계의 반응과 케빈 버자드 교수의 평가
이번 결과물은 곧바로 형식 수학 커뮤니티의 검토를 받았다. 이 단원에서는 실제 이 분야를 이끌어온 전문가의 평가와, 학계가 이 성과를 어떻게 받아들이고 있는지를 다룬다.
“자동 형식화 시대의 큰 진전”이라는 평가
앤트로픽은 완성된 증명을 2024년부터 페르마의 마지막 정리 형식화 커뮤니티 프로젝트를 이끌어온 임페리얼 칼리지 런던의 케빈 버자드 교수에게 직접 공유했다. 버자드 교수는 이 증명을 검토한 뒤 “앤트로픽 연구진에 따르면 단 11일 만에 이뤄졌다는 이 놀라운 자동형식화(autoformalization) 성취는, 수학의 공리 외에는 어떤 가정도 없이 페르마의 마지막 정리를 증명한다”고 밝혔다. 그는 이어 “그 과정에서 대수학, 조화해석, 기하학, 수론의 자동형식화를 목격했으며, AI 자동형식화 결과물이 이제 그 위에 다른 연구를 쌓아올릴 수 있을 만큼 견고해졌다는 것을 알게 됐다”고 평가했다.
버자드 교수는 자신의 개인 블로그에도 이번 성과에 대한 소회를 남겼는데, 자신이 수년간 이끌어온 형식화 프로젝트를 앤트로픽이 예상보다 훨씬 빠르게 따라잡았다는 점을 인정하는 내용이었다. 형식 수학 커뮤니티 내부에서 실제로 이 프로젝트를 주도해온 전문가가 검증하고 공개적으로 평가했다는 사실은, 이번 성과의 신뢰도를 뒷받침하는 중요한 근거가 된다.
학계 검증 부담을 줄이는 의미
버자드 교수는 더 나아가 “페르마의 마지막 정리의 자동 형식화가 지금 가능하다면, 우리는 현대 수학 문헌 전체의 자동 형식화를 향해 큰 걸음을 내디딘 것”이라고 말했다. 그는 이런 자동형식화 기술이 새로운 도구로 이어져 기존 수학 문헌의 오류를 찾아내고 심사자의 부담을 덜어줄 것이며, AI가 생성한 수학을 엄밀하게 검증하는 데도 쓰일 수 있다고 내다봤다. 지금은 AI가 만든 수학적 주장을 사람이 하나하나 확인하는 데 막대한 비용이 들지만, 형식화가 보편화되면 이 부담이 크게 줄어들 수 있다는 것이다.
이런 검증 부담의 무게를 보여주는 일화도 있다. 앤트로픽 게시물에 따르면, 프로브투미를 만든 티안이 펑은 대학생 시절 자신의 학위논문 결과를 지도교수가 “네이처(Nature)”에 싣고 싶어 했을 때, 증명이 확실히 맞는지 질문을 받았다. 펑의 정직한 대답은 “99% 확신하지만, 이렇게 긴 증명이 100% 맞는지 확신하기는 어렵다”는 것이었고, 결국 그 결과는 네이처 게재 기회를 놓쳤다. 형식화 도구가 있었다면 이 불확실성 자체가 애초에 문제가 되지 않았을 수 있다는 점에서, 이 일화는 형식 검증이 왜 필요한지를 보여주는 상징적인 사례로 소개됐다.
AI타임스도 이 지점을 강조하며, “전문 인력이 부족한 상황에서 AI의 증명 형식화와 컴퓨터의 자동 검증 구조가 결합하면 전통적인 동료 심사의 부담을 대폭 줄이고 연구 신뢰성을 끌어올릴 수 있다”고 짚었다. 다만 형식화된 증명이 사람이 읽는 논문을 완전히 대체해야 한다는 의미는 아니라는 점도 함께 짚어야 한다. 앤트로픽 스스로도 “형식화된 증명이 사람이 이해할 수 있는 설명을 대체해서는 안 된다고 생각하지만, 이는 수학 커뮤니티가 AI가 만들어내는 결과물의 속도를 따라잡을 수 있는 유일하게 실현 가능한 방법일 수 있다”고 밝혔다.
다른 AI 수학 성과와의 비교 — 리만 가설, 비노그라드 정리
이번 발표는 갑자기 나온 것이 아니라, 2026년 여름부터 이어진 AI 수학 연구 경쟁의 연장선에 있다. 이 단원은 그 맥락과 함께, 형식화가 더 작은 규모에서도 얼마나 빠르게 재현됐는지를 보여주는 후속 실험을 소개한다.
같은 여름, 겹친 수학 난제 도전들
이번 발표 직전인 8월, 앤트로픽은 미공개 모델이 160여 년 된 난제인 리만 가설 연구에서 진전을 이뤘다고 밝힌 바 있다. 비슷한 시기 오픈AI 역시 차세대 모델 GPT-6 아스트라(Astra)가 수학·컴퓨터 과학 분야의 난제 10개를 풀었다고 발표했고, 상용 모델을 활용해 50년 된 수학 난제의 증명을 생성했다고 주장하기도 했다. AI타임스는 9월 8일 별도 보도에서 오픈AI의 미공개 모델이 약 1만 개의 에이전트를 동원해 밀레니엄 문제 중 하나인 “나비에-스토크스 방정식” 문제에 대한 결과를 내놓았다고 전하기도 했는데, 이 사안은 뉴욕대와 앤트로픽 연구진의 선행 연구가 활용됐는지를 두고 논쟁이 있어 이 글에서는 상세히 다루지 않는다.
반면 페르마의 마지막 정리 형식화는 이런 논쟁의 여지가 상대적으로 적은 사례다. 증명의 수학적 내용 자체는 이미 1995년에 공개돼 전 세계 수학자들이 검토한 와일스의 결과를 그대로 따르고, 클로드가 한 일은 그 논리를 기계가 검사 가능한 언어로 옮긴 것뿐이기 때문이다. 새로운 정리를 “발견했다”는 주장이 아니라 이미 검증된 정리를 “형식적으로 재확인했다”는 주장이므로, 독립적인 도구(비교기)로 명제 일치 여부까지 확인할 수 있었다.
비노그라드의 세 소수 정리, 사흘 만의 형식화
앤트로픽은 페르마의 마지막 정리가 얼마나 특수한 사례인지를 확인하기 위해 별도의 소규모 실험도 진행했다. 연구원들은 개인용 클로드 맥스(Claude Max) 계정 3개만 사용해, 하디-리틀우드 원 방법(Hardy-Littlewood Circle Method)을 응용하는 형식화 작업을 시도했다. 전적으로 프로브투미를 통해 협업한 에이전트들은 비노그라드의 세 소수 정리(Vinogradov’s Three Primes Theorem)의 형식화를 단 사흘 만에 완료했다.
이 실험이 시사하는 바는 크다. 페르마의 마지막 정리처럼 대규모 연구팀과 막대한 컴퓨팅 자원이 있어야만 가능한 것이 아니라, 적절한 협업 구조만 갖추면 일반 소비자용 AI 구독 서비스로도 상당한 수준의 수학 형식화 연구가 가능하다는 뜻이기 때문이다. 앤트로픽은 이런 이유로 순수 수학과 형식화 연구를 하는 외부 연구자들에게 무료 또는 할인된 구독과 연구 크레딧을 지원하는 프로그램을 확대하고 있다고 밝혔다. 오픈AI 등 다른 연구소들도 비슷한 학술 지원 프로그램을 내놓고 있어, 수학 형식화가 소수 대형 연구소만의 영역에서 벗어나고 있는 흐름도 함께 읽을 수 있다.
이번 성과가 중요한 이유와 남은 과제
마지막으로 이번 사례가 앞으로 수학 연구와 AI 개발 양쪽에 어떤 영향을 줄 수 있는지, 그리고 아직 풀리지 않은 질문은 무엇인지 짚어본다.
동료 심사의 부담을 줄이는 형식 검증
수학 연구가 AI의 도움을 받아 더 빠르게 새로운 결과를 쏟아낼수록, 그 결과를 검증할 사람은 상대적으로 부족해지는 역설이 생긴다. 형식화는 이 병목을 완화할 수 있는 유력한 방법이다. 앤트로픽은 “AI가 만들어내는 결과물이 늘어날수록, 형식화를 통한 AI 보조 검증이 사람 심사자의 부담 일부를 덜어줄 것”이라며 “앞으로는 사람이 읽는 논문과 함께 형식화된 증명을 나란히 내놓는 것이 일반적인 관행이 될 것으로 예상한다”고 밝혔다.
실제로 앤트로픽은 “최근 클로드가 작성한 여러 성과들이 증명과 동시에 형식화되고 있으며, 클로드가 이 부분적인 형식 증명을 활용해 자신의 가설이 맞는지 스스로 점검하는 모습도 보인다”고 전했다. 이는 마치 수치 시뮬레이션으로 계산이 맞는지 확인하는 것과 비슷한 방식으로, 린으로 코드를 작성하는 습관 자체가 클로드가 새로운 수학적 결과를 만들어내는 데도 도움이 되고 있다는 뜻이다.
AI가 만든 증명을 사람이 어떻게 신뢰할 것인가
물론 남은 과제도 뚜렷하다. 형식화된 증명이 논리적으로 옳다는 것과, 그 증명이 사람에게 “왜 이 정리가 성립하는지”에 대한 직관적인 이해를 준다는 것은 다른 문제다. 앤트로픽 역시 형식화가 사람이 이해할 수 있는 해설을 대체해서는 안 된다고 선을 긋는다. 1,300만 줄에 달하는 린 코드를 사람이 처음부터 끝까지 읽고 “아름다움”을 느끼기는 사실상 불가능하기 때문이다.
린과 매스라이브 자체도 수백 명의 수학자가 자원봉사로 쌓아온 결과물이라는 점도 함께 기억할 필요가 있다. 앤트로픽은 감사의 글에서 린 프로그래밍 언어 재단(Lean FRO)과 함께 일해온 수많은 기여자, 그리고 임페리얼 칼리지 런던의 FLT 프로젝트와 flt-regular 프로젝트의 코드를 일부 가져다 썼다고 명시했다. 다시 말해 클로드의 11일은 그 이전 수년간 형식 수학 커뮤니티가 쌓아 올린 기반 위에서만 가능했던 결과이며, AI의 속도만으로 설명할 수 있는 성과가 아니라는 점을 앤트로픽 스스로도 분명히 밝히고 있다.
또한 이번 프로젝트가 토큰을 대량으로 소비하는 방식으로 진행됐다는 점도 눈여겨볼 대목이다. 60억 개의 출력 토큰과 1,300만 줄이라는 규모는 매스라이브 대비 5배가 넘는 “비효율적인” 코드량을 의미하기도 한다. 리안 대니얼 후블러 등 formalization 연구자들이 앞으로 풀어야 할 과제는, 이런 대규모 연산 자원을 투입하지 않고도 비슷한 속도와 신뢰도로 형식화를 해내는 더 효율적인 방법을 찾는 일이 될 것으로 보인다. 그럼에도 불구하고, 수년이 걸릴 것으로 예상됐던 검증 작업이 단 11일 만에 끝났다는 사실은, 형식 수학이 소수 전문가의 영역에서 AI 에이전트가 일상적으로 다루는 작업으로 옮겨가고 있음을 보여주는 뚜렷한 신호다.
한눈에 보는 핵심 요약
바쁜 독자를 위해 이번 사례의 핵심을 아래 목록으로 압축했다.
- 무엇을 발표했나 — 앤트로픽이 2026년 9월 4일, 클로드가 페르마의 마지막 정리의 세계 최초 완전 컴퓨터 검증 증명을 만들었다고 발표했다.
- 새 발견 아님 — 정리 자체는 1995년 앤드루 와일스가 이미 증명했고, 클로드는 그 증명을 린(Lean) 코드로 형식화(검증)했다.
- 소요 시간 — 수십 개 클로드 에이전트가 거의 자율적으로 작업해 11일 만에 완료했다.
- 규모 — 1,300만 줄의 린 코드, 3만 300개 정리(이 중 2만 9,500개 사용), 약 60억 출력 토큰이 투입됐다.
- 핵심 도구 — 티안이 펑과 컬럼비아대 협업팀이 만든 협업 플랫폼 프로브투미(Prove2Me)가 에이전트 간 협업 실패를 해결했다.
- 검증 — 린의 표준 공리 3개만으로 검증됐고, 별도 비교기로 매스라이브의 정의와 명제가 일치함을 확인했다.
- 전문가 평가 — 형식화 프로젝트를 이끌어온 케빈 버자드 임페리얼 칼리지 런던 교수가 직접 검토하고 “큰 진전”이라 평가했다.
- 후속 실험 — 개인용 클로드 맥스 계정 3개로 비노그라드의 세 소수 정리를 사흘 만에 형식화하는 데도 성공했다.
- 의미 — 새로운 수학적 발견이 아니라, AI 보조 형식 검증이 학계의 동료 심사 부담을 줄일 수 있음을 보여준 사례다.
이 글은 앤트로픽 공식 리서치 게시물과 AI타임스 등 국내 매체 보도를 교차 확인해 작성했다. 관련해 클로드 페이블 5.1·미토스 5.1 출시 총정리와 모델 하드웨어 표준 2026 — 앤트로픽 AI 에이전트 로봇·현미경 제어 규격 총정리 글도 함께 참고하면, 앤트로픽이 같은 시기 어떤 방향으로 클로드의 역량을 확장하고 있는지 더 넓은 맥락에서 이해할 수 있다. 원문 증명과 코드는 앤트로픽 공식 깃허브(GitHub)에서, 발표 전문은 앤트로픽 공식 리서치 페이지에서 확인할 수 있으며, 국내 보도는 AI타임스 기사를 참고했다.