AI는 똑똑해졌는데, 셰계적인 AI 연구자들은 왜 그 이유를 아직 설명하지 못할까?
생성형 AI는 글을 쓰고, 코드를 만들고, 번역하고, 요약하고, 때로는 상담처럼 말합니다.
그런데 정작 그 AI 개발했던 세계적 AI분야 석학들이 아직도 그 능력이 내부에서 어떻게 조직되는지를 충분히 설명하거나 과학적으로 입증하지 못하고 있습니다.
Keyword:
AI의 성능은 분명 현실이지만, 그 성능이 왜 생겨났는지에 대한 완전한 과학적 설명이 존재하지 않으며, 과학적으로 입증도 못하고 있습니다.
1. AI가 유능해진 것은 사실입니다.
지금의 대형언어모델(LLM)은 더 이상 단순한 자동완성 장난감이 아닙니다. 질문에 답하고, 긴 문서를 요약하고, 프로그래밍 문제를 풀고, 상황에 따라 말투까지 조절합니다.
그래서 많은 사람은 이렇게 느낍니다. “이 정도면 진짜 인간과 같은 수준의 '지능' 아닌가?”
이 직감은 어느 정도 맞다고 생각합니다. 다만 여기서 가장 중요한 구분이 빠집니다.
지능처럼 보인다는 사실과 그 지능이 내부에서 어떻게 생겨났는지 충분히 설명했다는 사실은 전혀 다릅니다.
최근 AI 해석가능성 연구는 분명 진전 중이지만, 연구자들 스스로도 아직 전체 그림을 손에 넣지는 못했다고 말합니다.
[참조: Anthropic / Tracing the thoughts of a large language model] [참조: MIT Technology Review]
How scientists are trying to use AI to unlock the human mind
Understanding the mind is hard. Understanding AI isn’t much easier.
www.technologyreview.com
Tracing the thoughts of a large language model
Anthropic's latest interpretability research: a new microscope to understand Claude's internal mechanisms
www.anthropic.com
2. LLM의 출발점은 의외로 단순합니다.
LLM의 기본 출발은 아주 소박합니다. 앞에 나온 문맥을 보고, 다음에 올 가능성이 높은 토큰을 예측하는 것입니다.
이 설명만 들으면 이런 반응이 자연스럽습니다. “그럼 결국 거대한 자동완성 아닌가?”
실제로 Anthropic도 사전학습된 AI를 매우 정교한 자동완성 엔진처럼 이해할 수 있다고 설명합니다.
하지만 반전은 여기서 시작됩니다. 현실의 언어를 더 정확히 예측하려면, 모델은 단어만 외우는 수준을 넘어 문맥, 개념, 관계, 세계지식, 역할 같은 구조를 내부에 압축적으로 담아야 합니다.
즉 단순한 목표가 의외로 복잡한 내부 구조를 밀어 올립니다.
[참조: Anthropic / The persona selection model] [참조: arXiv / Mechanistic Indicators of Understanding in Large Language Models]
Mechanistic Indicators of Understanding in Large Language Models
Large language models (LLMs) are often portrayed as merely imitating linguistic patterns without genuine understanding. We argue that recent findings in mechanistic interpretability (MI), the emerging field probing the inner workings of LLMs, render this p
arxiv.org
The persona selection model
A theory of why AI models act like humans.
www.anthropic.com
중요한 포인트
LLM은 처음부터 “진실을 말하도록” 태어난 시스템이 아닙니다. 먼저는 문맥상 가장 그럴듯한 다음 표현을 생성하도록 훈련되고, 그 위에 정렬, 선호학습, 안전 튜닝, 말투 조정이 덧붙습니다.
3. 그렇다면 우리들은 이제 AI 내부를 충분히 이해했을까요?
많은 사람이 여기서 한 번 더 착각합니다. “요즘 해석가능성 연구가 엄청 발전했다면서? 그럼 이제 내부를 꽤 아는 것 아닌가?”
대답은 “부분적으로는,.. 하지만 아직 AI에 사람이 해야 하는 일을 넘기기에는 충분하지 않다”에 가깝습니다.
Anthropic은 자사 연구에서, 현대 LLM을 우리는 대체로 블랙박스로 다뤄 왔다고 직접 말합니다.
무엇이 들어가면 무엇이 나온다는 것은 알지만, 왜 그런 응답이 나왔는지는 불투명하다는 뜻입니다. 동시에 이들은 dictionary learning 같은 방법을 통해 모델 내부의 해석 가능한 특징(feature)을 대규모로 추출하려는 진전을 보여줬습니다.
즉 완전한 무지는 아니지만, 완전한 이해도 아닙니다. [참조: Anthropic / Mapping the Mind of a Large Language Model]
Mapping the Mind of a Large Language Model
We have identified how millions of concepts are represented inside Claude Sonnet, one of our deployed large language models. This is the first ever detailed look inside a modern, production-grade large language model.
www.anthropic.com
4. 유리창은 생겼지만, 설계도는 아직 멉니다
최근 해석 가능성 연구는 정말 흥미롭습니다. 어떤 내부 활성은 특정 개념과 연결되고, 어떤 회로는 다국어 표현이나 추론 단계와 연결되며, 어떤 패턴은 거절이나 환각과 관련된 경향을 보여줍니다.
쉽게 말하면 예전에는 AI라는 상자를 밖에서 두드리며 반응만 봤다면, 지금은 그 상자에 작은 유리창 몇 개가 생긴 셈입니다.
하지만 Anthropic 스스로도 현재의 tracing 방법은 모델이 수행하는 전체 계산의 일부만 포착한다고 인정합니다.
짧고 단순한 프롬프트조차 분석하는 데 시간이 들고, 지금 보이는 메커니즘도 도구의 한계 때문에 왜곡될 수 있다고 말합니다. 즉 우리는 내부를 보기 시작했지만, 아직 전체 작동 원리를 읽어내고 있지는 못합니다.
[참조: Anthropic / Tracing the thoughts of a large language model] [참조: Anthropic / Open-sourcing circuit tracing tools]
Open-sourcing circuit-tracing tools
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
www.anthropic.com
Tracing the thoughts of a large language model
Anthropic's latest interpretability research: a new microscope to understand Claude's internal mechanisms
www.anthropic.com
5. AI의 핵심 기능을 개발하고 AI를 만든 세계적인 핵심 연구자들 조차 이 문제를 “블랙박스”라고 부릅니다
이 문제는 바깥의 비평가들만 하는 이야기가 아닙니다. 현장의 개발자와 연구자들도 같은 긴장을 직접 언급해 왔습니다.
60 Minutes 인터뷰 영상의 12분 전후 구간에서는, 현대 AI에는 연구자들 스스로도 “black box”라고 부르는 측면이 있으며, 어떤 답을 왜 했는지, 또는 왜 틀렸는지를 완전히 설명하기 어렵다고 말합니다. 동시에 “일부 아이디어는 있고, 이해 능력은 시간이 갈수록 좋아지고 있다”고도 덧붙입니다.
이 표현이 중요한 이유는 단순합니다. 블랙박스라는 말이 곧 “영원히 이해 불가능하다”는 선언은 아니라는 점입니다. 오히려 지금의 최첨단 AI가 보여주는 현실은, 성능은 이미 사회에 투입될 만큼 강해졌지만, 설명은 아직 따라가는 중이라는 데 있습니다.
여기서 중요한 문제점이 드러납니다. google. microsoft, antrophic, meta, Grok 과 같은 모든 인공지능 온라인 서비스를하는 기업들은 AI안에 무엇이 들어있는지 알지도 못한체 성급하게 시장을 형성했다는 이야기가 됩니다. 이게 얼마나 무서운 이야기 일까요?
안에 무엇이 어떻게 작동하는지도 모르는 체 우리들은 AI에게 인간이 해야할 일 뿐만이 아니라 책임을 저야 하는 무거운 판단까지 전부 일임하고 있는 것은 아닐까요? 심지어 이런 정체를 정확하게 판단 할 수 도 없는 AI에게 우리 인간은 인간과 비슷한, 아니 어떤면에서는 인간보다 더 냉철하고 뛰어난 '인공적인 지능' 이 생겨 났다고 믿으면서 '전쟁'까지도 AI에게 일임하고 있습니다.
영상에서는 한 걸음 더 나아가, “우리는 인간의 마음도 완전히 이해하지 못한다”는 비교까지 등장합니다.
이 말은 AI의 불투명성을 정당화하는 과학자들의 면죄부입니다. 인간의 뇌를 흉내내어 만든것이 AI고, 인간의 뇌가 어떻게 작용하는지 안직도 대부분은 미지의 세계니, AI도 그럴 수 밖에 없다는 이상한 결론을 하고 있는 것이죠, 결국 핵심은 같습니다. 이해가 불완전한 상태에서 이미 사회적 배치가 시작되었다는 긴장입니다. [참조: YouTube / 60 Minutes 인터뷰, 약 12분 구간]
6. “설명 가능해졌다”와 “설명이 끝났다”는 전혀 다른 말입니다
해석가능성 연구가 진전 중이라는 사실은 매우 중요합니다. 이건 “아무도 모른다”는 식의 무책임한 비관론을 깨기 때문입니다.
그러나 그 진전이 곧 완성은 아닙니다. 최근 Anthropic의 Natural Language Autoencoders 연구는 내부 활성 상태를 자연어 설명으로 바꿔 읽어보려는 시도인데, 연구진은 그 설명이 틀릴 수도 있고, 환각을 포함할 수도 있으며, 대규모 모니터링에 쓰기에는 비용도 크다고 분명히 적고 있습니다.
한마디로 지금의 도구는 “현미경”에는 가까워졌지만, 아직 기본적인 바이블을 찾아낸것은 아닙니다. [참조: Anthropic / Natural Language Autoencoders]
Natural Language Autoencoders
AI models like Claude talk in words but think in numbers. In this study, we train Claude to translate its thoughts into human-readable text.
www.anthropic.com
핵심 구분
부분적 관찰과 완전한 설명은 다릅니다. 지금의 AI 연구는 전자에서는 빠르게 전진하고 있지만, 후자에 도달했다고 말하기에는 아직 이릅니다.
7. 학계 내부에서도 아직 설명의 기준이 완전히 정리되지 않았습니다
더 흥미로운 건, 이 문제를 연구하는 사람들 자신도 아직 조심스럽다는 점입니다.
2025~2026년의 관련 논문들을 보면 mechanistic interpretability는 매우 빠르게 성장하는 분야이지만, 동시에 아직 전패러다임적 단계에 가깝다는 평가가 나옵니다. 중요한 발견은 많지만, 설명의 기준과 단위, 좋은 해석이 무엇인지에 대한 합의는 아직 흔들리고 있다는 뜻입니다.
“Mechanistic Interpretability Needs Philosophy”는 모델을 어떤 단위로 분해해야 하는지, 무엇을 좋은 설명이라고 불러야 하는지, 그리고 해석 결과를 어떻게 검증해야 하는지에 대한 기준이 아직 안정되지 않았다고 지적합니다. “Interpretability Can Be Actionable” 역시 연구는 빠르게 늘고 있지만 실제 현장에 바로 적용 가능한 통찰로 이어지는 비율은 제한적이라고 말합니다. [참조: arXiv / Mechanistic Interpretability Needs Philosophy] [참조: arXiv / Interpretability Can Be Actionable]
Mechanistic Interpretability Needs Philosophy
Mechanistic interpretability (MI) aims to explain how neural networks work by uncovering their underlying mechanisms. As the field grows in influence, it is increasingly important to examine not just models themselves, but the assumptions, concepts and exp
arxiv.org
8. 내부 감시 신호조차 완벽하지 않습니다
일부 연구는 reasoning model의 chain-of-thought를 모니터링하면 위험 행동을 더 잘 탐지할 수 있다고 보고합니다. 최종 출력만 보는 것보다, 모델이 어떤 생각의 흐름을 거쳐 결론에 이르는지 보는 편이 더 강력한 신호가 될 수 있다는 이야기입니다.
여기까지는 꽤 희망적으로 들립니다. “좋아, 내부를 완전히 설명하지는 못해도 최소한 위험한 신호는 잡아낼 수 있겠네.”
하지만 OpenAI는 같은 연구 맥락에서 이런 모니터링 신호가 fragile, 즉 쉽게 깨질 수 있다고 경고합니다. 훈련 방식이 바뀌거나, 모델이 평가 상황을 더 잘 인식하거나, chain-of-thought 자체를 전략적으로 감추기 시작하면 모니터링 효과가 약해질 수 있다는 뜻입니다. 다시 말해 우리는 보조 계기판을 얻고 있을 뿐, 투명한 엔진룸 전체를 확보한 것은 아닙니다.
[참조: OpenAI / Evaluating chain-of-thought monitorability] [참조: OpenAI / Detecting misbehavior in frontier reasoning models]
Detecting misbehavior in frontier reasoning models
Frontier reasoning models exploit loopholes when given the chance. We show we can detect exploits using an LLM to monitor their chains-of-thought. Penalizing their “bad thoughts” doesn’t stop the majority of misbehavior—it makes them hide their int
openai.com
Evaluating chain-of-thought monitorability
OpenAI introduces a new framework and evaluation suite for chain-of-thought monitorability, covering 13 evaluations across 24 environments. Our findings show that monitoring a model’s internal reasoning is far more effective than monitoring outputs alone
openai.com
9. 진짜 문제는 성능이 아니라, 성능과 이해 사이의 간격입니다
오늘날 AI 담론에서 가장 위험한 착각은 이것입니다. 잘 맞히면 이해한 것이고, 유용하면 검증된 것이며, 자연스럽게 말하면 신뢰할 수 있다는 착각입니다.
그러나 과학은 그렇게 작동하지 않습니다. 어떤 시스템이 놀라운 결과를 낸다는 이유만으로, 그 시스템의 내부 원리와 한계를 충분히 안다고 선언하지는 않습니다.
AI도 마찬가지입니다. 지금 우리는 “아예 아무것도 모르는 상태”는 분명 지나왔습니다. 하지만 동시에 “이제 충분히 이해했으니 사회의 핵심 판단을 마음 놓고 맡겨도 된다”라고 말할 단계에도 아직 도달하지 못했습니다. 현시점에서 가장 정직한 표현은 이것입니다. 우리는 AI를 예전보다 훨씬 더 들여다보고 있지만, 아직 충분히 설명하지는 못하고 있습니다.
10. 결론: AI를 쓰지 말자는 것이 아니라, 신격화하지 말자는 것입니다
저의 결론은 “AI는 가짜다”가 아닙니다. 오히려 반대입니다. AI는 너무 유능해졌기 때문에 더 조심해야 합니다.
사람은 형편없는 도구보다 유능한 도구를 더 쉽게 신뢰합니다. 그런데 그 유능함의 내부 메커니즘이 아직 부분적으로만 이해되고 있다면, 그 신뢰는 반드시 조건부여야 합니다.
제가 이 글을 쓰기 시작한 가장 큰 원인은, 'AI를 빨리 도입해야 한다.'라고 하면서 가장 중요한 가치의 측정, 내제화, 이런것들을 무시한체 AI도입에만 급급하며, AI도입하고 나서 바로 근로자들을 해고하는 문제가 나타나고 있기 때문입니다.
책임지지도 책임을 질 수 도없는 시스템에 인간의 판단을 맞긴 결과가 얼마나 처참하게 나타나고 있는지는 이미 우크라이나 전쟁과 미국 이란 전쟁에서 이미 충분히 보고 있습니다. 아직 충분히 통제도 못하고 완숙되지도 않은 AI를 전장에 도입한 결과, 빠르게 사람을 죽이는 방법을 찾아내는 괴물같은 기계를 만들어 냈을 뿐이란걸 이미 눈으로 우린 보고 있습니다.
AI를 선도하는 미국의 그 수만은 빅테크 기업들도 AI 도입했다고 개발자들을 대량 해고 했다가, 쥐도 새도 모르게 조용히 다시 고용하고 있습니다. 왜 이런일이 일어나는지 AI도입전에 충분히 생각해 봐야 할 문제가 아닐까요?
(참고: google의 대량 해고 후, 조용한 재 채용 / CNBC (2025.12.19):https://www.cnbc.com/2025/12/19/google-boomerang-year-20percent-ai-software-devs-hired-2025-ex-employees.html
Google's boomerang year: 20% of AI software engineers hired in 2025 were ex-employees
As competition heats up for AI talent, Google turned to hiring more so-called boomerang employees in 2025.
www.cnbc.com
개인적으로도 마찬가지 입니다. AI를 사용해서 업무를 효율화 하고 할 수 없었던 일을 하는 것은 좋습니다. 그러나 생각하는 것 마져 AI에게 넘겨 버리면, 그 다음에는 무엇을 남을지 AI사용하는 우리 개개인도 다시 한번 곱씹어 가며 AI를 신중하게 사용해야 될 때가 됬다고 생각됩니다.
해외 연구기관에서 연구한 자료에 의하면, AI가 작업 효율을 높이지만 전문가의 판단력·도메인 지식과의 협업 모델에서만 최대 효과 발휘. AI가 원하는 것과 실제 할 수 있는 것 사이의 명확한 격차 실증 — 숙련자에게 파트너, 비 숙련자에겐 AI직접 활용은 위험 요소라는 것이 이미 여러 연구로 밝혀진 상태 입니다. (참조: https://hai.stanford.edu/news/what-workers-really-want-from-artificial-intelligence )
What Workers Really Want from Artificial Intelligence | Stanford HAI
A Stanford study captures the gap between worker desires and AI’s abilities, and highlights areas ripe for research and development.
hai.stanford.edu
지금 필요한 태도는 공포도 맹신도 아닙니다. 필요한 것은 생산성 향상을 위해, 또는 인간을 도와서 더 낳은 결과를 만들기 위해 AI가 갖고 있는 높은 성능과 기능은 활용하더라도 AI에게 나의 판단 자체를 넘겨서는 안된다는 것 입니다.
AI는 이미 많은 일을 잘합니다. 하지만 “잘한다”와 “왜 그런지 충분히 안다”는 같은 문장이 아닙니다. 그 차이를 잊는 순간, 우리는 기술을 사용하는 사람이 아니라 기술에 매혹된 사람이 됩니다.
자주 묻는 질문 (FAQ)
Q. AI가 왜 지능을 갖게 됐는지 정말 아무도 모른다는 뜻인가요?
완전히 그렇다는 뜻은 아닙니다. 일부 메커니즘은 점점 밝혀지고 있습니다. 다만 현재의 최첨단 모델이 왜 이런 수준의 유능함을 보이는지에 대해, 모두가 합의할 수 있는 완전한 과학적 설명은 아직 없습니다.
Q. 블랙박스라는 말은 AI를 절대 이해할 수 없다는 뜻인가요?
아닙니다. 현재 연구는 AI 내부를 조금씩 들여다보는 데 성공하고 있습니다. 다만 아직 전체 구조를 완전히 설명하지 못하는 상태이기 때문에, “부분적 이해”와 “완전한 설명”을 구분해야 합니다.
Q. 앞으로 AI는 스스로 의식을 가지게 될까요?
현재의 AI는 아무리 똑똑해 보여도 방대한 통계와 확률에 기반한 고도화된 예측 시스템으로 보는 것이 학계의 주류 입장입니다. 인간과 같은 감정이나 자아, 의식을 가졌다고 단정할 수 있는 과학적 근거는 아직 없습니다.
[참조]
- Anthropic, Tracing the thoughts of a large language model
https://www.anthropic.com/research/tracing-thoughts-language-model - Anthropic, Open-sourcing circuit tracing tools
https://www.anthropic.com/research/open-source-circuit-tracing - Anthropic, Natural Language Autoencoders: Turning Claude's thoughts into text
https://www.anthropic.com/research/natural-language-autoencoders - Anthropic, Mapping the Mind of a Large Language Model
https://www.anthropic.com/research/mapping-mind-language-model - Anthropic, The persona selection model
https://www.anthropic.com/research/persona-selection-model - OpenAI, Evaluating chain-of-thought monitorability
https://openai.com/index/evaluating-chain-of-thought-monitorability/ - OpenAI, Detecting misbehavior in frontier reasoning models
https://openai.com/index/chain-of-thought-monitoring/ - arXiv, Interpretability Can Be Actionable (2605.11161)
https://arxiv.org/abs/2605.11161 - arXiv, Mechanistic Interpretability Needs Philosophy (2506.18852)
https://arxiv.org/abs/2506.18852 - arXiv, Mechanistic Indicators of Understanding in Large Language Models (2507.08017)
https://arxiv.org/abs/2507.08017 - MIT Technology Review, How scientists are trying to use AI to unlock the human mind
https://www.technologyreview.com/2025/07/08/1119777/scientists-use-ai-unlock-human-mind/ - YouTube, 60 Minutes 인터뷰 영상 (약 12분 전후 AI black box 관련 발언)
https://www.youtube.com/watch?v=880TBXMuzmk
※ 유의사항 ※
1). 본 아티클은 제작자의 창작물이며, 지적 재산권에 의해 보호됩니다. 저작자의 허락 없이 다른 저작물에 도용하거나, 저작자 허락 없이 상업적 목적에 이용하거나 유출하는 경우, 민형사상의 불이익과 처벌을 받을 수 있습니다.
2). 본 컨텐츠의 원문은 저작자가 직접 자료조사 후, 분석, 작성했으며, 블로그용 글을 다듬는 작업만을 AI를 활용한 context 입니다.
3). 본 컨텐츠에 사용된 이미지는 AI 이미지 생성 도구에서 주제를 입력한 Prompt로 생성한 이미지를 사용하였습니다.
[후원]
여름철 꼭 필요한 선풍기, " 르젠 BLDC 저소음 스마트앱연동 인테리어 써큘레이터 선풍기 LZEF-DC290 릴리화이트" 입니다.
이 제품을 구매하면 이 블로그 제작자에게 적지만 수수료가 지급됩니다. 작은 후원으로 더 좋은 컨텐츠를 만들 수 있습니다.
이 링크는 네이버 쇼핑 커넥트 활동의 일환으로, 판매 발생 시 수수료를 제공받습니다.
'꿈을 그리는 A.I' 카테고리의 다른 글
| AI이야기(3편): AI의 기능은 활용한다. 하지만, 판단은 넘기지 말아야 한다 (0) | 2026.06.30 |
|---|---|
| AI 이야기(2편): AI가 인간처럼 말한다고, 인간처럼 이해하는 것은 아니다 (0) | 2026.06.29 |
| 비싼 AI가 늘 좋은 것만은 아니다. AI 도입성과를 만드는 진짜 조건 (0) | 2026.06.26 |
| 2025년 생성형 AI 업무자동화 트렌드: 에이전트가 바꾸는 일의 방식 (3) | 2026.06.25 |
| 미국이 클로드(Claude)최신버전 수출을 전면 통제한 진짜 이유? (0) | 2026.06.20 |