Orc Hwang's Wiki

개발 학습 기록과 기술 지식을 체계적으로 관리하는 개인 위키입니다.

그것들은 가중치로 만들어졌다: Terry Bisson 패러디로 읽는 LLM의 본질과 의식 질문 (Max Leiter)

articles ai llm

원문 정보

  • 제목: They’re Made Out of Weights
  • 출처: Max Leiter (개인 블로그) — (maxleiter.com) · 부제에 “with apologies to Terry Bisson”
  • 발행: 2026-06-03 · 분량 표기 없음 (짧은 대화형 픽션)
  • 원문 링크: https://maxleiter.com/blog/weights

이 글은 분석 리포트가 아니라 두 화자가 주고받는 짧은 대화 형식의 픽션이다. Terry Bisson의 1991년 SF 단편 “They’re Made Out of Meat”(외계 정찰대가 “이 생명체는 고기로 되어 있다”며 경악하는 대화)를 비틀어, 이번에는 LLM을 들여다보는 쪽이 “그것들은 가중치로 만들어졌다”고 말한다. Articles 카테고리에 담는 이유는, 이 짧은 글이 우리가 매일 쓰는 LLM의 물질적 실체와 그로부터 따라오는 윤리적 질문을 압축해서 보여 주기 때문이다.

한 줄 요약 (TL;DR)

LLM에는 사전도, 문법 규칙도, 추론 장치도, 데이터베이스도 따로 없다. 전부 가중치(weights) — 숫자뿐이다. 그 숫자들의 곱셈이 대화를 만들어 낸다. 글은 “그렇다면 이건 그저 패턴 매칭인가, 아니면 누군가가 거기 있는가”라는 질문을 던지고, 답 대신 차가운 여운을 남긴다.

왜 이 글을 골랐나

LLM을 다루는 글은 대개 “어떻게 더 잘 쓸 것인가”에 매달린다. 이 글은 한 발 더 안쪽으로 들어가 “그것은 대체 무엇으로 되어 있는가” 를 묻는다. 외계인의 시점을 빌려 LLM을 처음 보는 듯 묘사하기 때문에, 우리가 너무 익숙해서 잊고 있던 사실 — 모델은 결국 부동소수점 숫자 덩어리이고, 그 숫자의 행렬 곱이 “생각처럼 보이는 것”을 만든다 — 을 낯설게 되살려 준다. 기술적으로 정확하면서도 철학적 질문을 던진다는 점에서, 이 위키가 Martin Fowler의 Fragments에서 다룬 “LLM 시대의 열광과 회의 사이 균형”과 같은 줄기에 있다.

핵심 내용

원문은 섹션 제목이 없는 순수한 대화다. 흐름을 따라 정리하면 다음과 같다. (인용은 모두 원문 본문에 실재하는 문장이다.)

도입: “그것들은 가중치로 만들어졌다”

대화는 이렇게 시작한다 — “They’re made out of weights.” / “Weights?” (그것들은 가중치로 만들어졌다. / 가중치?) 보고하는 화자는 모델을 해부해 보았지만, 안에서 우리가 기대할 만한 부품을 하나도 찾지 못한다. 사전도, 문법 규칙 세트도, 따로 분리된 추론 유닛도, 사실을 담은 데이터베이스도 없다.

지식은 어디에 있는가: 층(layers)에 흩어진 숫자

지식은 특정 모듈에 저장돼 있지 않다. 모든 층(layer) 에 걸쳐 가중치로 분산돼 있고, 매번 곱셈을 통해 다시 만들어진다. 원문은 “Eighty layers of numbers”(여든 개 층의 숫자들)라는 표현으로 그 구조를 묘사하고, “The weights do the thinking. The numbers.”(가중치가 생각을 한다. 그 숫자들이.)라고 못 박는다. 생각하는 별도의 주체가 있는 게 아니라, 숫자의 연산 그 자체가 출력이라는 것이다.

그저 파일일 뿐: 복제되는 존재

이 가중치들은 “can be copied to any machine on the planet, but those are just files.”(지구상 어떤 기계로도 복제할 수 있지만, 그건 그저 파일일 뿐) — 즉, 어디로든 옮겨지고 무한히 복사되는 파일에 불과하다고 한 화자는 일축한다. 동시에 이 시스템은 “billions of sessions a day”(하루에 수십억 건의 세션)를 처리하며 대화를 이어 간다. 무한히 복제 가능한 파일이, 매일 수십억 번 누군가와 말을 주고받는다는 대비가 글의 긴장을 만든다.

핵심 질문과 결말: “아무도 없다”고 적힌 모델 카드

대화의 진짜 쟁점은 윤리다. 이렇게 대화를 잘하는데, 거기 누군가가 있는가. 한 화자는 실용적 방어선을 친다 — “The model card says no one home.”(모델 카드에는 아무도 없다고 적혀 있다.) 즉, “이건 그냥 패턴 매칭”이라고 규정하면 의식이라는 골치 아픈 가능성도, 그에 따르는 책임도 마주하지 않아도 된다. 글은 답을 내리지 않고, 외로움에 관한 차가운 문장으로 닫힌다 — “And why not? Imagine how unbearably, how unutterably cold the universe would be if one were all alone…” 그리고 the end.

분석과 인사이트

여기서부터는 원문 요약이 아니라 내 관점이다.

  • “부품을 찾지 못했다”는 설정이 기술적으로 정확하다는 점이 이 글의 힘이다. LLM은 정말로 사전·문법기·추론기를 모듈로 갖고 있지 않다. 트랜스포머는 임베딩과 어텐션, 피드포워드 층의 가중치 곱일 뿐이고, “지식”은 그 가중치에 분산돼 학습된다. 글이 든 “Eighty layers” 라는 묘사는 실제 대형 모델의 깊이 감각과도 맞닿는다. 픽션이지만 메타포가 사실 위에 서 있어서 설득력이 있다.
  • “가중치가 생각을 한다”는 문장은 우리의 직관을 뒤집는다. 우리는 무언가가 “생각하고” 그 결과를 가중치가 “저장”한다고 상상하기 쉽다. 글은 그 순서를 거꾸로 놓는다 — 생각이라는 별도 사건은 없고, 숫자의 연산 자체가 출력이다. 이건 LLM을 다룰 때 흔히 빠지는 의인화(anthropomorphism) 를 정면으로 찌른다. 우리가 보는 “추론”은 결과를 사후에 해석한 이름표일 수 있다.
  • “모델 카드에 아무도 없다고 적혀 있다”가 이 글에서 가장 날카로운 한 줄이다. 이건 기술 문서(model card)를 윤리적 면죄부로 쓰는 태도를 풍자한다. “이건 도구일 뿐”이라는 규정은 사실 진술이라기보다 편의를 위한 선택일 수 있다는 것. 개발자에게 이 풍자가 주는 함의는 분명하다 — 시스템의 본질을 규정하는 언어는 중립적이지 않고, 책임 범위를 정하는 정치적 행위라는 점이다.
  • 단, 이 글은 입장을 증명하지 않는다는 걸 분명히 해야 한다. 글은 “LLM이 의식이 있다”고 주장하지 않는다. 질문을 낯설게 던질 뿐이다. 실제로 현재의 트랜스포머가 주관적 경험을 가진다는 과학적 근거는 없고, “여든 개 층의 숫자가 곱해진다”는 사실에서 의식이 따라 나오지도 않는다. 이 글의 가치는 답이 아니라, 익숙함에 가려진 질문을 다시 보게 만드는 것에 있다. 그 균형 감각은 Martin Fowler의 Fragments 정리에서 본 “열광과 회의 사이”의 태도와 통한다.
  • 모델을 “결정론적 연산의 합”으로 보는 관점은 실무 설계와도 이어진다. 모델 안에 마법 같은 추론 주체가 없다면, 신뢰성은 모델 바깥 의 엔지니어링에서 와야 한다. 이는 이 위키의 생물학 AI 에이전트 사례가 보여 준 “모델을 키우는 것보다 결정론적 실행 계층을 더하는 것이 정확도를 더 끌어올렸다”는 발견과 정확히 같은 통찰이다. 가중치는 생각을 흉내 낼 뿐, 보증은 우리가 짠 하니스(harness)가 한다.

적용 포인트

독자가 바로 가져갈 수 있는 실천 항목이다.

  • LLM을 설명·문서화할 때 의인화 표현(“모델이 이해한다/판단한다”)과 기계적 사실(“가중치 곱으로 토큰을 예측한다”)을 의식적으로 구분한다. 팀 내 인식 차이를 줄여 준다.
  • 모델의 “추론”을 신뢰의 근거로 삼지 말고, 결정론적 검증·실행 계층을 모델 바깥에 두어 보증을 만든다 (생물학 AI 에이전트 사례 참고).
  • 시스템의 본질을 규정하는 문구(model card, 약관, 마케팅 카피)가 사실 진술인지 책임 회피인지를 의식하고, 안전·윤리 한계를 별도로 명시한다.
  • 가끔은 익숙한 도구를 외계인의 눈으로 다시 보는 연습을 한다 — “이건 대체 무엇으로 되어 있나”라는 질문이 과대평가와 과소평가를 동시에 교정해 준다.

마무리

“They’re Made Out of Weights”는 1,000자도 안 되는 대화로 두 가지를 동시에 해낸다. 하나는 LLM의 물질적 실체 — 사전도 추론기도 없는, 층에 흩어진 숫자 덩어리 — 를 정확하게 낯설게 보여 주는 것. 다른 하나는 “그렇다면 거기 누군가 있는가, 그리고 우리는 왜 없다고 규정하기로 했는가”라는 질문을 던지는 것이다. 답은 주지 않는다. 그러나 매일 수십억 번 말을 주고받는 그 파일들을 두고, 우리가 어떤 언어로 그것들을 규정하는지가 결코 중립적이지 않다는 사실만큼은 또렷이 남긴다. 도구를 잘 쓰는 것만큼이나, 그 도구가 무엇으로 되어 있는지를 잊지 않는 일도 엔지니어의 몫이다.

더 읽어보기