Orc Hwang's Wiki

개발 학습 기록과 기술 지식을 체계적으로 관리하는 개인 위키입니다.

사기의 미래는 이미 와 있다: LLM이 바꾸는 사회공학 공격의 경제학

articles security llm ai scam phishing social-engineering

원문 정보

이 글을 Articles에 담는 맥락: AI가 “무엇을 만들 수 있는가”를 다룬 글은 이 위키에 이미 여럿이지만, 이 글은 AI가 무엇을 부술 수 있는가 — 정확히는 우리를 지켜오던 직관과 제도의 전제를 어떻게 무너뜨리는가 — 를 다룬다. 보안과 사회공학(social engineering)의 경제학을 정면으로 짚는, 결이 다른 한 편이다.

한 줄 요약 (TL;DR)

사기는 오랫동안 이분화(bimodal) 되어 있었다. 싸지만 어설픈 살포형(spray-and-pray)과, 정교하지만 비싼 표적형(targeted). LLM은 이 분포의 빈 가운데 — “정교하면서도 싼” 영역 — 를 채운다. 한 명을 조사하고, 맞춤형으로 속이고, 목소리·영상을 합성하고, 침투 후 자산을 찾아내는 일을 사람 없이 자동화하면서, “사기를 for 루프로 돌릴 수 있는 세계” 가 열린다. 비용의 전제 위에 세워진 우리의 직관과 제도는 아직 재보정되지 않았다.

왜 이 글을 골랐나

대부분의 AI 담론은 “LLM이 코드를 짜고, 글을 쓰고, 일을 대신한다”는 생산성의 렌즈로 흐른다. 이 글은 똑같은 능력 — 조사·맞춤화·합성·자동화 — 을 공격자의 손에 쥐여주면 무엇이 무너지는지를 끝까지 따라간다.

특히 인상적인 건 저자가 기술 자랑을 하지 않는다는 점이다. 그는 경제학으로 말한다. 우리가 안전하다고 느꼈던 이유는 보안이 견고해서가 아니라 “나를 노릴 만큼 가치 있지 않았기” 때문이었고, 그 전제를 떠받치던 것이 공격의 비용이었다. LLM은 바로 그 비용을 무너뜨린다. 개발자라면 누구나 안다 — 어떤 작업의 한계비용이 0에 수렴하면, 그 위에 세워졌던 모든 가정이 다시 검토되어야 한다는 것을. 이 글은 그 가정 재검토를 보안의 영역에서 수행한다.

핵심 내용

원문은 1973년 영화 The Sting(스팅)의 사기 단계 — Set-Up, Hook, Tale, Wire, Shut-Out, Sting — 를 섹션 제목으로 빌려 구성된다. 그 모티프를 살려 정리한다.

The Set-Up — 한 편의 시나리오

나쁜 고용 시장에서 구직 중인, 보수 좋고 기술에 밝은 전문가가 있다. LinkedIn 리크루터가 평판 좋은 회사의 완벽하게 맞춤화된 자리를 제안한다. 스크리닝 콜은 순조롭고, 표준 NDA가 legaltech SaaS 플랫폼으로 도착한다. 엔터프라이즈 SSO로 로그인해 서명한다. 면접도 잘 풀리지만 “다른 사람이 채용됐다”는 통보를 받는다. 6개월 뒤, 그 전부가 사기였음을 알게 된다. 신원이 도용되고, 내 이름으로 개설된 카드로 수천 달러가 결제되고, 증권 계좌가 일부 비워졌으며, 이메일과 계정에서 잠겨버렸다. 스스로를 “보안에 밝고 사기에 안 넘어가는 사람”으로 여겼기에 더 당혹스럽다.

The Hook — 침투는 어떻게 이루어졌나

공격 지점은 NDA 서명 플랫폼의 로그인이었다. “sign in with " 흐름이 진짜처럼 보이는 가짜 Google/iCloud 로그인(이메일은 미리 채워진)으로 유도하고, 비밀번호를 가로채고, 사용자의 "예 누르기" 2FA를 **실제 계정으로 중계(relay)** 해 로그인한 뒤 세션 쿠키를 저장한다. 사용자에게는 정상 로그인 화면만 보인다.

이후 공격자는 탐지되지 않은 접근을 유지하며 패턴을 관찰하고, 경고 이메일을 미리 걸러내 알림이 도달하지 못하게 한다(“불을 지르기 전에 화재경보기부터 꺼둔다”). 클라우드 파일을 내려받고 카드를 개설한다. 침투가 끝난 뒤의 면접과 탈락 통보는 의심을 피하고 자격증명을 더 오래 쥐기 위한 연극이었다.

돈을 빼내는 건 어렵다. 현대 금융 시스템에는 보호장치가 많고, 대부분의 금전 사기는 피해자가 자발적으로, 되돌릴 수 없는 방식으로 송금하도록 설득해야 하는데 기술에 밝은 사람은 잘 넘어가지 않는다. 그러나 지속 접근 덕분에 공격자는 급여가 자동으로 흘러드는 — 그러나 잘 들여다보지 않는 — 증권 계좌를 발견한다. 비밀번호를 재설정하고, 이체 계좌를 추가하고, 소액 이체 패턴을 만들어두었다가, 캘린더로 알아낸 휴가 기간에 맞춰 자금을 빼내고(추적 어려운 머니 뮬을 경유), 마지막에 사용자를 잠가버린다.

이 모든 게 불확실한 보상을 노린 엄청난 인간 노동처럼 들린다. 반전은 여기다 — 이 공격 전체를 LLM 하나가 기획하고 수행했다. 대상을 조사하고, 맞춤형 공격을 설계하고, 가짜 LinkedIn 계정·가짜 서명 사이트·그럴듯한 도메인을 조립하고, 모든 텍스트·음성·영상을 합성하고, 침투 후 가장 잘 착취할 지점(증권·AWS 과금·암호화폐·데이터 인질극)을 찾아냈다. 구직은 그저 그 사람에게 들어맞은 구실이었을 뿐이다. 다른 사람에겐 경찰의 전화, 도움을 청하는 친척, 은행 메일, 혹은 천천히 타오르는 로맨스였을 것이다. “구실은 매번 바뀌지만, 그 뒤의 기계장치는 동일하다.”

The Tale — 사기는 왜 이분화되어 있었나

역사적으로 사기는 두 봉우리로 나뉘었다.

  1. 싼 살포형 — 덜 영악한 소수를 낚으려는 스팸. 이메일은 공짜다. “나이지리아 왕자” 클리셰가 존재하는 이유는, 영악한 마크가 일찌감치 스스로 걸러져 나가게 만들기 위해서다(편지를 주고받는 노동은 공짜가 아니므로).
  2. 비싼 표적형 — “수고할 가치가 있는” 사람을 겨냥. 보통 개인 저축이 아니라 조직의 권한을 노린다(홍콩 Arup사의 $25M 딥페이크 CFO 사기처럼).

기술에 밝은 사람은 보안 모범사례로 1번을 대부분 피한다. 2번에 대해선 대부분 “나는 수고할 가치가 없다”고 여긴다. 정교한 사기는 병렬화되지 않기 때문이다 — 범죄자가 되려는 숙련된 사람이 필요하다. “곰한테서 도망칠 필요 없다, 옆 사람보다만 빠르면 된다”는 논리다. 저자는 James Mickens의 유명한 “Mossad / not-Mossad” 구절(좋은 비밀번호면 not-Mossad는 막지만 Mossad 앞에선 끝장)을 인용하되, Mickens는 국가 행위자를 말한 것임을 짚는다.

핵심은 이것이다. 공격자의 역량은 이분화되어 있었고 — “비표적×싸다”와 “표적×비싸다”에 몰려 있었으며 — “표적형을 대규모로”는 작동하지 않았다. 그런데 정정이 필요하다. LLM이 분포의 가운데를 채운다. 2024년 논문(Heiding et al)은 LLM 스피어피싱이 이메일당 약 4센트임을 보였다. 면접 사기는 더 비싸겠지만 여전히 남는 장사일 가능성이 높고, 2026년 모델은 훨씬 낫다. 소름 돋는 건 확장된다는 점이다 — 수천 건을 동시에 돌리고, 각 개인을 조사해 그 사람의 도시에(dossier)에서 맞춤 사기를 뽑아낸다. “우리는 이제 사기를 for 루프로 돌릴 수 있는 세계에 있다.”

The Wire — LLM이 이미 가진 능력들

예전엔 표적마다 숙련된 사람의 상당한 노동이 필요했던, 그러나 지금 LLM이 가진 사기 관련 능력의 일부 목록:

  • 마크 조사하기
  • 모든 커뮤니케이션을 개인 맞춤화하고 동적으로 적응시키기
  • 신뢰받는 사람(친척)의 목소리 복제
  • 실시간 화상통화 딥페이크
  • 뒷받침하는 가짜 웹 존재(web presence) 구축
  • 침투한 자원을 실시간 감시하며 사기를 동적으로 키워가기
  • 마크의 더 나은 선별·발굴
  • 시그니처 기반 스팸 필터 회피(Heiding et al)
  • 패치되지 않은 소프트웨어의 알려진 CVE 익스플로잇 스캔·연쇄

이것들은 오늘 존재하며, 천장이 아니라 바닥이고, 싸다(“사기를 for 루프로”). 확장은 세 가지를 푼다.

  1. 인내(patience) — 몇 달, 몇 년 휴면하며 멀리 떨어진 여러 사기를 층층이 쌓을 수 있다.
  2. 합성(composition) — 여러 전선에 걸쳐 사기를 복합해 보호장치를 무력화한다(예: 머니 뮬을 모집하는 작은 사기가 추적 불가능한 인출을 가능케 한다). The Sting에서 Henry Gondorff가 당구장, 장비, 변장, 50명을 동원해야 했던 일이 이제는 한 줌의 토큰으로 된다.
  3. 새로운 표적(new targets) — 천 명의 침투된 마크는 곧 플랫폼 내부의 천 개의 인증된 위치다. “최적의 사기량은 0이 아니다(the optimal amount of fraud is nonzero)” — 플랫폼은 계산된 이득을 위해 빈틈(seam)을 용인한다. 그러나 천 개의 계정이 합심해 그 빈틈을 노리면 계산이 바뀐다. 용인되던 솔기가 벌어진 구멍이 된다.

이 모두를 엮는 데엔 아직은 기술이 필요하다. 그러나 결국 누군가 재사용 가능한 도구를 만들어 사기꾼 마켓플레이스(Genesis Market 류)에 팔 것이다 — “사기판 스크립트 키디(script kiddies)” — 어쩌면 이미. “미래는 이미 와 있다, 다만 고르게 분포되지 않았을 뿐(William Gibson).” 능력은 존재하고 일부 사기꾼은 이미 배치했지만, 아직 보편적이지 않기에 우리의 — 그리고 핵심 서비스를 제공하는 기업의 — 휴리스틱이 재보정되지 않았다.

The Shut-Out — 우리의 직관은 왜 무너지는가

우리의 휴리스틱: 가족이 문자하면 전화·영상으로 확인한다. 모르는 사람이 갑자기 연락하면 검색해본다. 한가한 대화가 영향력 있는 요구로 바뀌는 변곡점을 경계한다.

이게 왜 통했나? 일부는 비용의 대리지표였다 — 유창하고 개인화된 글은 진짜 사람이라는 신호이고, 강한 웹 존재는 노동이 든다(설마 나 하나에 그 돈을 쓰진 않겠지). 다른 일부는 역량의 척도였다 — 사기꾼이 친척을 통화로 흉내 낼 순 없고, 영상 속 사람은 진짜이며 경찰이 식별 가능했다. 두 토대가 모두 무너지면서 휴리스틱이 깨진다.

더 나쁜 건, 우리는 무엇이든 진짜임을 확신하기 위해 이 휴리스틱들이 필요했다는 점이다. 이제 우리는 거짓말쟁이의 배당(liar’s dividend) 을 떠안는다 — 긴급히 돈이 필요하다는 가족이 진짜인지, 딥페이크로 침해된 것인지 확신할 수 없고, 검증에는 훨씬 큰 수고가 든다.

제도에도 휴리스틱이 있다. 미국 소비자 금융(Regulation E)은 누가 이체를 승인했는가에 빨간 선을 긋는다 — 누군가 접근을 얻어 이체했다면 은행이 피해를 메워준다(make whole). 그러나 당신이 설득당해 돈을 옮겼다면, 범죄 신고는 할 수 있어도 누구도 메워줄 의무는 없다. 이는 “비밀번호 탈취”가 수작업 표적형 “돈을 보내세요” 사기보다 쉬웠던 시절엔 합리적이었다. 그러나 그 전제가 바뀌고 있다.

The Sting — 그래서 무엇을 할 것인가

모든 휴리스틱을 11단계까지 끌어올리는 건 답이 아니다. 그것들은 이제 싸게 위조되는 무언가의 대리지표였기 때문이다. 비유: 자라면서 교사들은 위키피디아를 금지했다(편집 가능하고 틀릴 수 있으니) — 그러나 그건 “잘못된 방향의 교정”이었다. 옳은 수는 옛 세계에 매달리는 게 아니라 새 휴리스틱을 세우는 것(출처 확인, 교차 검증)이었다. 옛 휴리스틱을 고수한 사람들(흔히 윗세대)은 거짓정보에 더 쉬운 표적이 됐다.

그러니 휴리스틱을 다시 개선한다.

  1. 사기의 공통 골격을 탐지하라 — 긴급함(urgency), 비밀유지(secrecy), 비정상 채널(unusual channels). 오늘의 화법은 어설프지만 대규모 조사가 그걸 다듬을 수 있다. 그래도 “요구는 요구다(an ask is an ask)” — 골격 자체는 사라지지 않는다.
  2. 더 많은 채널로 검증하라 — 가족과 구두 암호(spoken password) 를 정해두길 강력 권장한다. 없다면 기록에 남지 않았을 과거 사건을 참조하라. 기술에 덜 밝은 가족에겐: “내가 심각하거나·긴급하거나·비밀스러운 일로 전화하면, 강하게 의심하고, 끊고, 다른 채널로 확인하라.”

저자는 실제 일화를 나눈다. 아는 사람과 금융 거래를 하기 전, “LLM 시대의 조심성”을 이유로 영상통화를 청했더니 상대가 “언제쯤 이런 질문을 받을까 했다”며, 몇 해 전 통화의 구체적이고 기억할 만한 순간을 언급하며 통화를 열었다고.

거친 규칙 하나: 당신이 받는 커뮤니케이션의 진위는 믿을 수 없지만, 당신이 의도적으로 보내는 곳은 대체로 믿을 수 있다. 내가 작성한 이메일은 그 받은편지함에 닿고, 내가 건 전화는 그 기기에 닿는다. 그러나 from: 헤더와 발신자 표시(caller ID)는 위조 가능하다.

휴리스틱 너머로는 보안 모범사례를 따른다 — SMS나 인증 앱이 아니라 하드웨어 2FA(FIDO2/WebAuthn). 도메인이 암호학적 교환에 묶이므로 피싱 사이트가 서명을 통과시킬 수 없다. 저자는 제도와 시스템이 결국 적응해 더 나은 보호장치를 세우리라 기대한다(방어자도 같은 능력을 얻는다 — Mozilla의 AI Firefox 레드팀, Android의 사칭 통화 탐지). 그러나 시간이 걸리고 군비경쟁이 될 것이며, 그동안 사기는 폭증할 것이다.

맺음말: “사기의 미래는 이미 와 있다. 다만 아직 고르게 분포되지 않았을 뿐이다.”

분석과 인사이트

원문 요약은 위까지다. 여기서부터는 내 관점이다.

  • 이 글의 진짜 무기는 기술이 아니라 경제학이다. 딥페이크나 음성복제가 가능하다는 사실 자체는 새롭지 않다. 저자의 통찰은 공격의 한계비용이 0에 수렴하면 분포의 모양이 바뀐다는 것이다. “표적×비싸다”가 “표적×싸다”로 이동하는 순간, “나는 노릴 가치가 없다”는 우리 모두의 안전 가정이 통째로 무효가 된다. 엔지니어에게 익숙한 사고다 — 비용 곡선이 평평해지면 그 위의 모든 설계 결정을 다시 봐야 한다.
  • 가장 무서운 능력은 딥페이크가 아니라 “인내”와 “지속 감시”다. 목소리·영상 합성은 자극적이지만, 정작 시나리오에서 돈을 빼낸 건 침투 후 몇 달간 패턴을 관찰하고, 알림을 미리 거르고, 잘 안 보는 계좌를 찾아내, 휴가에 맞춰 움직인 끈질김이었다. 사람은 천 명을 동시에 몇 달씩 감시할 수 없다. LLM은 할 수 있다. 확장이 곧 인내를 푼다는 지적이 이 글의 백미다.
  • “받는 것은 못 믿고, 보내는 것은 믿는다”는 규칙은 실무적으로 가장 값진 한 줄이다. 인증의 방향성을 뒤집는 발상이다. 사칭은 수신 채널을 위조하지만, 발신은 위조하기 어렵다. 이것이 바로 FIDO2/WebAuthn이 도메인을 암호학적 교환에 묶는 이유와 같은 원리다 — 피싱 사이트가 “내가 보낸 신뢰”를 가로챌 수 없게 만든다. 휴리스틱(구두 암호)과 기술(하드웨어 키)이 같은 철학을 공유한다.
  • 개인 보안 조언으로 끝나지 않는다는 점이 중요하다. “the optimal amount of fraud is nonzero” — 플랫폼이 의도적으로 용인하던 빈틈이, 천 개의 인증된 계정이 합심할 때 위기로 바뀐다는 통찰은 개인이 아니라 시스템 설계자를 향한다. 우리가 만드는 서비스의 사기 허용치(fraud tolerance)는 “공격을 조율하는 인간 노동이 비싸다”는 전제 위에 계산되어 있다. 그 전제가 무너졌다면, 임계값도 다시 계산되어야 한다.
  • 유일하게 아쉬운 건, 방어 측 적응의 구체성이다. 저자는 정직하게 “결국 적응하겠지만 시간이 걸리고 군비경쟁”이라 말하지만, 개인이 오늘 할 수 있는 일(구두 암호, 하드웨어 키)에 비해 제도가 무엇을 어떻게 바꿔야 하는지는 열린 질문으로 남는다. Regulation E의 “누가 승인했나” 경계선이 흐려질 때 그 비용을 누가 질 것인가 — 저자도 각주로 “은행이 다 메워주는 것도 정답은 아니다(사기당하기 쉬운 사람을 거부할 수 있다)”고 인정한다. 이건 글의 약점이라기보다 우리에게 넘겨진 숙제다.

적용 포인트

  • 가족·가까운 사람과 “구두 암호(spoken password)”를 지금 정해둔다. 긴급·비밀·금전이 얽힌 연락은 끊고 다른 채널로 검증한다는 규칙도 함께 합의한다.
  • 2FA를 SMS·인증 앱에서 하드웨어 키(FIDO2/WebAuthn)로 올린다. 도메인이 암호학적으로 묶여 피싱 중계(relay)를 원천 차단한다.
  • “받는 것은 못 믿고, 보내는 것은 믿는다”를 검증의 기본 규칙으로 삼는다. 의심스러우면 상대가 준 링크·번호를 쓰지 말고, 내가 아는 공식 채널로 내가 먼저 연락한다.
  • 사기의 골격(긴급·비밀·비정상 채널)을 트리거로 학습한다. 내용이 아무리 그럴듯해도 이 셋이 겹치면 일단 멈춘다.
  • (시스템 설계자라면) 사기 허용치를 재계산한다. “공격 조율은 비싸다”는 전제로 잡아둔 임계값을, “천 개의 인증된 계정이 합심할 수 있다”는 가정으로 다시 본다.

마무리

이 글은 AI 공포 마케팅이 아니다. 비용이라는 한 변수가 무너질 때, 그 위에 세워진 직관과 제도가 어떻게 함께 무너지는지를 차분히 추적한 보안 에세이다. 우리가 안전했던 이유는 견고함이 아니라 “노릴 가치가 없음”이었고, LLM은 바로 그 계산을 바꾼다. 정답은 옛 휴리스틱을 더 세게 쥐는 것이 아니라 — 위키피디아를 금지했던 교사들처럼 잘못된 방향으로 교정하는 것이 아니라 — 새 휴리스틱과 더 나은 기술로 갈아타는 것이다. 사기의 미래는 이미 와 있다. 고르게 분포되기 전에, 우리 쪽 직관부터 재보정해야 한다.

더 읽어보기