CS336 2강 — PyTorch와 자원 회계: 6ND와 메모리를 냅킨에 계산하기
Stanford CS336 2강 정리. 모델을 '느낌'이 아니라 숫자로 다루는 자원 회계 — 메모리(부동소수점 타입·AdamW의 16바이트/파라미터)와 연산(행렬곱 2mnp → 학습 6ND), 그리고 MFU까지 냅킨 한 장으로 계산합니다.
모든 포스트
전체 344개의 출정 기록을 최신순으로 — 221–240번째 (12 / 18쪽)
CS336 1강 — 개요와 토크나이제이션: BPE를 밑바닥부터
Stanford CS336 1강 정리. 코스를 관통하는 한 단어 '효율'에서 출발해, 텍스트를 토큰으로 바꾸는 토크나이제이션을 문자·바이트·단어 방식의 한계부터 BPE(Byte Pair Encoding) 밑바닥 구현까지 따라갑니다.
CS336: 밑바닥부터 만드는 언어 모델 — Essential Curriculum
Stanford CS336 'Language Modeling from Scratch'(2025 봄) 17개 강의를 토크나이저·아키텍처·시스템·스케일링·데이터·정렬의 5개 유닛, 17단계로 재구성한 종합 학습 로드맵입니다. 도장깨기 방식으로 LLM을 밑바닥부터 직접 만드는 여정을 추적합니다.
스타트업의 진짜 문제는 번레이트가 아니라 '지출 가시성'이다 (The Next Web)
The Next Web에 실린 'Most startups don't have a burn problem. They have a decision problem'을 골라, 스타트업 실패의 표면 원인(번레이트)과 근본 원인(지출·운영 가시성의 결여)을 분리해 분석한다. 이 글이 Spendbase가 제공한 스폰서드 콘텐츠(네이티브 광고)라는 점까지 함께 짚어...
DataOps·운영·신뢰성: 데이터 시스템을 소프트웨어처럼 운영하기
데이터 파이프라인에 버전 관리·자동 테스트·환경 분리·자동 배포(DataOps/CI-CD)를 입히고, SLA/SLO/SLI와 경보·장애 대응·FinOps로 신뢰성을 지키며, 최소 권한·마스킹·암호화·규정 준수로 데이터를 안전하게 운영하는 법을 다룹니다. 시리즈의 마지막 10단계.
데이터 품질·거버넌스·관측가능성: 믿을 수 있는 데이터 만들기
품질 차원과 검증(Great Expectations·dbt tests·데이터 계약), 리니지·카탈로그(DataHub·OpenMetadata), 그리고 관측가능성의 5축(신선도·볼륨·스키마·분포·리니지)을 통해 '파이프라인이 돈다 ≠ 데이터가 맞다'는 간극을 어떻게 메우는지 다룹니다.
사례별 파이프라인 설계: 실시간 분석·이벤트·ML 피처·CDC
실시간 분석·로그/이벤트·ML 피처·CDC 리포팅이라는 네 가지 대표 시나리오를 요구사항(지연·정확성·규모) → 설계(수집·저장·처리·오케스트레이션 선택) → 트레이드오프의 순서로 풀어, 앞 단계에서 배운 개념을 실제 파이프라인 설계로 연결합니다.
데이터 아키텍처 패턴: Lambda·Kappa·Medallion·Data Mesh
Lambda·Kappa의 배치/스트림 경로 설계부터 Bronze→Silver→Gold로 품질을 끌어올리는 Medallion, 그리고 Modern Data Stack과 도메인 중심의 Data Mesh까지 — 데이터 시스템을 떠받치는 대표 아키텍처 패턴을 그 트레이드오프와 함께 정리합니다.
오케스트레이션(Orchestration): DAG·스케줄링과 견고한 파이프라인
수많은 데이터 작업을 DAG로 모델링하고 의존성·스케줄에 따라 실행하는 오케스트레이션의 원리, Airflow와 Dagster·Prefect의 철학 차이, 그리고 멱등성·재시도·백필·체크포인트로 견고한 파이프라인을 만드는 법을 다룹니다.
데이터 변환·처리(Processing): 배치·스트림 엔진과 SQL 변환
MapReduce에서 인메모리·DAG 실행의 Spark로 이어진 분산 처리 모델, 이벤트 시간·워터마크·윈도잉으로 무한 스트림을 다루는 Flink/Kafka Streams, 그리고 SQL 변환을 소프트웨어처럼 관리하는 dbt까지 — 저장된 데이터를 가치로 바꾸는 처리 엔진을 정리합니다.
데이터 저장(Storage): 웨어하우스·레이크·레이크하우스와 파일·테이블 포맷
OLTP와 OLAP, 행 지향과 열 지향 저장의 차이부터 데이터 웨어하우스·레이크·레이크하우스의 선택 기준, Parquet/ORC/Avro 같은 파일 포맷과 Iceberg/Delta/Hudi 같은 테이블 포맷까지 — 데이터를 '어디에 어떤 형태로' 쌓을지를 한 층씩 풀어냅니다.
데이터 수집(Ingestion): 배치·스트리밍·CDC와 수집 도구
원천에서 데이터를 가져오는 수집 단계 — 배치 vs 스트리밍의 트레이드오프, 로그 기반 vs 쿼리 기반 CDC, Kafka·Kinesis 같은 스트리밍 플랫폼의 버퍼·디커플링 역할, 그리고 Airbyte·Fivetran 같은 수집 도구의 build vs buy 판단까지 다룹니다.
데이터 파이프라인의 역사와 진화: ETL에서 Lakehouse까지
데이터 웨어하우스에서 Hadoop·데이터 레이크, ETL에서 ELT로의 전환, 그리고 Modern Data Stack과 레이크하우스·스트리밍까지 — 데이터 파이프라인이 각 시대의 한계를 어떻게 풀어 왔는지 그 진화의 맥락을 짚습니다.
데이터 엔지니어링이란: 수명주기와 데이터 엔지니어의 역할
데이터 엔지니어링의 정의와 데이터 엔지니어의 역할, 그리고 모든 데이터 작업을 꿰뚫는 데이터 엔지니어링 수명주기(생성→수집→저장→변환→서빙)와 저류(Undercurrents)를 깊이 있게 다룹니다.
Data Engineering Essential Curriculum
데이터 엔지니어링의 정의와 역사부터 수집·저장·처리·오케스트레이션 기술 오버뷰, 사례별 파이프라인 설계, 품질·거버넌스·DataOps까지 10단계로 정복하는 종합 학습 로드맵입니다. 도장깨기 방식으로 진행 상황을 추적합니다.
Bumblebee: 공급망 사고가 터졌을 때 '어느 개발자 머신이 노출됐나'를 답하는 스캐너
Perplexity가 오픈소스로 공개한 Go 기반 도구 Bumblebee(perplexityai/bumblebee)를 분석·정리한다. 권고문(advisory)이 특정 패키지·버전을 지목했을 때 '지금 어느 개발자 머신의 디스크에 그게 남아 있나'를 빠르게 매칭하기 위한 읽기 전용 인벤토리 스캐너로, SBOM과 EDR 사이의 빈 칸을 메우는 도구다.
딥러닝의 원리를 '유효 이론'으로 풀다: The Principles of Deep Learning Theory (Roberts·Yaida·Hanin)
Daniel A. Roberts, Sho Yaida, Boris Hanin의 책/논문 'The Principles of Deep Learning Theory'(arXiv:2106.10165)를 소개·분석한다. 물리학의 유효 이론(effective theory) 관점에서 깊고 넓은 신경망을 무한폭 가우시안 한계와 1/n 유한폭 보정으로 전개하는 이 작업...
소프트웨어 아키텍처는 어떻게 배우나: 콘웨이 법칙과 인센티브 (matklad)
rust-analyzer를 만든 Aleksey Kladov(matklad)의 'Learning Software Architecture'를 정리·분석한다. 아키텍처는 강의가 아니라 실전에서 배우며, 코드보다 아키텍처가, 아키텍처보다 조직의 인센티브 구조(콘웨이 법칙)가 더 결정적이라는 글이다.
취업도 소프트웨어도 망가졌다: AI가 채용 과정을 어떻게 적대적으로 만들었나 (한 해고 엔지니어의 기록)
Blizzard에서 7년 일하다 정리해고된 한 엔지니어가 6개월째 구직하며 쓴 'Jobs and Software is Fucked'를 정리·분석한다. AI가 채용 과정의 최악의 면들을 어떻게 증폭시켰는지, 자동 스크리닝의 모순, 그리고 '엔지니어로서의 존엄'을 지키겠다는 거부의 의미를 짚는다.
바이브 코딩과 에이전틱 엔지니어링이 내가 바라던 것보다 가까워지고 있다 (Simon Willison)
Simon Willison의 'Vibe coding and agentic engineering are getting closer than I'd like'를 분석한다. '코드를 안 보고 만드는 바이브 코딩'과 '전문성을 쥔 채 AI를 쓰는 에이전틱 엔지니어링'을 칼같이 구분해 온 저자가, 에이전트가 믿을 만해질수록 자기도 모든 줄을 리뷰하지 않게 되면...