홈 | Orc Hwang’s Wiki

최근 출정 기록

CS336 2강 — PyTorch와 자원 회계: 6ND와 메모리를 냅킨에 계산하기

2026년 06월 26일

llm pytorch flops resource-accounting cs336 language-modeling

Stanford CS336 2강 정리. 모델을 '느낌'이 아니라 숫자로 다루는 자원 회계 — 메모리(부동소수점 타입·AdamW의 16바이트/파라미터)와 연산(행렬곱 2mnp → 학습 6ND), 그리고 MFU까지 냅킨 한 장으로 계산합니다.

CS336 1강 — 개요와 토크나이제이션: BPE를 밑바닥부터

2026년 06월 26일

llm tokenization bpe cs336 language-modeling

Stanford CS336 1강 정리. 코스를 관통하는 한 단어 '효율'에서 출발해, 텍스트를 토큰으로 바꾸는 토크나이제이션을 문자·바이트·단어 방식의 한계부터 BPE(Byte Pair Encoding) 밑바닥 구현까지 따라갑니다.

CS336: 밑바닥부터 만드는 언어 모델 — Essential Curriculum

2026년 06월 26일

llm language-modeling cs336 deep-learning curriculum

Stanford CS336 'Language Modeling from Scratch'(2025 봄) 17개 강의를 토크나이저·아키텍처·시스템·스케일링·데이터·정렬의 5개 유닛, 17단계로 재구성한 종합 학습 로드맵입니다. 도장깨기 방식으로 LLM을 밑바닥부터 직접 만드는 여정을 추적합니다.

스타트업의 진짜 문제는 번레이트가 아니라 의사결정이다 (The Next Web)

2026년 06월 26일

articles startup business-model decision-making

The Next Web의 'Startups don't have a burn problem, they have a decision problem'을 골라, 스타트업의 위기를 '현금 소진(burn)'이 아니라 '의사결정의 질·속도'의 문제로 다시 보는 관점을 산업·실무 관점에서 분석·정리한다. (원문 본문은 발행처의 봇 차단으로 직접 수집하지 못해, 제목...

DataOps·운영·신뢰성: 데이터 시스템을 소프트웨어처럼 운영하기

2026년 06월 25일

data-engineering dataops ci-cd monitoring data-security

데이터 파이프라인에 버전 관리·자동 테스트·환경 분리·자동 배포(DataOps/CI-CD)를 입히고, SLA/SLO/SLI와 경보·장애 대응·FinOps로 신뢰성을 지키며, 최소 권한·마스킹·암호화·규정 준수로 데이터를 안전하게 운영하는 법을 다룹니다. 시리즈의 마지막 10단계.