Stage 7 · 실전 통합 — AIR 파이프라인 · concurrency 종합 · Job 간 동시성
1~6단계를 하나의 엔드투엔드 ML 파이프라인(Ray AIR)으로 조립합니다. Data→Train→Tune→Serve를 한 스크립트로 잇고 HTTP로 최종 호출하며, 지금까지 배운 concurrency 처리(워커 풀·Job 내부/간 동시성)를 종합하고 KubeRay 확장 전망을 살펴봅니다.
태그: python
'python' 태그가 포함된 27개의 포스트
Stage 6 · 실전 통합 — 웹 크롤러 · 워커 풀 · 비동기 I/O
배운 모든 것을 통합하는 실전 프로젝트 — 대량 URL을 크롤링하는 워커 풀을 Python(asyncio·재사용)과 Go(고루틴·채널)로 각각 구현하고, 처리량·메모리·코드 복잡도를 비교·회고하며 시리즈를 마무리합니다.
Stage 6 · Ray Serve 서빙 — 로컬 모델 배포 · 스케일/동시성
앞선 Stage 5에서 학습한 모델을 Ray Serve로 로컬 HTTP 엔드포인트에 배포합니다. @serve.deployment와 serve.run으로 모델을 띄우고, deployment graph와 FastAPI 인그레스로 여러 모델을 조합하며, 로컬 스케일(num_replicas·배칭·동시성)과 그 주의점을 다룹니다.
Stage 5 · 통신 — Queue · Pipe · Channel · select
동시성의 또 하나의 큰 축, 메시지 전달 — Python queue.Queue/multiprocessing.Queue/Pipe와 Go channel+select를 비교하고, Fan-out/Fan-in 파이프라인 패턴으로 대량 작업을 분배하고 수집합니다.
Stage 5 · Ray Train 분산 학습 — 데이터 샤딩 · 체크포인트
PyTorch 모델을 노트북에서 N개 워커로 분산 학습합니다. TorchTrainer와 ScalingConfig로 워커 수를 정하고, 각 워커가 데이터의 서로 다른 '샤드'를 받는 원리(get_dataset_shard·DistributedSampler), 그리고 체크포인트 저장·복원을 실습합니다.
Stage 4 · 동기화 — Lock · Semaphore · Deadlock
여러 실행 단위가 공유 상태에 접근할 때 데이터 레이스를 막는 동기화 — Python Lock/RLock/Semaphore/Event와 Go sync.Mutex/atomic/WaitGroup을 비교하고, 반드시 피해야 할 데드락 4대 조건을 다룹니다.
Stage 4 · Ray Tune 튜닝 — 하이퍼파라미터 자동화
머신러닝 모델의 하이퍼파라미터 탐색을 Ray Tune으로 코어 수만큼 병렬 자동화합니다. Tuner와 탐색 공간 정의부터 ASHA/HyperBand 조기 종료, 그리고 하나의 코어에 여러 트라이얼을 얹는 오버서브스크라이빙까지 로컬 활용 전략을 실습합니다.
Stage 3 · 병렬화 — Multiprocessing · 고루틴 병렬
CPU-집약 작업을 진짜 병렬로 돌리는 방법 — Python multiprocessing/ProcessPoolExecutor로 GIL을 우회하고, Go의 GOMAXPROCS와 데이터 레이스의 위험성을 같은 소수/해시 벤치마크로 비교합니다.
Stage 3 · Ray Data 파이프라인 — block/샤딩 · batch 변환
대용량 데이터 전처리를 Ray Data로 분산 파이프라인화합니다. 'DB shard = Ray Data block'이라는 멘탈 모델을 세우고, repartition·split·map_batches로 병렬도를 제어하며 수 GB CSV/Parquet를 로컬에서 처리하는 전략을 익힙니다.
Stage 2 · 경량 스레드 — Python Threading · Go Goroutine
I/O-집약 작업을 처리하는 핵심 도구 — Python threading이 GIL 아래에서도 왜 I/O엔 효과적인지, 그리고 Go의 고루틴이 왜 스레드보다 훨씬 가벼운지(M:N 스케줄러)를 같은 크롤링 벤치마크로 비교합니다.
Stage 2 · Actor와 동시성 — 분산 객체 · in-process concurrency
Ray의 상태를 가진 분산 객체 모델인 Actor를 배웁니다. Counter 액터의 생명주기부터, Job 내부의 in-process 동시성(threaded vs async 액터와 `max_concurrency`), 그리고 고정 워커 풀인 ActorPool까지 실습하며 상태·동기화·동시성의 선택지를 정리합니다.
Stage 1 · 동시성 기초 — 프로세스 vs 스레드 vs 비동기
동시성 학습의 출발점 — 운영체제가 프로그램을 실행하는 방식(프로세스·스레드·컨텍스트 스위치)을 이해하고, 동시성 vs 병렬성의 차이와 Python/Go가 채택한 동시성 모델을 개괄합니다.
Stage 1 · Ray 기본과 로컬 설치 — Task · ObjectRef · raylet/Worker
Ray를 한 대의 노트북에서 시작합니다. 단일 노드가 곧 완전한 클러스터라는 전제를 세우고, `@ray.remote` Task와 ObjectRef로 GIL을 초월한 CPU 병렬화를 체험하며, raylet(스케줄러)과 Worker(실행 프로세스)의 구분과 오브젝트 스토어의 동작을 이해합니다.
Concurrency Essential Curriculum
Python과 Go를 짝지어 멀티프로세싱·멀티스레딩·비동기를 정복하는 종합 학습 로드맵입니다. 동시성 기초부터 동기화, 통신, 실전 통합 프로젝트까지 6단계로 도장을 깨며 나아갑니다.
Ray Essential Curriculum
한 대의 노트북에서 Ray의 분산 실행·데이터 파이프라인·분산 학습·하이퍼파라미터 최적화·서빙을 모두 손으로 체득하는 로드맵입니다. Task/Actor/샤드의 멘탈 모델부터 Data→Train→Tune→Serve 통합 프로젝트까지 7단계로 도장을 깨며 나아갑니다.
Asyncio Eventloop Optimization
Python asyncio 이벤트 루프의 작동 원리를 이해하고, 동시성 처리 성능을 극대화하는 최적화 기법을 학습합니다. 실전 웹 크롤러 최적화 프로젝트 포함.
Django 와 Celery 를 이용한 대규모 작업 분산처리
Django와 Celery를 활용하여 대규모 작업을 효율적으로 분산 처리하는 방법과 AMQP 메시지 브로커를 통한 비동기 작업 관리 기법을 다룹니다.
Python Memory Optimization
Python 애플리케이션의 메모리 사용량을 최적화하는 필수 기법과 모범 사례를 학습합니다. 메모리 프로파일링, 데이터 구조 선택, 가비지 컬렉션 관리 등을 다룹니다.
Python Profiling
Python 애플리케이션의 성능 병목 지점을 찾고 최적화하기 위한 프로파일링 도구와 기법을 알아봅니다.
Python exception internals 로깅 및 Stack trace 분석
Python의 예외 처리 내부 구조와 로깅 메커니즘, 그리고 Stack trace 분석 방법을 상세히 다룹니다.
Python Bytecode
Python이 코드를 효율적으로 실행하기 위해 사용하는 중간 표현인 바이트코드에 대해 알아봅니다.
Python Import System Deepdive
Python의 import 시스템 내부 동작 원리를 깊이 있게 탐구합니다. sys.modules, importlib, meta path finder, 그리고 lazy import까지 상세히 다룹니다.
Python GIL
Python GIL의 작동 원리, Thread/Process/Async 비교, 그리고 Python 3.14 free-threaded 공식 지원(PEP 779)과 실전 벤치마크를 코드 예제와 함께 상세히 설명합니다.
Python 메모리 구조와 객체 모델
Python 메모리 구조, 참조 카운팅, 가비지 컬렉션, __slots__, weakref 등 CPython의 메모리 관리 메커니즘을 6개의 다이어그램과 함께 상세히 설명합니다.
Python engineer job description
Python Backend Engineer 직무 기술서. Junior부터 Staff급까지 레벨별 역할, 책임, 기술 스택, 핵심 역량을 상세히 정리했습니다.
Technical competencies for Python engineer
10년차 Python 백엔드 엔지니어 기술 역량 로드맵. 언어 코어, 아키텍처, 데이터베이스, 인프라, 운영, 협업 등 전 영역을 체크리스트로 정리했습니다.
Python Advanced Competency Curriculum
10년차 백엔드 엔지니어를 위한 Python 심화 커리큘럼. Internals, 성능 최적화, 아키텍처, 테스팅, 운영 자동화, 코드 품질까지 실전 중심으로 구성했습니다.