Spark 셔플 · 파티셔닝 · 성능 튜닝: 스큐 · 스필 · 조인 전략
Spark에서 가장 비싼 연산인 셔플을 줄이고 다스리는 성능 튜닝을 파고듭니다. 파티션 수·repartition/coalesce·파티션 프루닝, 한 키 쏠림이 부르는 데이터 스큐(salting·AQE skew join)와 메모리를 넘겨 디스크로 흘리는 스필(spill) 진단, 그리고 broadcast·sort-merge·shuffle-hash 조인 전...