EP 112. AI 반도체 안에서 일어나는 일들: KV Cache부터 Roofline까지
Summary
- HyperAccel 이진원 CTO와 함께 LLM inference의 핵심 원리를 처음부터 끝까지 짚어보는 심화 강의 편입니다.
Key Takeaways
- prefill과 decode의 차이, KV cache의 용량 문제, arithmetic intensity와 roofline analysis를 통해 왜 decode가 memory-bound가 될 수밖에 없는지, 그리고 SemiAnalysis InferenceX 벤치마크의 interactivity–thro
- AI Frontier Korea (노정석) 콘텐츠에서 다루는 실무 맥락에 맞춰 판단 기준을 제시했습니다.
- 성능/지연/비용 트레이드오프에서 실험 가정을 수치로 고정해야 의사결정 신뢰도를 확보할 수 있습니다.