HyperAccel 이진원 CTO와 함께 LLM inference의 핵심 원리를 처음부터 끝까지 짚어보는 심화 강의 편입니다.
핵심 내용
prefill과 decode의 차이, KV cache의 용량 문제, arithmetic intensity와 roofline analysis를 통해 왜 decode가 memory-bound가 될 수밖에 없는지, 그리고 SemiAnalysis InferenceX 벤치마크의 interactivity–thro
AI Frontier Korea (노정석) 콘텐츠에서 다루는 실무 맥락에 맞춰 판단 기준을 제시했습니다.
성능/지연/비용 트레이드오프에서 실험 가정을 수치로 고정해야 의사결정 신뢰도를 확보할 수 있습니다.
JYP Labs 관점
핵심 메시지를 JYP Labs 업무로 반영할 때는 “적용범위-실험-검증” 순으로 분해해 실행 지점을 정합니다.
영상의 주장만 따르기보다, 현재 팀의 KPI/리스크 맥락에서 재해석해야 실무 안정성이 확보됩니다.