모델 오케스트레이션과 평가 격차 (Model Orchestration Evaluation Gap)
한 줄 정리
- 벤치마크 성능이 높아 보여도 그것이 단일 모델의 지능인지, 여러 모델을 잘 조합한 하네스의 성능인지 구분해야 한다.
핵심 포인트
- 단일 모델 우열과 오케스트레이션 품질은 다른 질문이다.
- 발표 자료는 종종 둘을 섞어 보여 주기 때문에 실무 검토 시 구조를 분리해 봐야 한다.
- 향후 경쟁력은 모델 교체보다 라우팅·평가·검증 하네스에서 나올 수 있다.