왜 스킬이 졌을까?(feat. agent.md 의 비밀)
한 줄 요약
- 버셀 실험을 근거로 스킬보다 항상 문맥 안에 노출되는 agent.md가 더 높은 정확도를 보였다는 설명이다.
- 핵심은 정보의 품질보다도 AI가 그 정보를 실제로 “보게” 만드는 배치 방식이라는 점이다.
핵심 내용
- 버셀 실험에서 무지시 상태와 “스킬만 제공” 상태는 동일한 53점으로 효과가 거의 없었다고 설명한다.
- 스킬을 강제로 보게 했을 때 79점으로 개선됐지만, 눈앞에 놓인 agent.md 방식은 100점을 기록했다고 소개한다.
- 문제는 스킬 자체의 지식 품질보다 AI가 필요 시점에 문서를 꺼내 보지 않는 회수율에 있다는 해석이다.
- 새 기능을 다루는 프로젝트일수록 항상 보이는 현재 문맥 지침이 유리하다고 주장한다.
- 실무에서는 “좋은 매뉴얼 보관”보다 “반드시 읽히는 기본 지침 배치”가 더 중요하다는 결론이다.
JYP Labs 관점
- Hermes 스킬도 검색/호출 구조만으로는 누락될 수 있으므로, 프로젝트별 핵심 제약은 작업 문맥 가까이에 복제하는 설계가 필요하다.
- 대표님 워크플로에서는 agent contract, plan, README, slash command를 서로 보완하는 다층 하네스가 유효하다.
- 신규 도구 도입 시 “문서를 어디 두는가”를 운영 품질 문제로 취급해야 한다.
관련 문서
원문 위치
메모
- transcript stub를 구조화 문서로 교체했으며, 본문 전체 transcript 덤프는 제거했다.
- 영상은 버셀 실험 소개 중심이며, 수치와 사례는 transcript에 나온 범위만 사용했다.