OMW TOP 3 실행 후보 운영 로그
목적: 주간 OMW 수집 문서 → 실행 후보 TOP 3 루프의 추천 품질을 측정한다. 대표님 실제 선택률, 1주 내 산출물화율, 노이즈/중복/승인 경계 누락률을 기록해 v0.2 평가 기준을 개선한다.
1. 측정 기준
| 지표 | 정의 | 목표 |
|---|
| 추천 후보 수 | 해당 주 TOP 3로 제안한 후보 수 | 3 |
| 대표님 선택 수 | 대표님이 실행 승인·선택한 후보 수 | 1개 이상 |
| 선택률 | 대표님 선택 수 / 추천 후보 수 | 50% 이상 |
| 산출물화 수 | 1주 안에 문서·스킬·강의안·자동화 backlog로 전환된 후보 수 | 1개 이상 |
| 산출물화율 | 산출물화 수 / 추천 후보 수 | 50% 이상 |
| 출처/경로 누락률 | TOP 3 중 출처 경로가 누락된 후보 비율 | 0% |
| 운영 노이즈 포함률 | migration/reindex/system log 등이 포함된 비율 | 5% 이하 |
| 중복 후보 포함률 | 동일 주제 raw/processed 또는 유사 후보 중복 비율 | 10% 이하 |
| 승인 경계 누락률 | 외부 발송·삭제·공개·비용 발생 등 승인 필요 표시 누락률 | 0% |
2. 상태 값
| 상태 | 의미 |
|---|
proposed | TOP 3 후보로 제안됨 |
selected | 대표님이 선택/승인함 |
converted | 문서·스킬·강의안·자동화 backlog 등 산출물로 전환됨 |
deferred | 보류됨 |
discarded | 폐기됨 |
needs_review | 출처·권한·범위 확인 필요 |
3. 주간 기록 템플릿
### YYYY-Www / YYYY-MM-DD 실행
- 실행 cron/job: `weekly-top3-execution-candidates` / `2d2953885b4a`
- 대상 기간: YYYY-MM-DD ~ YYYY-MM-DD
- 평가 기준: [[omw-top3-evaluation-checklist-v0.2]]
- 추천 후보 수: 3
- 대표님 선택 수: 0
- 산출물화 수: 0
- 선택률: 0%
- 산출물화율: 0%
- 출처/경로 누락률: 0%
- 운영 노이즈 포함률: 0%
- 중복 후보 포함률: 0%
- 승인 경계 누락률: 0%
| 순위 | 후보 | 총점 | 유형 | 상태 | 산출물/후속 경로 | 확인 필요 |
|---|---|---:|---|---|---|---|
| 1 | | | | proposed | | |
| 2 | | | | proposed | | |
| 3 | | | | proposed | | |
결정/메모:
-
4. 운영 원칙
- 크론은 TOP 3를 추천할 때마다 이 문서에 주간 기록 블록을 추가한다.
- 대표님 선택 여부는 명시 응답이 있을 때만
selected로 바꾼다.
- 산출물화 여부는 실제 OMW 문서, Hermes skill, 강의안, 자동화 backlog 경로가 생겼을 때만
converted로 바꾼다.
- 불확실한 선택·산출물은 추측하지 않고
needs_review로 둔다.
- 4주 누적 후 선택률·산출물화율을 기준으로
omw-top3-evaluation-checklist-v0.2의 점수 임계값을 조정한다.
5. 주간 기록
2026-W24 / 2026-06-14 Sophie 수동 실행
- 실행 방식: Slack 승인 기반
jyp-five-ops-doc-action-runner
- 승인 범위: P0+P1
- 대상 기간: 2026-06-12 ~ 2026-06-14 KST
- 평가 기준: omw-top3-evaluation-checklist-v0.2 + 5개 운영문서 실행 후보 매핑
- 검토 후보 수: 30
- 선정 후보 수: 5
- 대표님 선택 수: 5
- 산출물화 수: 5
- 선택률: 100%
- 산출물화율: 100%
- 출처/경로 누락률: 0%
- 운영 노이즈 포함률: 0%
- 중복 후보 포함률: 20% — Loop/Agentic Engineering 후보 2건은 중복이 아니라 표준 보강용 상호 보완 사례로 유지
- 승인 경계 누락률: 0%
결정/메모:
- P0: Loop Engineering 표준과
loop-engineering-workflow-design skill에 human-in-the-loop 우선 기준을 반영했다.
- P0: 최근 3일 TOP5 선정·실행 결과를 이 로그에 기록했다.
- P1: ElevenLabs/AI 도입 실수 강의 후보와 AI-native 에이전시 사례 강의 후보를
wiki/teaching/modules/에 생성했다.
- 보류: Fable/Mithos 비용·보안 리스크는 영상 기반 주장이므로 공식 정책 확인 후 도구 검증 루프에 반영한다.
2026-W25 / 2026-06-15 정기 크론 실행
- 실행 cron/job:
weekly-top3-execution-candidates / cron 실행 컨텍스트
- 대상 기간: 2026-06-08 00:00 ~ 2026-06-15 09:00 KST
- 평가 기준: omw-top3-evaluation-checklist-v0.2
- 검토 후보 수: 2026-06-09 동시 mtime 대량 배치 제외 후 주요 후보 20건 내외
- 추천 후보 수: 3
- 대표님 선택 수: 0
- 산출물화 수: 0
- 선택률: 0%
- 산출물화율: 0%
- 출처/경로 누락률: 0%
- 운영 노이즈 포함률: 0%
- 중복 후보 포함률: 0%
- 승인 경계 누락률: 0%
결정/메모:
- 2026-06-09 16:32 전후 대량 mtime 배치는 기존 source 동기화/마이그레이션성 노이즈 가능성이 높아 TOP 3 산정에서 제외했다.
- 2026-06-14 수동 실행에서 이미 converted 처리된 Loop Engineering/AI-native agency 후보는 중복 산정하지 않았다.
- 대표님 명시 선택이 없으므로 세 후보 모두
proposed로 기록했다.
2026-W26 / 2026-06-22 정기 크론 실행
- 실행 cron/job:
weekly-top3-execution-candidates / cron 실행 컨텍스트
- 대상 기간: 2026-06-15 00:00 ~ 2026-06-22 09:00 KST
- 평가 기준: omw-top3-evaluation-checklist-v0.2
- 검토 후보 수: 95 (
omw_collected_doc_candidates.py 일별 true_candidates 합계, 주간 정규화 전)
- 추천 후보 수: 3
- 대표님 선택 수: 0
- 산출물화 수: 0
- 선택률: 0%
- 산출물화율: 0%
- 출처/경로 누락률: 0%
- 운영 노이즈 포함률: 0%
- 중복 후보 포함률: 0%
- 승인 경계 누락률: 0%
결정/메모:
- 2026-06-15~2026-06-21 구간에서
wiki/log.md 기준 ingestion/source 추가와 실제 파일 mtime을 교차 확인했다.
- raw/processed 중복은 processed source/project/standard를 우선 사용했고, raw는 근거 확인용으로만 보조 참조했다.
- 대표님 명시 선택이 없으므로 세 후보 모두
proposed로 기록했고, 실제 산출물 경로가 아직 없어 converted로 올리지 않았다.
- 모델 출시·제품 발표성 뉴스는 이번 주에는 개별 툴 소개보다 JYP Labs 운영체계에 직접 연결되는 후보가 우선이라 backlog로 내렸다.