OMW 수집 문서 → 실행 후보 TOP 3 평가 체크리스트 v0.2
0. 운영 표준 체계 내 역할
목적: OMW에 매일/매주 수집되는 AI·AX 문서를 단순 요약이 아니라 정량 점수 기반 실행 후보 TOP 3 로 전환하기 위한 평가 기준이다.
1. 적용 범위
이 체크리스트는 아래 루프에 적용한다.
OMW 수집 문서 탐지 → raw/processed 중복 제거 → 스킬/강의/자동화/loop 후보 분류 → 정량 점수화 → TOP 3 추천 → 대표님 승인/선택 → 표준안·스킬·강의 모듈·자동화 backlog로 승격 기본 대상:
wiki/sources/, wiki/summaries/, raw/에 수집된 AI·AX 관련 문서wiki/work/, wiki/teaching/에 새로 정리된 실행 후보 문서OMW daily/weekly collected-docs briefing 후보
제외 대상:
.git/, .obsidian/, .claude/, .agents/wiki/log.md, wiki/index.md 자체migration, reindex, sync, system log
processed page가 있는 raw duplicate
출처·본문이 부족해 판단 불가능한 문서
2. 평가 흐름
각 후보는 아래 5단계로 평가한다.
Gate : 평가 대상인지 먼저 통과/제외 판단Candidate Fit : 스킬/강의/자동화/loop 후보성 점수화Execution Value : JYP Labs 실행 가치 점수화Risk & Readiness : 리스크·준비도 보정TOP 3 Decision : 총점·동점 규칙·승인 경계로 최종 선정
3. Gate — 평가 대상 통과 조건
아래 조건을 만족하지 못하면 점수화하지 않고 제외 또는 확인 필요로 둔다.
Gate 통과 기준 실패 시 처리 G1. 출처 OMW 경로 또는 URL/채널/원문 파일이 있다 확인 필요G2. 본문 핵심 내용을 판단할 수 있는 본문 또는 요약이 있다 제외 또는 보류 G3. 중복 processed page와 raw duplicate가 중복 계산되지 않는다 processed만 유지 G4. 운영 노이즈 migration/reindex/sync/system log가 아니다 제외 G5. 관련성 AI·AX·자동화·업무 운영·교육/콘텐츠와 연결된다 low 또는 제외
4. 총점 구조 — 100점 만점
영역 배점 질문 A. 후보 적합도 30 스킬/강의/자동화/loop 후보로 얼마나 명확한가? B. 전략 적합성 20 JYP Labs AI Work OS 방향과 맞는가? C. 실행 가능성 20 1주 안에 산출물로 만들 수 있는가? D. 재사용·확산성 15 내부 운영·강의·컨설팅·콘텐츠로 재사용 가능한가? E. 리스크·검증 용이성 15 출처·승인 경계·검증 방법이 명확한가?
총점 계산:
total_score = A + B + C + D + E 우선순위:
priority 기준 P0 / high 75점 이상 또는 대표님 승인 후 즉시 산출물화 가능 P1 / medium 50~74점, 자료 보강 또는 소규모 실험 필요 P2 / low 30~49점, 참고 가치는 있으나 즉시 실행성 낮음 hold 29점 이하 또는 출처/권한/리스크 확인 필요
5. A영역 — 후보 적합도 30점
각 후보 유형을 0~5점으로 평가하고, 가중치를 적용한다.
후보 유형 점수 기준 가중치 최대 스킬 후보 반복 절차·입력·출력·검증 기준이 보이는가 ×1.5 7.5 강의 후보 교육 메시지·사례·질문·실습으로 전환 가능한가 ×1.2 6 자동화 후보 트리거·입력·출력·도구·승인 경계가 보이는가 ×1.5 7.5 loop 설계 후보 발견→분배→검증→기록→재실행 루프로 만들 수 있는가 ×1.8 9
점수 기준:
점수 의미 0 해당 없음 1 키워드는 있으나 실행 구조 없음 2 가능성은 있으나 입력/출력 불명확 3 기본 구조가 보이고 보강하면 사용 가능 4 산출물화가 명확하고 검증 기준도 일부 있음 5 즉시 스킬/강의/자동화/loop로 승격 가능
6. B영역 — 전략 적합성 20점
항목 점수 AI 업무 운영체계·스킬 설계·검증 체계 메시지와 직접 연결 0~6 대표님 관심 주제(AI, AX, 바이브코딩, agentic AI)와 직접 연결 0~4 JYP Labs 강의/컨설팅 차별화 메시지로 쓸 수 있음 0~4 기존 5개 운영 문서와 연결 가능 0~3 장기적으로 표준/커리큘럼/backlog에 남길 가치 0~3
7. C영역 — 실행 가능성 20점
항목 점수 1주 안에 초안/체크리스트/스킬/강의안 중 하나로 만들 수 있음 0~5 필요한 입력 자료가 이미 OMW에 있음 0~4 실행자가 명확함(Sophie, subagent, 대표님 승인 등) 0~3 검증 방법이 도구/원문/체크리스트로 가능 0~4 첫 액션이 1문장으로 명확함 0~4
8. D영역 — 재사용·확산성 15점
항목 점수 내부 운영 자동화에 반복 사용 가능 0~4 강의/워크숍/콘텐츠로 재사용 가능 0~4 고객사 컨설팅 사례나 SOP로 전환 가능 0~3 다른 스킬/문서/cron과 연결 가능 0~2 월간/주간 운영 루틴에 누적 가치가 있음 0~2
9. E영역 — 리스크·검증 용이성 15점
높을수록 좋은 점수다. 위험이 낮고 검증이 쉬울수록 높게 준다.
항목 점수 출처와 원문 경로가 명확함 0~3 사실/추정/추천을 분리할 수 있음 0~3 외부 발송·삭제·공개·비용 발생 리스크가 낮음 0~3 사람 승인 경계가 명확함 0~3 실패 시 안전하게 보류/재시도/폐기 가능 0~3
리스크 보정:
상황 보정 외부 발송·삭제·게시·비용 발생이 포함됨 -10 출처가 자동 전사/부분 캡처뿐임 -5 개인정보·계약·결제 등 민감정보 포함 -5 원문이 없고 2차 요약만 있음 -3 이미 같은 산출물이 존재함 -5 또는 merge
10. TOP 3 선정 규칙
Gate 통과 후보만 점수화한다.
총점 75점 이상 후보를 우선 TOP 3 후보군으로 둔다.
75점 이상이 3개 미만이면 50점 이상 후보 중 보강 가능성이 높은 순서로 채운다.
동일 점수일 때는 아래 순서로 우선한다.
loop 설계 후보 점수가 높은 항목자동화 또는 스킬화까지 이어지는 항목
대표님 시간 절감 효과가 큰 항목
강의/컨설팅 자산으로 재사용 가능한 항목
리스크가 낮은 항목
TOP 3에 들어가도 비가역 작업은 자동 실행하지 않고 승인 필요로 표시한다.
11. 표준 출력 스키마
title : <후보 제목> relpath : <OMW 상대 경로> source_status : verified | partial | needs_review candidate_scores : skill : 0-5 lecture : 0-5 automation : 0-5 loop : 0-5 rubric_scores : candidate_fit : 0-30 strategic_fit : 0-20 execution_feasibility : 0-20 reuse_potential : 0-15 risk_and_verifiability : 0-15 risk_adjustment : 0 | -3 | -5 | -10 total_score : 0-100 priority : high | medium | low | hold recommended_output : skill | lecture_module | automation_backlog | loop_standard | reference first_action : <1문장> approval_required : true | false | needs_review verification : - <검증 방법> 12. 대표님 보고 형식
## 요약 3줄 - 오늘/이번 주 TOP 3는 ... 입니다. - 1위는 ... 이며 총점 ...점, 이유는 ... 입니다. - 승인 필요 항목은 ... 입니다.
## TOP 3 실행 후보 | 순위 | 후보 | 유형 | 총점 | 이번 산출물 | 첫 액션 | 승인 필요 | |---|---|---|---:|---|---|---|
## 점수 근거 ### 1. <후보명> - 출처: `<relpath>` - 후보 점수: skill/lecture/automation/loop = x/x/x/x - 총점: A+B+C+D+E = ... - 선정 이유: - 리스크/승인 경계: - 검증 방법:
## Backlog | 후보 | 점수 | 상태 | 보류 이유/다음 조건 | |---|---:|---|---| 13. 운영 품질 지표
루프 자체는 주간 단위로 아래 지표를 측정한다.
지표 목표 TOP 3 중 대표님이 실제 선택한 후보 비율 50% 이상 TOP 3 중 1주 안에 산출물화된 후보 비율 50% 이상 출처/경로 누락률 0% 운영 노이즈 포함률 5% 이하 중복 후보 포함률 10% 이하 승인 경계 누락률 0% 확인 필요가 실제 보강 액션으로 전환된 비율30% 이상
14. v0.2 변경 실험 로그
날짜 변경 1개 기대 효과 결과 결정 2026-06-11 기존 yes/no 후보 분류에 100점 정량 점수표 추가 TOP 3 선정 근거를 설명 가능하게 만들기 첫 적용 전 1주 운영 후 평가
15. 적용 상태
날짜 항목 상태 근거 2026-06-11 omw_collected_doc_candidates.py 출력에 v0.2 점수 필드 반영완료 rubric_scores, risk_adjustment, total_score 출력 반영 및 py_compile/샘플 실행 검증2026-06-11 주간 TOP 3 cron 결과의 실제 선택률·산출물화율 기록 구조 반영 완료 omw-top3-execution-metrics-log 작성 및 weekly TOP 3 cron 기록 지시 반영
16. v0.3 개정 후보
1주 운영 후 임계값 75/50/30점이 적절한지 조정한다.
실제 선택률·산출물화율·노이즈 포함률을 기준으로 가중치를 재검토한다.