지표 이름보다 세는 기준을 먼저 맞춘다

결정할 일부터 한 문장으로 적는다

지표를 정하기 전에 그 숫자로 무엇을 결정할지 묻는다. 다음 회차의 상담 프로그램을 유지할지, 특정 대상의 참여 기회를 늘릴지처럼 실제 선택지가 있어야 한다. 결과가 필요한 시점도 함께 정한다. 행사 다음 날 보고할 숫자를 한 달 뒤 설문으로만 확인하도록 짜면 판단에 쓸 수 없다.

등록 수처럼 확보하기 쉬운 자료가 핵심 목표를 대신하고 있지 않은지도 점검한다. 후속 협의가 목표라면 상담 진행 건수, 협의 의향, 실제 일정 확정을 따로 세야 한다. 셋은 서로 다른 상태다.

지표마다 여섯 가지 질문에 답한다

조사 담당자는 지표마다 다음 질문에 답하고, 기획자와 운영자가 같은 뜻으로 이해하는지 확인한다. 확인할 결과는 누구에게 어떤 상태가 확인되면 한 건인지를 말해야 한다. 대상과 단위는 사람, 기업, 상담, 회차 중 무엇을 셀지와 포함·제외 대상을 정한다. 계산 방법에는 비율이라면 분자와 분모를, 건수라면 중복을 가를 기준을 적는다. 자료와 마감은 어떤 기록을 근거로 언제까지 확인된 내용을 집계할지 정한다. 판정 조건은 목표값의 근거와 충족, 미충족, 판단 보류를 가르는 기준이다. 마지막으로 수집, 검토, 최종 승인 담당자를 적는다.

"참가자"라는 말만 남기면 여러 해석이 생긴다. 사람 수를 원하면서 출입 통과 건수를 세거나, 기업 수를 원하면서 같은 기업의 상담을 모두 더하는 실수가 여기서 나온다. 중복을 줄이려고 이름이나 이메일을 더 받기 전에, 이미 쓰는 업무용 구분값으로 가릴 수 있는지 먼저 본다.

이전 값과 목표값을 섞지 않는다

이전 행사의 수치는 비교 기준이고, 이번 목표값은 주최자가 판단할 때 쓰는 기준이다. 둘을 같은 칸에 적으면 근거가 흐려진다. 이전 수치 옆에는 조사 대상, 기간, 정의가 이번과 같은지 함께 적는다. 정의가 다르면 증감률을 계산하지 말고 차이를 표시한다.

첫 행사라 비교할 자료가 없다면 '기준값 없음'이라고 쓴다. 출처가 없는 업계 평균을 벤치마크처럼 쓰지 않는다. 목표값만 합의하고 판단 보류 조건을 정하지 않으면, 마감 시점에 확인되지 않은 자료를 어떻게 할지 정해지지 않은 채 남는다. 자료가 없다는 상태를 0으로 자동 변환해서는 안 된다.

자료가 실제로 있는지부터 확인한다

등록 양식, 현장 기록, 후속 확인 절차에 필요한 항목이 실제로 있는지 본다. 누가 언제 입력하는지, 중복과 누락은 누가 검토하는지, 수정 결과는 어디에 반영하는지도 정한다. 결과가 필요한 날짜에서 거꾸로 수집과 검토에 걸리는 시간을 잡는 것이 안전하다.

위탁업체나 기존 시스템이 필요한 자료를 주지 못한다면 발주 범위와 권한을 먼저 확인한다. 아직 확보하지 못한 자료를 수집 가능한 것으로 승인하면 집계 단계에서 무너진다. 개인정보의 수집 목적, 고지, 보관과 삭제 조건은 해당 행사에 적용되는 기준으로 따로 검토해야 한다. 이 글은 그 절차를 대신하지 않는다.

가상 기록으로 중복과 미확인을 시험한다

실제 수집 전에 가상 기록을 넣어 본다. 아래는 설명을 위해 만든 소규모 상담 행사 예시다. 실적이나 권장 기준이 아니다. 대상은 참가를 확인한 기업 A, B, C 세 곳이고 집계 단위는 기업이다. 마감은 행사 종료 7일 뒤 오후 6시(한국시간)이며, 그때까지 후속 협의 일시를 확인한 기업을 센다. 설명용 목표는 2곳 이상으로 두었다.

입력은 네 줄이지만 대상은 세 기업이다. A의 중복을 더해 목표를 달성했다고 하면 안 된다. B를 0으로 처리해 미달로 확정하는 것도 틀렸다. 이 가정에서는 판단을 보류하고, B를 확인할 담당자와 기한을 남겨야 한다. 마감 뒤에 새로 잡힌 일정은 이번 실적에 더하지 않는다.

기획자와 집계 담당자가 각자 같은 기록을 집계해 결과를 대조한다. 결과가 다르면 원자료를 고치기 전에 단위, 중복 처리, 상태 정의부터 확인한다. 기준을 바꾼 뒤에는 두 사람의 결과가 맞는지 다시 본다.

승인하고 나서 수집을 시작한다

주최자나 지정된 승인자는 지표 정의, 목표값의 근거, 자료 확보 가능성, 가상 집계 결과와 남은 문제를 확인한다. 핵심 항목이 정해지지 않았거나 두 담당자의 결과가 다르면 확정으로 표시하지 않는다. 해결할 사람과 기한을 남기고 다시 검토한다.

승인 뒤에는 모집, 현장 운영, 조사 담당자에게 포함과 제외 대상, 기록 항목, 마감, 미확인 처리 기준, 연락할 사람을 전달한다. 수집을 시작한 뒤 정의를 바꾸면 바꾼 날짜와 이유를 남기고 영향을 받는 담당자에게 알린다. 이전 기준의 자료를 새 기준으로 다시 계산했다면 무엇을 다시 계산했는지도 기록해야 한다.

실무자 체크리스트

• 이 숫자로 무엇을 결정할지, 결과가 언제 필요한지 적혀 있는가
• 지표마다 확인할 결과, 단위, 계산 방법, 마감, 판정 조건, 책임자가 정해졌는가
• 이전 수치와 이번 목표값의 근거가 분리되어 있는가
• 자료가 실제로 확보되는지, 누가 언제 입력하는지 확인했는가
• 가상 기록을 두 사람이 집계해 결과가 일치했는가
• 미확인 처리와 판단 보류 조건이 정해졌는가

서식으로 기록하고 다음 담당자에게 전달하기

[목표·지표 정의·가상 집계 검증표](/templates/metric-definition-dry-run.html)에 이 기사에서 확인한 내용을 기록하세요. 엑셀 파일의 빈서식·작성예시·안내 시트를 구분하고, 가상 예시를 참고해 내 행사 내용은 빈서식에 적습니다.

지표가 지원할 결정과 목표·대상·행동 또는 확인상태를 적으세요. 단위·분자/분모·중복키·포함/제외·미확인 처리와 자료원·마감을 정의하세요.

기획 담당자는 승인된 정의와 필요한 자료 항목·마감·미확인 처리를 모집·현장·조사팀에 전달합니다. 정의가 바뀌면 변경일·이유와 재계산 범위를 기록해 동일한 버전으로 공유합니다.

결론

지표 정의는 수집 전에 끝나야 한다. 그래야 현장에서 같은 자료를 다르게 세는 일이 줄어든다. 가상 기록은 정의가 실제로 작동하는지 확인하는 가장 싼 방법이다. 실제 자료가 쌓인 뒤의 비교와 해석은 별도의 회고 단계에서 다루면 된다.

*참고: 미국 CDC의 일반 프로그램 평가 지침(Step 3, Step 4)을 행사 실무에 맞게 옮긴 편집팀 제안이다. OECD의 행사 영향 측정 자료는 공식 소개와 초록만 확인했으며, 이 글의 절차가 OECD의 의무사항이라는 뜻은 아니다. 가상 기업과 시각, 목표는 설명용이며 업계 평균이나 조사 결과가 아니다.*