B컷전문 | 개발과 인생의 이야기

핵심 답: AI 자동화 과제를 고를 때는 “가장 화려한 아이디어”가 아니라 반복 빈도·절감 시간·데이터 준비도·변경 난이도·위험을 같은 기준으로 점수화해 비교해야 합니다. 아래 5개 지표를 1~5점으로 매기고, (효과 + 실행성) - 위험 구조로 정렬하면 첫 파일럿 대상을 설명 가능하게 고를 수 있습니다.

이 글이 해결하는 문제

“AI를 어디부터 적용해야 하나요?”라는 질문에 회의마다 후보만 쌓이고 결정이 나지 않는 경우를 위한 방법입니다. 고객 문의 요약, 문서 분류, 보고서 초안, 수요 예측처럼 서로 다른 업무를 같은 판정표에 올려 작게 검증할 1순위 과제를 정합니다. 이 방법은 도입 승인을 보장하거나 AI의 정확도를 미리 약속하지 않습니다. 대신 가설과 위험을 드러내고, 파일럿의 성공 기준을 먼저 정하게 합니다.

먼저: 후보 업무를 한 줄로 정의한다

후보를 “챗봇 도입”처럼 제품명으로 적지 말고, 누가 어떤 입력을 받아 어떤 산출물을 만드는지로 씁니다.

• 나쁜 예: 생성형 AI로 고객센터 혁신
• 좋은 예: 상담원이 받은 이메일을 3개 문의 유형으로 분류하고, 답변 초안을 제안한다

좋은 문장에는 담당자, 입력, 산출물, 검토자가 보입니다. 이 네 가지가 없으면 뒤의 시간 절감과 위험을 평가할 수 없습니다.

1. 5개 지표를 1~5점으로 매긴다

지표	1점	3점	5점
반복 빈도	월 1회 이하	주 1~2회	매일 또는 대량 처리
절감 가능 시간	사람이 5분 미만	건당 15~30분	건당 1시간 이상 또는 병목 해소
데이터 준비도	자료가 흩어져 있고 기준 없음	자료는 있으나 정리·권한 확인 필요	입력 형식·접근 권한·정답 예시가 준비됨
변경 실행성	여러 시스템·부서 승인 필요	연동 또는 교육이 필요	한 팀이 샌드박스에서 바로 시험 가능
위험	영향이 작고 사람 검토가 쉬움	오류 시 재검토·정정 필요	법률·안전·개인정보·대외 의사결정에 직접 영향

중요: 위험은 “낮을수록 좋은 값”이므로 계산할 때 빼거나 역점수로 바꿉니다. 개인정보, 민감정보, 고위험 의사결정이 걸린 업무는 점수와 별개로 보안·법무 검토를 먼저 통과시켜야 합니다. NIST의 AI Risk Management Framework 1.0도 AI 위험 관리를 조직의 맥락에 맞춰 Govern, Map, Measure, Manage 활동으로 다룰 것을 제시합니다.

2. 복사해서 쓰는 점수표와 계산식

스프레드시트에 아래 열을 만들고, 한 행에 한 업무를 적습니다.

업무 | 반복 빈도 | 절감 시간 | 데이터 준비도 | 변경 실행성 | 위험 | 우선순위 점수
상담 이메일 1차 분류 | 5 | 4 | 4 | 4 | 2 | =B2+C2+D2+E2-F2
월간 보고서 초안 | 3 | 4 | 3 | 3 | 2 | =B3+C3+D3+E3-F3
채용 합격 여부 추천 | 3 | 3 | 3 | 2 | 5 | =B4+C4+D4+E4-F4

위 예시의 점수는 각각 15, 11, 6입니다. 따라서 첫 파일럿은 상담 이메일 분류가 됩니다. 단, 이 점수는 우선순위 판단 도구일 뿐 ROI 계산서가 아닙니다. 비용을 비교해야 한다면 다음 값을 별도 열로 둡니다.

월 절감시간(시간) = 월 처리건수 × 건당 절감분(분) ÷ 60
월 절감액(추정) = 월 절감시간 × 내부 시간당 비용
회수기간(월) = 초기 구축비 ÷ (월 절감액 - 월 운영비)

사람의 검토 시간이 새로 생기면 반드시 월 절감시간에서 빼야 합니다. 검토를 생략해 절감 시간이 커 보이는 계산은 위험을 숨기는 방식입니다.

3. 1순위 과제를 2주 파일럿으로 쪼갠다

1. 범위를 고정합니다. 예: 최근 2주 이메일 200건, 문의 유형 3개, 답변 발송은 하지 않음.
2. 기준 사례를 만듭니다. 담당자가 분류한 30~50건을 따로 보관하고, AI 결과와 비교할 기준으로 씁니다.
3. 사람 검토 지점을 정합니다. 확신이 낮거나 민감정보가 포함된 건은 자동 처리하지 않고 검토함으로 보냅니다.
4. 성공 기준을 숫자로 씁니다. 예: 분류 일치율 90% 이상, 건당 처리 시간 30% 감소, 치명적 오분류 0건.
5. 중단 기준도 씁니다. 권한 없는 데이터 노출, 기준 사례에서 반복되는 치명적 오류, 검토 부담이 절감 시간보다 큰 경우입니다.

모델 성능만 보지 말고 업무 흐름 전체를 측정하세요. 데이터셋과 평가 절차를 자동화하는 방법은 ML 학습을 위한 데이터셋 생성 자동화 글의 기준 설계도 함께 참고할 수 있습니다.

4. 자주 실패하는 세 가지

• 효과 점수만 높게 주는 경우: 월 1회 임원 보고서처럼 눈에 띄지만 반복이 낮은 업무는 첫 파일럿에 맞지 않을 수 있습니다.
• “데이터가 있다”와 “쓸 수 있다”를 혼동하는 경우: 접근 권한, 보존 기간, 개인정보 마스킹, 정답 기준이 확인되지 않았다면 준비도는 낮게 줍니다.
• 자동 발송까지 한 번에 하는 경우: 초안 생성·분류부터 검증하고, 승인 절차와 예외 처리를 통과한 뒤에만 다음 단계로 넓힙니다.

운영 화면에서 결과를 계속 확인해야 하는 업무라면 공정 흐름 기반 대시보드 설계 전략의 KPI 구성 원칙도 연결해 볼 수 있습니다. 처리량만이 아니라 오류·재처리·검토 대기 시간을 함께 보아야 합니다.

실행 전 체크리스트

• 후보 업무가 담당자·입력·산출물·검토자로 한 줄 정의되어 있는가?
• 5개 지표의 점수 근거를 팀이 설명할 수 있는가?
• 개인정보·보안·대외 의사결정 위험을 별도 검토했는가?
• 파일럿 범위, 성공 기준, 중단 기준이 숫자로 적혀 있는가?
• 사람 검토와 예외 처리의 책임자가 정해졌는가?

요약

AI 자동화는 아이디어를 많이 모으는 일보다 작고 검증 가능한 과제를 고르는 일에서 시작합니다. 반복 빈도, 절감 시간, 데이터 준비도, 변경 실행성, 위험을 한 표에서 비교하고, 위험은 감점 또는 통과 조건으로 다루세요. 1순위 과제는 제한된 데이터와 사람 검토를 둔 2주 파일럿으로 시험한 뒤, 측정값을 근거로 확대 여부를 결정하면 됩니다.

참고 자료

• NIST, AI Risk Management Framework (AI RMF 1.0)
• NIST AI RMF Playbook