B컷전문 | 개발과 인생의 이야기

고객지원 AI가 환불 문의에 빠르게 답했다. 하지만 주문 상태와 약관이 충돌하는 사례에서 확정적인 환불 약속까지 했다. 상담사는 뒤늦게 답변을 고쳤고, 고객은 이미 안내를 믿고 다음 행동을 했다. 이때 필요한 것은 “사람이 마지막에 한 번 본다”는 구호가 아니라 어떤 신호에서 자동 처리를 멈추고, 누가 무엇을 보고 결정할지를 정한 경로다.

앞선 글에서 모델의 품질과 운영 비용을 다뤘다면, 이번에는 자동화의 경계를 업무 흐름으로 설계한다. 아래 흐름은 가상 서비스의 설계 예시다. 법률·의료·금융 등 실제 업무에는 해당 조직의 규정과 전문 검토를 별도로 적용해야 한다.

1. 사람 개입은 버튼이 아니라 책임 있는 업무 단계다

AI가 초안을 만들고 사람이 승인하는 방식도, AI가 낮은 위험의 일을 완료하고 예외만 넘기는 방식도 가능하다. 중요한 것은 결정권자, 검토 대상, 개입 시점, 기록을 구분하는 일이다. NIST의 AI 위험관리 프레임워크 부록 C는 사람과 AI의 역할·책임을 명확히 나누고, 사람이 AI 출력을 뒤집은 빈도와 이유를 수집해 분석할 수 있다고 설명한다. 모든 결과에 형식적으로 승인 도장을 찍는 것은 실질적인 감독과 다르다.

업무를 세 경로로 나눠 보자. 자동 완료는 검증 가능한 저위험 작업, 사람 승인 후 실행은 되돌리기 어렵거나 대외 약속을 만드는 작업, 사람에게 즉시 인계는 근거 부족·정책 충돌·민감한 피해 가능성이 있는 작업이다. 어떤 경로든 담당자가 없는 대기열에 던지는 것으로 끝나서는 안 된다.

2. 인계 조건을 위험·불확실성·권한으로 정한다

상황	시스템의 행동	사람이 확인할 것
확인된 주문 상태를 안내	출처와 시각을 함께 표시하고 자동 응답	반복 오류·오래된 상태의 표본 점검
환불 규정과 개별 약속이 충돌	확정 안내를 보류하고 상담사에게 인계	원문 약관, 이력, 예외 승인 권한
개인정보 노출 또는 긴급 피해 신고	자동 답변·추가 처리를 멈추고 지정 담당자에게 긴급 전달	피해 범위, 내부 사고 대응 절차, 고객 안내
검색 근거 누락·도구 오류·시간 초과	추측하지 않고 재시도 가능 여부와 대기 상태 안내	근거 확보 또는 수동 처리 필요성

“모델 신뢰도 0.8 미만” 같은 단일 숫자를 만능 기준으로 쓰지 말자. 점수의 의미와 보정 여부가 작업마다 다르다. 근거의 존재, 정책상 금지된 결정, 외부 시스템 변경의 복구 가능성, 사용자의 이의 제기처럼 관찰 가능한 신호를 조합하고 실제 사례로 임계값을 조정한다. NIST의 생성형 AI 프로파일도 사용 맥락에 따라 다른 수준의 감독과 추가적인 사람 검토·기록이 필요할 수 있다고 설명한다.

3. 인계 패킷과 대기열을 함께 설계한다

사람에게 “AI가 실패했습니다”라는 알림만 보내면 담당자는 처음부터 다시 조사해야 한다. 인계 화면에는 요청 ID, 사용자가 원하는 결과, 확인된 사실과 출처, AI가 제안한 조치, 불확실한 부분, 차단된 이유, 이전 시도, 마감 시각을 한 묶음으로 보여 준다. 개인정보 원문은 담당 권한에 맞게 최소화한다. AI의 요약은 원문 링크와 구분해 표시해야 검토자가 추측을 사실로 받아들이지 않는다.

대기열에는 소유자, 우선순위, 응답 기한, 부재 시 대체 담당자가 필요하다. Google의 SRE 온콜 안내는 자동화되지 않은 작업의 에스컬레이션에 사람 접점이 필요하며 교대 시 인계 내용을 읽고 다음 담당자에게 전달하는 관행을 설명한다. AI 서비스에서도 담당자의 근무시간과 대체 경로를 정하지 않으면 “사람에게 넘겼다”는 이벤트만 남고 처리는 멈춘다.

4. 실전 예시: 환불 문의의 예외 처리

가상의 쇼핑몰에서 AI는 주문 조회와 공개 규정에 근거한 일반 안내만 자동 처리한다. 환불 승인이나 금액 변경은 고객지원 담당자의 권한으로 남긴다.

1. 주문 조회 결과와 적용 가능한 규정 버전을 확인한다. 조회 실패면 환불 가능 여부를 추측하지 않는다.
2. 규정이 일치하는 일반 문의는 근거를 붙여 안내한다. 고객별 약속, 결제 오류, 분쟁 표현이 있으면 확정 문구를 차단한다.
3. 인계 티켓에 주문 식별자, 관련 규정, 대화의 필요한 부분, AI의 미확정 제안을 담는다. 결제정보 전체를 복사하지 않는다.
4. 담당자는 승인·수정·거절 중 하나를 선택하고 이유를 남긴다. 최종 고객 메시지는 승인된 내용에서만 발송한다.
5. 처리 시간이 길어지면 접수 사실과 예상되는 다음 절차를 안내한다. 약속할 수 없는 완료 시각은 만들지 않는다.

이 예시는 규정의 해석이나 환불 권한을 AI에 위임하자는 뜻이 아니다. 실제 승인 범위와 대기 기한은 계약, 법적 의무, 조직의 서비스 수준에 맞춰 정해야 한다.

5. 실패 경로와 검토 품질을 점검한다

• 담당자가 응답하지 않는다: 기한이 지나면 대체 담당자에게 승계하고 고객에게 현재 상태를 알린다. 자동 승인으로 바꾸지 않는다.
• 같은 건이 여러 번 인계된다: 요청 ID와 처리 상태로 중복 티켓·중복 실행을 막는다.
• 검토자가 AI를 그대로 따른다: 근거 원문과 반대 증거를 쉽게 열 수 있게 하고 승인·수정·거절 사유를 기록한다.
• 긴급 건이 일반 대기열에 묻힌다: 위험 신호별 우선순위와 별도 알림을 두되, 오탐과 과도한 알림도 측정한다.
• 사람 검토가 병목이 된다: 인계율만 줄이려 하지 말고 원인별 건수, 대기 시간, 재작업률, 잘못 자동 처리한 건수까지 함께 본다.

운영 점검에서는 “사람에게 넘긴 비율”보다 넘겨야 할 일을 놓친 사례를 우선 살핀다. 표본 감사와 이의 제기 기록으로 자동 처리의 경계를 갱신하고, 담당자가 AI 제안을 바꾼 이유를 다음 평가셋에 반영한다.

요약

사람 개입은 모델이 틀릴 때 쓰는 임시방편이 아니라 시스템의 정상 경로다. 자동 완료, 승인 후 실행, 즉시 인계의 조건을 분리하고, 인계 패킷과 담당자·기한·대체 경로를 함께 설계한다. 실패를 안전하게 보류하고 그 이유를 기록해야 예외 처리 경험이 다음 개선으로 이어진다.

참고 자료

• NIST AI RMF 1.0, Appendix C: Human-AI Interaction
• NIST, Generative AI Profile
• Google SRE Workbook, On-Call