B컷전문 | 개발과 인생의 이야기

팀원이 고객 불만 메일을 AI에 붙여 넣어 요약을 요청했다. 이름과 연락처, 주문번호를 지우지 않았고, 메일 아래에는 아직 공개되지 않은 가격 정책도 있었다. 요약 자체가 유용하더라도 질문은 남는다. 이 자료를 이 서비스에 입력해도 되는가? 출력의 정확성을 검토하기 전에 입력의 경계를 정해야 한다.

AI 입력은 채팅창의 문장만이 아니다. 첨부 파일, 검색 증강(RAG)으로 가져온 문서, 도구 호출 결과, 대화 기록과 로그까지 포함한다. 이 글은 모든 AI 사용을 막자는 주장이 아니라, 업무 목적에 필요한 데이터만 승인된 경로로 전달하기 위한 설계 원칙이다.

1. 데이터의 민감도와 사용 목적을 먼저 분리한다

개인정보보호위원회의 생성형 AI 개발·활용을 위한 개인정보 처리 안내서는 목적 설정부터 적용·관리까지 단계별 법적 고려와 안전조치를 다룬다. 실무에서는 “사내 문서니까 괜찮다” 또는 “기업용 계정이니까 무엇이든 넣어도 된다”로 건너뛰지 말고, 목적·자료 종류·제공 경로를 함께 판단해야 한다. 아래 분류는 법적 등급이 아니라 팀의 검토를 시작하기 위한 예시다.

자료	입력 전 판단	권장 경로 예시
공개된 제품 설명	출처와 최신 버전 확인	승인된 도구에 필요한 부분만 입력
사내 비공개 정책·계약 초안	업무 목적, 문서 소유자, 외부 제공 가능 여부 확인	승인된 업무 환경에서 권한에 맞게 접근
고객·직원 식별정보	처리 근거와 최소 필요 항목 확인	불필요한 식별자 제거, 필요한 경우 별도 승인·통제
비밀번호·API 키·인증 토큰	프롬프트에 넣을 이유가 거의 없음	입력 차단, 발견 시 노출 대응 절차

개인정보와 영업비밀은 같은 개념이 아니다. 한 문서에 둘 다 들어 있을 수 있으므로 개인정보 처리의 적법성뿐 아니라 계약상 비밀유지, 접근 권한, 보존 의무도 별도로 검토한다. 삭제나 가명처리만으로 원래 목적 외 사용이 자동으로 허용되는 것도 아니다.

2. “학습에 안 쓴다”와 “안전하게 보낼 수 있다”는 다르다

도구를 승인할 때는 서비스 약관·관리 설정·계약을 기준으로 입력과 출력의 저장 기간, 학습 활용 여부, 관리자 및 하위 처리자 접근, 데이터 위치, 삭제·내보내기, 사고 통지 방법을 확인한다. 같은 회사의 서비스라도 개인용 채팅, 기업용 워크스페이스, API의 조건이 다를 수 있다. 설정 이름만 보고 추정하지 말고 실제 사용하는 요금제와 기능 범위에 맞춰 검토한다.

개인정보위의 생성형 AI 서비스 이용자를 위한 개인정보 보호 가이드 발표도 학습 활용 여부, 대화 기록 저장·삭제 설정, 업무 자료 입력과 외부 서비스 연동을 확인할 문제로 짚는다. 학습 미사용 설정은 하나의 조건일 뿐이다. 전송·저장·로그·공유·출력에서의 노출 가능성은 여전히 따져야 한다.

3. 입력 경계는 사람의 주의만으로 지키지 않는다

OWASP의 LLM02:2025 Sensitive Information Disclosure는 개인정보, 재무·건강 정보, 기업 기밀, 자격증명 등을 민감한 정보로 들고, 입력 정제와 최소 권한, 데이터 사용의 투명성을 완화책으로 제시한다. “모델에게 비밀을 말하지 말라고 지시한다”는 출력 지침만으로는 입력 단계의 노출을 되돌릴 수 없다.

• 입력 전: 승인된 도구 목록과 자료 등급별 허용·금지 규칙을 정한다. 붙여 넣기·파일 업로드·브라우저 확장 기능까지 같은 기준을 적용한다.
• 전송 시: 필요한 문단만 추출하고 직접 식별자를 제거한다. 가명화한 값도 다른 필드와 결합해 재식별될 수 있는지 확인한다.
• 검색·도구 연동: RAG가 원본 저장소의 사용자 권한을 넘어 문서를 끌어오지 않도록 검색 전에 권한을 적용한다. 외부 도구 호출에 전달하는 필드도 제한한다.
• 기록·출력: 프롬프트와 응답의 로그 권한·보존 기간을 정하고, 결과에 원문 개인정보나 비밀이 되살아나지 않았는지 검토한다.

정규식이나 탐지 모델은 놓치는 값과 오탐이 있으므로 단일 차단 장치가 아니다. 업무별 테스트 사례를 만들고, 금지 입력의 차단과 허용 입력의 사용성을 함께 점검한다.

4. 실전 예시: 고객 문의 요약 기능

가상의 지원팀이 문의 메일을 요약한다고 하자. 목적은 담당자에게 쟁점과 다음 조치를 보여주는 것이지 고객의 모든 기록을 모델에 복제하는 것이 아니다.

단계	처리 예시	확인할 증거
원본 수신	지원 시스템 안에서 권한 있는 담당자만 열람	접근 권한과 처리 목적
입력 구성	이름·전화·주소·주문번호는 제거하고, 문의 유형·배송 상태·필요한 정책 조항만 전달	전송 필드 목록과 제거 테스트
모델 처리	승인된 연결만 사용하고 요청·응답의 보존 설정을 확인	계약·설정 기록, 로그 정책
결과 검토	담당자가 원본과 대조해 누락·재노출·잘못된 확약을 확인	검토 기록과 오류 신고 경로

주문번호가 실제로 꼭 필요하다면 무조건 제거하는 대신 목적과 권한을 재검토하고, 내부 조회용 참조값을 별도로 유지할 수 있다. 이 표는 특정 서비스의 개인정보 처리 적법성을 보증하지 않는다. 실제 적용은 조직의 개인정보·보안 담당자와 사용 계약을 기준으로 결정해야 한다.

5. 흔한 문제와 개선 팁

• 비식별화했는데 원문이 파일 이름·메타데이터에 남는다: 본문뿐 아니라 첨부 이름, 표의 숨긴 열, 로그와 검색 조각도 확인한다.
• 승인 도구 밖으로 복사해 붙여 넣는다: 업무에 맞는 승인 경로를 제공하고, 금지 규칙의 이유와 대안을 함께 알린다.
• 검색 결과가 권한 밖 문서를 포함한다: 답변에서 숨기는 것보다 검색 전 권한 필터와 테스트 계정 검증을 우선한다.
• 이미 잘못 입력했다: 같은 내용을 다시 붙여 넣어 수정하지 말고, 내부 사고 대응 절차에 따라 입력 범위·시각·서비스를 기록하고 보안·개인정보 담당자에게 알린다. 삭제 가능 여부와 후속 조치는 서비스 계약에 따라 확인한다.

요약

AI 입력 경계는 “민감한 정보는 조심하자”는 구호가 아니라 자료 분류, 목적 확인, 승인된 전송 경로, 최소 입력, 권한과 기록 관리로 구현된다. 모델의 답을 평가하기 전에 무엇을 보내도 되는지 정하고, 사람 검토와 시스템 차단을 함께 둔다. 경계가 불명확하면 데이터를 더 보내기보다 담당자 확인으로 멈추는 편이 낫다.

참고 자료

• 개인정보보호위원회, 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서 (2025)
• 개인정보보호위원회, 생성형 AI 서비스 이용자를 위한 개인정보 보호 가이드 발간 (2026)
• OWASP GenAI Security Project, LLM02:2025 Sensitive Information Disclosure