SOP-CS-001: 자동 태깅 운영 가이드

문서 관리

항목	내용
SOP ID	SOP-CS-001
버전	1.0
시행일	2026-02-12
오너 직책	CS 관리자
검토일	2027-02-12
상태	활성

목적

이 SOP는 Channel Talk 자동 태깅 시스템을 이해하고, 태그 분류 규칙을 관리하며, 태깅 정확도를 검증하기 위한 표준 절차를 정립합니다.

자동 태깅을 통해 다음을 보장합니다:

모든 고객 채팅을 83개 태그로 자동 분류
우선순위 순서로 규칙 매칭 (첫 일치 규칙 적용)
채팅 내용 변경 시 실시간 재분류
스팸 우선 감지 (스팸 패턴이 우선 처리됨)
정확도 95% 이상 유지

범위

포함 범위:

자동 태깅 시스템의 태그 체계 이해
분류 규칙 추가/수정/삭제
태깅 정확도 검증 및 모니터링
오분류 식별 및 규칙 개선

미포함 범위:

수동 태깅 (별도 프로세스)
태그 시스템 아키텍처 변경
Channel Talk API 통합 (Engineering 담당)
대시보드 구축 (별도 SOP)

RABSIC 책임 매트릭스

역할	직책/부서	책임 내용
R (Responsible)	CS 담당자	오분류 보고, 태깅 정확도 모니터링 실행
A (Accountable)	CS 관리자	분류 규칙 최종 승인, 정확도 목표 달성, 규칙 업데이트 결정
B (Backup)	Senior CS 관리자	CS 관리자 부재 시 규칙 승인
S (Support)	Engineering 팀	새 규칙 구현, 시스템 배포, 기술 자문
I (Informed)	대시보드 팀, 분석팀	규칙 변경 시 통보
C (Consulted)	마케팅 팀	특정 카테고리(프로모션, 상품 정보) 규칙 검토

태그 체계 이해

8개 상위 카테고리

주문 (21개 태그)
 ├─ 접수, 취소, 교환, 반품, 환불

배송 (16개 태그)
 ├─ 출고, 조회, 배송지, 예약배송, 해외배송

결제 (9개 태그)
 ├─ 수단, 오류, 증빙

상품 (16개 태그)
 ├─ 사이즈, 재고, 품질, 정보, 대여

CS (7개 태그)
 ├─ 불만, 칭찬, 제안

비즈니스 (6개 태그)
 ├─ B2B, 입점, 광고

계정 (7개 태그)
 ├─ 로그인, 회원정보, 탈퇴

스팸 (4개 태그)
 ├─ 광고메일, 시스템알림, 무관메시지

태그 경로 예시

예시	설명
`주문`	주문 관련 (상위 카테고리)
`주문/반품`	반품 (중위 카테고리)
`주문/반품/단순변심`	단순변심 반품 (하위 카테고리)
`배송/조회/배송현황`	배송 상태 조회
`스팸/시스템알림`	스팸 - 시스템 알림

분류 규칙 관리

규칙 구조

분류 규칙은 다음과 같이 구성됩니다:

{
  name: "order-return-exchange",           // 규칙 ID (고유함)
  keywords: ["반품", "교환", "리턴", ".."], // 매칭 키워드 배열
  tags: ["주문/반품", "주문/교환"],        // 적용할 태그 배열
  priority: 10                              // 우선순위 (높을수록 먼저 적용)
}

규칙 우선순위

규칙은 우선순위 순서대로 적용됩니다. 첫 일치 규칙의 태그가 채팅에 적용됩니다.

우선순위 결정 기준:

1-10: 스팸 감지 규칙 (항상 최우선)
10-20: 명확한 주문 문제 (반품, 취소, 환불 등)
20-30: 배송 관련 (배송지, 배송현황, 출고 등)
30-40: 결제 관련 (결제 오류, 수단 확인 등)
40-50: 상품 정보 (사이즈, 재고, 품질 등)
50-60: CS 피드백 (불만, 칭찬, 제안)
60-70: 계정/비즈니스
100: 기본값 (마크다운 형식 처리)

절차 1: 분류 규칙 추가

목표: 새로운 분류 규칙을 추가하여 태깅 범위를 확장합니다.

실행 사항:

규칙 필요성 판단:
- 오분류된 채팅 3개 이상이 같은 이유로 발생한 경우
- 새로운 고객 문의 유형이 등장한 경우
- 기존 규칙이 누락하는 변형이 있는 경우

규칙 설계:

규칙명: [카테고리]-[타입]-[특징]
예: delivery-address-change (배송지 변경)

핵심 키워드 5-10개 수집:
- "배송지 변경", "주소 수정", "배송지 수정", "주소 변경"
- "배송 주소", "받을 주소", "수정 부탁"

적용할 태그:
- 메인 태그: 배송/배송지/배송지변경
- 추가 태그: (있으면) 배송

우선순위 결정:
- 유사 규칙 찾기 → 그 규칙의 우선순위 기준으로 결정
- 배송지 변경 예: 배송 관련이므로 25 할당
규칙 검증:
- 테스트 채팅 3-5개에 대해 규칙이 올바르게 작동하는지 확인
- 오탐이 없는지 확인 (다른 문제와 혼동 가능성 검토)

CS 관리자에게 제출:

규칙명: delivery-address-change
우선순위: 25
핵심 키워드: 배송지 변경, 주소 수정, 배송지 수정, ...
적용 태그: 배송/배송지/배송지변경
이유: 오분류 사례 3건 (태그됨: 배송/조회)

CS 관리자 승인 및 배포:
- 검토 완료 후 Engineering 팀에 배포 요청
- 배포 후 24시간 모니터링 (정상 작동 여부)

품질 체크포인트:

규칙명이 명확한가?
핵심 키워드 5개 이상 수집되었는가?
테스트 채팅에서 정확한가?
우선순위가 적절한가?
CS 관리자 승인 받았는가?

예상 소요 시간: 30분

절차 2: 분류 규칙 수정

목표: 기존 규칙의 키워드나 태그를 개선하여 정확도를 향상시킵니다.

실행 사항:

문제 식별:
- 규칙이 오분류 또는 누락을 유발하는 경우
- 예: "배송지 변경" 규칙이 "배송지 문의"도 태깅하는 경우
원인 분석:
- 현재 키워드 목록 검토
- 오분류 사례 3-5건 수집 및 공통점 분석

개선 방안 결정:

키워드 추가: 누락된 변형이 있는 경우

기존: 배송지 변경, 주소 수정, ...
추가: 배송지 수정, 받을 주소 변경, 배송 받을 곳, ...

키워드 제거: 오탐을 유발하는 키워드 제거

제거: "배송지" (너무 일반적, 다른 문제도 포함)
대신 구체적 변형만 유지

태그 추가/변경: 복합적인 경우 태그 추가

기존 태그: 배송/배송지/배송지변경
추가 태그: 배송 (상위 카테고리도 함께 태깅)

개선된 규칙 검증:
- 기존 오분류 사례 5개에 대해 수정된 규칙 테스트
- 정상 사례 3개에서도 오탐이 없는지 확인

CS 관리자에게 제출:

규칙명: delivery-address-change
변경 사항:
- 키워드 추가: 배송 받을 곳, 받을 주소, 주소
- 키워드 제거: (없음)
- 태그 변경: (없음)

개선 효과:
- 오분류 3건 → 0건
- 누락 2건 → 0건 (테스트 데이터 기준)

배포 및 모니터링:
- CS 관리자 승인 후 Engineering 팀에 배포 요청
- 배포 후 1주일 모니터링

품질 체크포인트:

오분류 사례 최소 3건 분석했는가?
개선 방안이 명확한가?
정상 사례에서도 테스트했는가?
CS 관리자 승인 받았는가?

예상 소요 시간: 45분

절차 3: 태깅 정확도 검증

목표: 자동 태깅의 정확도를 측정하고 95% 기준을 유지합니다.

실행 사항:

정확도 측정 (주 1회, 월요일):

지난주 금요일~일요일 채팅 중 랜덤 50개 선택
각 채팅에 대해:
- 시스템 태그 기록: 자동 태그
- 수동 검토 (올바른 태그): 정답 태그
- 일치 여부 기록: ✓ 또는 ✗

예시:
채팅 ID | 내용 | 자동 태그 | 정답 태그 | 일치 |
#1001 | "배송 언제..." | 배송/조회 | 배송/조회 | ✓
#1002 | "반품하고..." | 주문/반품/단순변심 | 주문/반품 | ✗ (하위 태그는 정답 태그)

정확도 계산:

정확도 = (일치 건수 / 총 50건) × 100%

예: 48건 일치 / 50건 = 96%

결과 해석:
- 95% 이상: 정상 (목표 달성)
- 90-95%: 주의 (개선 필요)
- 90% 미만: 경고 (즉시 조치)
오분류 분석 (90% 이상인 경우):
- 오분류된 채팅 목록 정리
- 공통 원인 식별:
  - 유사 키워드 충돌 (예: "배송" vs "배송지")
  - 우선순위 오류 (잘못된 규칙이 먼저 적용됨)
  - 누락된 키워드 (규칙이 변형을 감지하지 못함)
개선 계획 수립:
- 오분류 원인별로 규칙 수정 계획 수립
- 우선순위: 오분류 3건 이상인 규칙부터
- 영향도: 많은 채팅에 영향을 미치는 규칙 우선

결과 기록:

주간 정확도 리포트 (2026-02-10)

정확도: 96% (48/50)

오분류 2건:
1. 채팅 #1245: 자동="배송/조회/배송지연"
              정답="배송/조회/배송현황"
   원인: "배송 늦네"는 지연이 아닌 현황 조회
   개선: 키워드 "지연" 제거

2. 채팅 #1389: 자동="주문/반품"
              정답="주문/반품/단순변심"
   원인: 상위 카테고리만 태깅됨
   개선: 키워드 "단순변심, 마음 바뀌어" 추가

조치: #1 규칙 수정 (이번주 적용)

품질 체크포인트:

최소 50개 채팅 검토했는가?
정확도 계산 정확한가?
오분류 원인을 분석했는가?
개선 계획을 수립했는가?

예상 소요 시간: 60분

주의사항

주의 1: 스팸 우선 처리

스팸 필터가 먼저 작동합니다. 스팸으로 감지된 채팅은 일반 분류 규칙이 적용되지 않습니다.

스팸 감지 시: 스팸 태그만 적용 (주문, 배송 등 태그 미적용)
확인: 대시보드에서 "스팸" 태그 채팅 확인

해결책:

오탐 시 스팸 필터의 화이트리스트 추가 (SOP-CS-002)

주의 2: 키워드 정규화

모든 키워드는 자동으로 정규화됩니다:

대소문자 무시 (대문자 → 소문자)
공백 정규화 (여러 공백 → 1개)
양쪽 공백 제거

의미: "배송지 변경", "배송지변경", " 배송지 변경 " 모두 동일하게 매칭됩니다.

주의 3: 사용자 메시지만 분류

자동 태깅은 고객 메시지만 처리합니다. CS 담당자의 응답은 태깅하지 않습니다.

채팅 내용 포함: 고객의 첫 메시지 + 고객의 모든 추가 메시지
채팅 내용 미포함: CS 담당자의 모든 응답

주의 4: 태그 중복 불가

한 채팅에 같은 상위 카테고리 태그가 여러 개 적용되지 않습니다.

예: 주문/반품, 주문/취소 동시 적용 불가
규칙: 첫 일치 규칙의 태그만 적용

문제 해결: 복합적인 문제인 경우 우선순위 높은 규칙에 맞춰 태깅됨

문제 해결

증상	원인	해결 방법
채팅이 태깅되지 않음	매칭 규칙 없음	"미분류" 태그 적용 또는 새 규칙 추가
잘못된 태그 적용	우선순위 오류 또는 키워드 충돌	규칙 수정 (키워드 추가/제거 또는 우선순위 변경)
같은 문제가 다른 태그로	규칙 누락 또는 변형 미포함	규칙 추가 또는 기존 규칙 키워드 추가
정확도 급락	새 규칙 배포 후 부작용	최근 배포된 규칙 검토 및 롤백

용어 정의

용어	정의
태그	채팅의 분류 레이블 (예: "주문/반품/단순변심")
규칙	키워드 기반 자동 분류 규칙
우선순위	규칙 적용 순서 (높을수록 먼저 적용)
정규화	텍스트 표준화 (대소문자, 공백 처리)
일치	채팅이 규칙의 키워드와 매칭됨
오분류	자동 태그가 정답이 아닌 경우

부서 오너: Brand Ops CS 관리자 최종 수정일: 2026-02-12

원본 문서: Channel Talk Bridge 프로젝트 (src/tagger/) 최종 동기화: 2026-02-12

문서 관리​

목적​

범위​

RABSIC 책임 매트릭스​

태그 체계 이해​

8개 상위 카테고리​

태그 경로 예시​

분류 규칙 관리​

규칙 구조​

규칙 우선순위​

절차 1: 분류 규칙 추가​

절차 2: 분류 규칙 수정​

절차 3: 태깅 정확도 검증​

주의사항​

주의 1: 스팸 우선 처리​

주의 2: 키워드 정규화​

주의 3: 사용자 메시지만 분류​

주의 4: 태그 중복 불가​

문제 해결​

관련 문서​

용어 정의​

문서 관리

목적

범위

RABSIC 책임 매트릭스

태그 체계 이해

8개 상위 카테고리

태그 경로 예시

분류 규칙 관리

규칙 구조

규칙 우선순위

절차 1: 분류 규칙 추가

절차 2: 분류 규칙 수정

절차 3: 태깅 정확도 검증

주의사항

주의 1: 스팸 우선 처리

주의 2: 키워드 정규화

주의 3: 사용자 메시지만 분류

주의 4: 태그 중복 불가

문제 해결

관련 문서

용어 정의