메뉴별 가이드
상담관리
채팅
고객관리
메시지
AI
데이터
설정
목차
AI 상담 해결 리포트는 AI 에이전트가 답변한 상담을 한 건씩 들여다보면서, AI가 고객 문의를 얼마나 해결했는지를 확인하는 화면이에요.
베타 기능이에요. 메뉴에 베타 배지가 붙어 있으며 화면 구성과 지표는 업데이트에 따라 달라질 수 있어요.
0. 시작하기 전에
0-1. 메뉴 위치
•
메뉴 경로: 데이터 > IvyFlow 상담 통계 [베타] > AI 상담 해결 리포트
0-2. 먼저 알아두면 좋은 개념 — '문의'와 '토픽'
이 화면을 이해하려면 두 가지 단위를 구분해야 해요.
구분 | 무엇인가요? | 어디에 쓰이나요? |
토픽 | 그 상담이 어떤 내용이었는지 알려주는 문의 유형 | 상담을 분류할 때 |
문의 | 해결률을 재기 위해 상담 안을 잘게 쪼개 놓은 단위 | 해결/미해결을 판정할 때 |
예를 들어 한 상담에서 고객이 배송 조회, 반품 절차, 교환 가능 여부를 물었다면 → 토픽은 '배송/반품' 같은 유형 하나로, 문의는 3개로 나뉩니다. 해결률은 이 3개 중 몇 개에 잘 답변했느냐로 계산돼요.
0-3. 해결 / 미해결은 이렇게 판정돼요.
판정 | 해당하는 경우 |
| 해결 | AI가 오류 없이 정상 답변한 경우 / 상담사 전환이 있었지만 정책상 의도된 전환인 경우 |
| 미해결 | AI가 답변에 실패한 경우 / 사전에 의도하지 않은 비정책성 전환인 경우 |
'정책상 전환'이란?
· 프롬프트의 페르소나에 반드시 상담사로 전환하도록 지정해둔 경우
· 상담사 연결 도구에 대한 설명·정의가 있는 경우
· 지식베이스 문서 검색 결과에 의해 상담사 전환된 경우
이런 전환은 원래 그러라고 만든 흐름이므로 해결로 봅니다.
세션(상담) 단위 판정 기준 — 60%
AI 답변 해결 비율이 60% 이상이면 '해결', 60% 미만이면 '미해결'로 봅니다.
표의 해결률 컬럼에는 이 기준에 따라 충족 / 미충족 배지가 붙어요.
1. 공통 필터
항목 | 기본값 | 설명 |
집계단위 | 일간 | 일간만 제공돼요 (시간·월간 없음) |
조회 기간 | 이번 달 1일 ~ 어제 | 직접 입력하거나 달력 아이콘으로 골라요 |
채널 | 전체 | 전체 / 해피톡 / 네이버톡톡 / 카카오톡 / 인스타그램 |
에이전트 | 전체 | 계정에 배포된 에이전트 목록에서 골라요 |
조회 | — | 설정한 조건으로 통계를 불러와요 |
초기화 | — | 모든 조건을 기본값으로 되돌려요 |
조건을 바꿔도 조회를 누르기 전까지는 화면이 그대로예요.
2. KPI 카드 2개
지표 | 단위 | 의미 |
전체 AI 상담 수 | 건 | 조회 기간 내 AI 에이전트 노드가 1회 이상 응답한 상담 수 |
AI 해결률 | % | 전체 문의 중 AI가 답변에 성공한 문의의 비율 |
•
AI 해결률 산식: (AI 답변 성공으로 판정된 문의 수 ÷ LLM이 분리한 전체 문의 수) × 100
•
해결률 옆 괄호에는 (해결 문의 수 / 전체 문의 수)가 함께 표시돼요.
•
각 카드 아래에는 이전 기간 대비 증감이 표시돼요.
ⓘ 툴팁 안내
ⓘ | 내용 |
전체 AI 상담 수 | 조회 기간 내 IvyFlow 상담 중 AI가 1회 이상 응답한 상담 수입니다. |
AI 해결률 | 조회 기간 내 AI가 참여한 상담에서 전체 문의 중 답변에 성공한 문의의 비율입니다. |
운영 현황의 'AI 상담 해결률'과 기준이 달라요.
· 운영 현황: 조회일 당일에 생성된 세션 기준
· 이 리포트: 세션이 종결되었거나 상담사에게 전환된 상담만 집계하며, 상담이 끝난 날짜 기준으로 기간에 편입돼요
두 화면의 숫자가 달라도 오류가 아니에요.
3. 상세 테이블
AI가 답변한 상담을 한 건씩 보여주는 표예요.
3-1. 컬럼 설명
컬럼 | 의미 |
IvyFlow 상담 종결 일자 | 해당 상담이 끝난 날짜예요. 여기서 '종결'은 IvyFlow 세션이 끝난 경우와 상담사로 전환된 경우를 모두 포함해요 |
IvyFlow 상담 시작 일자 | 해당 상담이 시작된 날짜 |
대표 토픽 | LLM이 측정한 토픽이에요. 한 상담에 최대 1개만 표시되며, 여러 개가 감지됐다면 첫 번째로 감지된 토픽을 보여줘요 |
받은 문의 수 | LLM이 상담을 분석해 나눈 전체 문의 수 |
해결 문의 수 | 그중 답변에 성공한 문의 수 |
해결률 | (해결 문의 수 ÷ 받은 문의 수) × 100 — 충족 / 미충족 배지가 함께 붙어요 |
상담방 | 해당 상담의 상담방 번호예요. 누르면 상세 패널이 열려요 |
받은 문의 수는 AI가 답변한 부분만 셉니다. 해당 상담에 챗봇 노드가 섞여 있어도, AI 에이전트 노드가 답변한 내용을 기준으로 문의 수가 집계돼요.
ⓘ 툴팁 안내
ⓘ | 내용 |
대표 토픽 | AI가 상담 내용을 분석하여 생성한 문의 유형 중 해당 상담에서 첫번째로 감지한 토픽입니다. |
해결률 | AI 참여 상담에서, 전체 문의 중 AI가 답변에 성공한 문의의 비율입니다. 60% 이상은 '충족' 60% 미만은 '미충족'으로 표시합니다. |
4. 표 위의 기능들
4-1. 검색
검색창 왼쪽 드롭다운에서 무엇으로 찾을지를 먼저 골라요.
검색 기준 | 설명 |
상담 방 번호 (기본) | 특정 상담방을 번호로 찾아요 |
토픽 | 토픽 이름으로 찾아요 |
검색어를 입력한 뒤 검색 버튼을 눌러야 결과가 반영돼요.
4-2. 미충족만 보기
미충족만 보기 버튼을 누르면 해결률이 60% 미만인 행만 걸러서 보여줘요. AI가 잘 대응하지 못한 상담만 빠르게 모아볼 때 유용해요.
4-3. 정렬
컬럼명 옆에 화살표가 있는 컬럼은 클릭해서 정렬할 수 있어요. (상담 종결 일자 / 상담 시작 일자 / 대표 토픽 / 해결률)
화살표가 있는 컬럼은 클릭해서 정렬할 수 있어요. (상담 종결 일자 / 상담 시작 일자 / 대표 토픽 / 해결률)4-4. 페이지네이션
한 페이지에 15개 행이 표시되며, 결과가 더 많으면 페이지가 나뉩니다.
4-5. Excel 내보내기
현재 조회된 표를 Excel 파일로 받아요. 건 회 개 같은 단위가 빠진 숫자만 들어 있어요.
5. 상담방 상세 패널
표의 상담방 번호를 누르면 화면 오른쪽에 패널이 열려요.
•
LLM이 나눈 문의 단위별로, 고객의 문의 내용과 AI 답변 내용의 요약을 보여줘요
•
해결률이 왜 그렇게 나왔는지 근거를 확인할 때 유용해요
대화 원문까지 보기
패널 상단의 상담방 번호를 한 번 더 누르면 운영 내역 > 상담 내역의 대화 원문으로 이동해요.
대화 원문 보기는 Pro 플랜부터 이용 가능한 기능이에요. Pro 플랜이 아니면 동작하지 않습니다.
6. 요소·버튼 총정리
버튼 / 요소 | 위치 | 동작 |
가이드 | 페이지 제목 옆 | 이 메뉴의 가이드 문서를 새 창으로 열어요 |
일간 | 필터 왼쪽 | 집계단위 (이 화면은 일간만 제공) |
달력 아이콘 | 날짜 입력칸 오른쪽 | 두 달 달력을 열어 기간을 골라요 |
채널 ▾ / 에이전트 ▾ | 필터 오른쪽 | 조회 범위를 좁혀요 |
조회 / 초기화 | 필터 끝 | 조건 적용 / 기본값 복원 |
검색 기준 ▾ | 표 우측 상단 | 상담 방 번호 / 토픽 중 골라요 |
검색창 + 검색 | 검색 기준 오른쪽 | 입력 후 버튼을 눌러야 반영돼요 |
미충족만 보기 | 검색 버튼 오른쪽 | 해결률 60% 미만 행만 필터링해요 |
Excel 내보내기 | 표 우측 맨 끝 | 현재 표를 Excel로 다운로드해요 |
| 정렬 화살표 | 컬럼명 옆 | 해당 컬럼 기준으로 정렬해요 |
ⓘ 아이콘 | 지표·컬럼 이름 옆 | 마우스를 올리면 정의 툴팁이 나와요 |
상담방 번호 | 표 맨 오른쪽 셀 | 누르면 상세 패널이 열려요 |
7. 이럴 때 이렇게 보세요
상황 | 확인할 곳 |
AI 응대 품질을 한눈에 볼 때 | KPI → AI 해결률 |
AI가 잘 못 한 상담만 모아볼 때 | 미충족만 보기 버튼 |
특정 상담에서 무슨 일이 있었는지 확인할 때 | 표 → 상담방 번호 클릭 → 상세 패널 |
고객 문의가 많았던 상담을 찾을 때 | 표 → 받은 문의 수 기준 확인 |
특정 주제의 응대 수준을 볼 때 | 검색 기준을 토픽으로 바꿔 검색 |
보고서용 원본 데이터가 필요할 때 | Excel 내보내기 |
8. 알아두면 좋은 점
•
이 화면은 종결되었거나 상담사로 전환된 상담만 다룹니다. 진행 중인 상담은 나오지 않아요.
•
데이터는 상담이 끝난 날짜 기준으로 조회 기간에 편입돼요.
•
집계단위는 일간만 제공돼요.
•
해결률 60%가 충족/미충족을 가르는 기준이에요.
•
상담사로 넘어갔다고 무조건 미해결이 아니에요. 정책상 의도한 전환은 해결로 봅니다.
•
대표 토픽은 한 상담당 1개만 보여줘요. 상담 안에 토픽이 여러 개였다면 첫 번째 것만 표시됩니다. 전체 토픽을 보려면 상담 현황 > 문의 분석을 이용해 주세요.
•
상세 패널에서 대화 원문 보기는 Pro 플랜 이상에서만 동작해요.
•
운영 현황의 AI 해결률과는 집계 대상이 달라 숫자가 차이 날 수 있어요.