CanRobot · 캔로봇
Microsoft Certified Trainer Microsoft MVP 2025

M3-4. 분석 — 데이터로 에이전트를 개선한다

한 줄 요약Analytics 페이지의 세션·해결률·에스컬레이션 지표와 실제 사용자 발화가 개선의 근거입니다. 분석 → 토픽·지식 보강 → 재게시 사이클을 정기적으로 돌리세요.

1. 분석 페이지 열기

에이전트의 Analytics 페이지 — 게시 후 실제 사용 데이터가 쌓이면 지표가 표시됩니다.

2. 핵심 지표

지표 의미 개선 신호
총 세션(Sessions) 대화 세션 수 사용량 추세
참여율(Engagement) 토픽 트리거·의미 있는 상호작용 비율 낮으면 → 진입 안내·시작 문구 개선
해결률(Resolution) 에이전트가 해결한 세션 비율 낮으면 → 토픽·지식 보강
에스컬레이션률(Escalation) 사람 연결로 넘어간 비율 높으면 → 해당 주제 토픽 신설
CSAT 만족도 설문 점수 낮은 토픽부터 개선
토픽별 성과 토픽 단위 세션·해결률 볼륨 큰 저성과 토픽 우선

Analytics 핵심 지표 화면 구성 예시 — 실제 화면·명칭은 버전에 따라 다를 수 있습니다

3. 개선 사이클

게시 → 사용 → 분석 확인
  → 미해결·에스컬레이션 세션의 실제 발화 검토
  → 조치 선택:
     · 반복되는 새 주제 → 토픽 신설 (자주 묻는 질문의 정형화)
     · 있는 토픽 미트리거 → 트리거 구문/설명 보강
     · 지식 오답 → 소스 정비·추가
  → 재게시 → 다음 주기 확인

공식 워크플로도 같은 방향입니다 — 처음에는 지식 중심으로 빠르게 게시하고, 분석에서 발견한 자주 묻는 질문을 정형 토픽으로 만들어 갑니다 (M1-5).

4. 에이전트 플로우 모니터링

에이전트 플로우는 별도로 관찰합니다:

  • 플로우 상세 화면에서 실행 기록(run history) — 성공·실패·소요 시간
  • 실패 실행을 열어 어느 작업에서 실패했는지 입력·출력 확인
  • 용량(작업 수) 사용량은 Power Platform 관리센터에서 확인 (M3-5)

5. 운영 루틴 제안

주기 할 일
주 1회 해결률·에스컬레이션 확인, 미해결 발화 10건 검토
격주 트리거 구문·지식 소스 보강, 재게시
월 1회 토픽 구조 재검토 — 볼륨 큰 주제의 정형화, 안 쓰는 토픽 정리

핵심 정리

  1. 지표의 우선순위 — 해결률·에스컬레이션 이 두 개가 개선 대상 지정에 가장 유용합니다
  2. 실제 발화가 최고의 트리거 구문 소스입니다 — 상상으로 쓰지 마세요
  3. 분석 → 보강 → 재게시를 정기 루틴으로 — 에이전트는 출시 후에 완성됩니다

M3 운영으로 · 다음: M3-5. 라이선스·용량

출처: Analytics overview (MS Learn)

이 과정은 Microsoft Learn 공식 문서(Copilot Studio 개요 · 하네스 선택 · 토픽 · 에이전트 플로우)를 참고하여 제작했습니다.