M3-4. 분석 — 데이터로 에이전트를 개선한다
한 줄 요약 — Analytics 페이지의 세션·해결률·에스컬레이션 지표와 실제 사용자 발화가 개선의 근거입니다. 분석 → 토픽·지식 보강 → 재게시 사이클을 정기적으로 돌리세요.
1. 분석 페이지 열기
에이전트의 Analytics 페이지 — 게시 후 실제 사용 데이터가 쌓이면 지표가 표시됩니다.
2. 핵심 지표
| 지표 | 의미 | 개선 신호 |
|---|---|---|
| 총 세션(Sessions) | 대화 세션 수 | 사용량 추세 |
| 참여율(Engagement) | 토픽 트리거·의미 있는 상호작용 비율 | 낮으면 → 진입 안내·시작 문구 개선 |
| 해결률(Resolution) | 에이전트가 해결한 세션 비율 | 낮으면 → 토픽·지식 보강 |
| 에스컬레이션률(Escalation) | 사람 연결로 넘어간 비율 | 높으면 → 해당 주제 토픽 신설 |
| CSAT | 만족도 설문 점수 | 낮은 토픽부터 개선 |
| 토픽별 성과 | 토픽 단위 세션·해결률 | 볼륨 큰 저성과 토픽 우선 |
화면 구성 예시 — 실제 화면·명칭은 버전에 따라 다를 수 있습니다
3. 개선 사이클
게시 → 사용 → 분석 확인
→ 미해결·에스컬레이션 세션의 실제 발화 검토
→ 조치 선택:
· 반복되는 새 주제 → 토픽 신설 (자주 묻는 질문의 정형화)
· 있는 토픽 미트리거 → 트리거 구문/설명 보강
· 지식 오답 → 소스 정비·추가
→ 재게시 → 다음 주기 확인
공식 워크플로도 같은 방향입니다 — 처음에는 지식 중심으로 빠르게 게시하고, 분석에서 발견한 자주 묻는 질문을 정형 토픽으로 만들어 갑니다 (M1-5).
4. 에이전트 플로우 모니터링
에이전트 플로우는 별도로 관찰합니다:
- 플로우 상세 화면에서 실행 기록(run history) — 성공·실패·소요 시간
- 실패 실행을 열어 어느 작업에서 실패했는지 입력·출력 확인
- 용량(작업 수) 사용량은 Power Platform 관리센터에서 확인 (M3-5)
5. 운영 루틴 제안
| 주기 | 할 일 |
|---|---|
| 주 1회 | 해결률·에스컬레이션 확인, 미해결 발화 10건 검토 |
| 격주 | 트리거 구문·지식 소스 보강, 재게시 |
| 월 1회 | 토픽 구조 재검토 — 볼륨 큰 주제의 정형화, 안 쓰는 토픽 정리 |
핵심 정리
- 지표의 우선순위 — 해결률·에스컬레이션 이 두 개가 개선 대상 지정에 가장 유용합니다
- 실제 발화가 최고의 트리거 구문 소스입니다 — 상상으로 쓰지 마세요
- 분석 → 보강 → 재게시를 정기 루틴으로 — 에이전트는 출시 후에 완성됩니다
M3 운영으로 · 다음: M3-5. 라이선스·용량
이 과정은 Microsoft Learn 공식 문서(Copilot Studio 개요 · 하네스 선택 · 토픽 · 에이전트 플로우)를 참고하여 제작했습니다.