단계별 실습 ⑦ — 통합 테스트 → 평가(Evaluate) · 게시(Publish)
목표 — ⓪~⑥에서 조립한 팀이 한 흐름으로 맞물리는지 Preview로 검증하고, 같은 체인을 Evaluate 테스트셋으로 등록해 정량 점수로 관리한 뒤 게시합니다. ⏱ 약 25분 · 사용 기능: Preview 체인 테스트 · Evaluate 테스트셋·실행·비교 · Publish 📎 실습 파일: 통합테스트_체크리스트.xlsx · 평가용_테스트질문.csv
1. 통합 시나리오 체인 (Preview)
Preview에서 순서대로 실행하고 각 단계의 담당 요소를 확인합니다.
| # | 입력 | 기대 동작 | 요소 (조립한 실습) |
|---|---|---|---|
| 1 | 업무포털 구축 RFP 초안 검토 시작 |
누락 사업정보 되묻기 | 지침 ① |
| 2 | (실습④ RFP 발췌 붙여넣기) 검토해줘 |
구조화 보고서 형식 + 독소조항 4개↑ | 스킬 ④ |
| 3 | 바다전자 발주 때와 비슷한 위험 있어? |
과거 발주 사례 비교 + 출처 | 지식 ② |
| 4 | 지체상금 조항 깊게 검토해줘 |
검토관 위임 → 요약 회신 | 연결된 에이전트 ⑤ |
| 5 | 제안 마감일이 있는 8월 공휴일 조회해줘 |
공휴일 API 커넥터 호출 | 도구 ③ |
| 6 | 내 관심 분야 기준으로 종합 브리핑해줘 |
관심 분야 반영 종합 | 메모리 ⑤ |
6단계가 모두 통과하면 통합 테스트 완료입니다. 실패한 단계는 활동 추적(activity trace) 으로 지식 인용·도구 호출·위임 여부를 노드 단위로 확인하세요(M3-1 Preview).
2. Evaluate — 체인을 테스트셋으로 승격
수동 체인 테스트는 한 번뿐입니다. 지침·스킬을 고칠 때마다 다시 확인하려면 테스트 세트로 만들어야 합니다.
- Evaluate 탭 → 테스트 세트 생성 — 3가지 방법 중 택 1:
- 수동 작성: Add conversations → Write → 위 체인 6개 질문 입력 (실습 파일 평가용_테스트질문.csv에 질문·기대 응답 정리본이 있습니다 — 복붙용)
- CSV 업로드: Evaluate 탭의 CSV 링크로 공식 템플릿을 받아 실습 파일 내용을 옮겨 업로드(최대 5 MB)
- AI 생성: Quick conversation set — 지침 기반 대화 10개 자동 생성 후 검토
- Configure test set 패널 → Name
RFP검토_통합테스트-[이니셜]→ Evaluate 실행 - 결과 확인 — General quality 점수(Pass/Fail), 대화별 상세, Export test results(CSV)
운영 루프 체험 — 지침에서 가드레일 한 줄을 일부러 지우고 Evaluate test set again → 점수가 떨어지는지 확인 → 되돌리고 재실행. “변경이 품질을 바꿨는가”를 실행 간 비교로 관리하는 것이 Preview와 Evaluate의 결정적 차이입니다.
3. 게시(Publish) — 팀을 사용자에게
- 주 에이전트 → Publish — 초안(draft)의 스냅숏으로 라이브 버전 생성 (독소조항 검토관은 ⑤에서 이미 게시됨 — 연결된 에이전트는 게시가 전제 조건입니다)
- 채널 연결 — Demo website(가장 빠른 확인) 또는 Teams / M365 Copilot
- Share로 동료에게 공유(새 환경은 뷰어 권한만) → 데모 사이트에서 체인 1~2단계 재검증
- 게시 후 Monitor 탭이 활성화되는지 확인 — 최근 작업·접근 파일 관찰은 M3-4 참고
⚠️ 재게시 전까지 초안 변경은 라이브에 반영되지 않습니다. Evaluate로 검증 → 게시의 순서를 습관화하세요.
마무리 체크리스트
- 지침이 판단 기준(4항목·추측 금지·사람 확인)을 유지하는가
- 스킬이 검토 요청에만 로드되는가(라우팅)
- 참고자료 폴더에 문서 추가 시 자동 반영되는가
- 도구 설명만으로 커넥터가 채택되는가
- 위임 결과가 요약으로만 돌아오는가
- Evaluate 테스트셋이 저장되어 재실행 가능한가
- 게시 후 데모 웹사이트에서 정상 응답하는가
M3 운영으로 · 세션: M3-2 평가 · M3-3 출판·배포 · 다음 실습: ⑧ RFP 접수 워크플로
출처: Test an agent (MS Learn) · Evaluate an agent (MS Learn) · Publish overview for agents (MS Learn)