PART 04 · Microsoft Foundry

우리 회사만의 AI를
바닥부터 만드는 공장

Foundry Models · Agent Service · Foundry IQ · Foundry Local · Control Plane

🧠 모델 고르기

OpenAI · Anthropic · Meta 등 10,000개 이상의 모델을 한 카탈로그에서 비교 · 배포

🤖 에이전트 만들기

설정만으로 만드는 프롬프트 에이전트부터 코드를 통째로 올리는 호스티드 에이전트까지

🛡️ 지식 · 관리

Foundry IQ로 사내 데이터를 연결하고, Control Plane으로 조직 전체 에이전트를 통제

난이도 중상급 — IT · 개발 조직 중심

다루는 제품 Foundry 5개 구성 요소

읽는 시간 약 12분

출처 Microsoft Learn

Copilot Studio가 "조립"이라면, Foundry는 "제작"입니다

Copilot Studio와 Power Platform은 Microsoft가 준비해 둔 부품을 코딩 없이 조립해 에이전트를 만드는 곳입니다. Microsoft Foundry(구 Azure AI Foundry)는 그보다 한 층 아래에 있는 개발자용 AI 플랫폼입니다. 어떤 AI 모델을 쓸지 직접 고르고, 에이전트 코드를 직접 짜고, 사내 데이터를 어떻게 연결할지 설계하고, 만든 에이전트가 안전하게 돌아가는지 추적 · 평가 · 통제하는 일까지 한 곳에서 합니다. Azure 위에서 동작하므로 Azure 구독이 필요하고, 사용한 만큼 과금됩니다.

구성 요소	한마디로	누가 주로 쓰나요
Foundry Models	모델 카탈로그 — 고르고 비교하고 배포	앱 개발자
Foundry Agent Service	에이전트를 만들고 운영하는 관리형 플랫폼	에이전트 개발자
Foundry IQ	사내 데이터를 에이전트의 지식으로 연결	에이전트 개발자 · 데이터 담당
Foundry Local	클라우드 없이 PC · 기기 안에서 도는 AI	앱 개발자
Foundry Control Plane	조직 전체 에이전트 · 모델 · 도구의 거버넌스	플랫폼 · 보안 관리자

💡 비개발자가 알아야 할 이유 Copilot Studio에서 "이 기능은 안 돼요"라는 말을 듣는 순간이 Foundry가 등장하는 지점입니다. IT · 개발팀이 Foundry로 만든 에이전트는 Teams · Microsoft 365 Copilot에 게시돼 결국 일반 직원이 쓰게 됩니다. "우리 회사 AI가 어디서 만들어지는지" 정도만 알아도 요구 사항을 전달할 때 대화가 훨씬 쉬워집니다.

Microsoft Foundry 공식 문서 →

🧠

FOUNDRY 01

Foundry Models

OpenAI · Anthropic · Meta · Mistral · DeepSeek — 10,000개 이상의 모델을 한 카탈로그에서

모델 카탈로그나란히 비교 · 평가파인튜닝Azure OpenAI 포함

① 무엇인가요?

AI 모델을 찾고, 비교하고, 배포하는 카탈로그입니다. Microsoft · Azure OpenAI · Anthropic · Meta · Mistral · Cohere · Hugging Face 등의 모델이 10,000개 이상 등록돼 있고, 매달 50개 안팎이 새로 추가됩니다. Azure가 직접 판매 · 지원하는 모델과, 파트너 · 커뮤니티 모델로 나뉩니다.

② 어떤 업무에 쓰나요?

우리 업무에 맞는 모델을 실제 데이터로 나란히 비교해 고르기
비용 · 속도 · 정확도 요구에 따라 대형 · 소형 모델 선택
사내 문서 · 용어로 모델을 파인튜닝
기존 Azure OpenAI 리소스를 Foundry로 업그레이드해 그대로 사용

③ 이렇게 씁니다

고객 상담 요약에 GPT 계열과 Claude 계열을 같은 100건으로 비교 평가 → 비용 대비 품질이 나은 쪽 배포
제조 용어가 많은 검사 보고서 분류를 위해 소형 모델을 사내 데이터로 파인튜닝
기존 Azure OpenAI 엔드포인트 · 키를 유지한 채 Foundry 리소스로 전환

④ 필요한 것

Azure 구독 — 토큰(입력 · 출력) 사용량 기반 과금
모델별 지역 · 배포 유형 제약 확인
모델 카드 · 이용 약관 검토는 사용자 책임
Azure AI Content Safety 등 안전 장치 구성

Foundry Models 공식 문서 →

🤖

FOUNDRY 02

Foundry Agent Service

에이전트를 만들고, 배포하고, 운영하는 관리형 플랫폼 — 설정만으로도, 코드로도

프롬프트 에이전트호스티드 에이전트Toolbox · MCP 워크플로관측 · 평가Teams · M365 Copilot 게시

① 무엇인가요?

에이전트를 어떤 프레임워크 · 어떤 모델로든 만들어 운영하는 서비스입니다. 두 가지 방식이 있습니다. 프롬프트 에이전트는 지시문 · 모델 · 도구만 설정하면 Foundry가 대신 실행합니다 — 코드도 인프라도 관리할 것이 없습니다. 호스티드 에이전트는 직접 짠 코드(Agent Framework · LangGraph · OpenAI · Anthropic SDK 등)를 컨테이너로 올리면 Foundry가 엔드포인트 · 확장 · ID · 세션 상태를 관리해 줍니다. 여러 에이전트를 순서대로 엮는 워크플로, 도구 묶음을 한 번 정의해 공유하는 Toolbox도 포함됩니다.

② 어떤 업무에 쓰나요?

Copilot Studio로는 부족한 복잡한 로직 · 외부 시스템 연동 에이전트
사내 개발팀이 이미 만든 에이전트 코드를 안전하게 운영
웹 검색 · 파일 검색 · 코드 실행 · MCP 서버 · 사용자 함수 조합
에이전트가 실제로 무엇을 했는지 추적 · 평가 · 레드팀 점검
완성된 에이전트를 Teams · Microsoft 365 Copilot에 게시

③ 이렇게 씁니다

ERP API를 호출해 재고를 확인하고 발주 초안을 만드는 에이전트를 코드로 작성 → 호스티드 에이전트로 배포 → Teams에 게시
포털에서 "품질 이슈 분류 에이전트"를 지시문 + 파일 검색 도구만으로 만들어 30분 만에 테스트
출시 전 평가 세트로 점수를 재고, 배포 후 대시보드에서 응답 품질 · 비용을 모니터링

④ 필요한 것

Azure 구독 · Foundry 프로젝트
모델 추론 비용 + 도구(코드 실행 · 파일 검색) 및 호스팅 자원 비용
호스티드 에이전트는 개발 역량 필요 — 프롬프트 에이전트는 포털만으로 가능
Microsoft Entra ID · 역할 기반 접근 제어 · 네트워크 격리 설계

✅ 고르는 기준 한 줄 관리할 것이 가장 적어야 한다 → 프롬프트 에이전트 / 코드와 프레임워크를 내가 정해야 한다 → 호스티드 에이전트 / 이미 다른 곳에서 돌아가는 에이전트가 있다 → Responses API만 호출

Foundry Agent Service 공식 문서 →

📚

FOUNDRY 03

Foundry IQ

사내 데이터를 "권한을 지키며" 에이전트의 지식으로 연결하는 관리형 지식 계층

지식 베이스에이전틱 검색SharePoint · OneLake · Blob · 웹 권한 · 민감도 레이블 준수일부 기능 미리 보기

① 무엇인가요?

AI 모델은 우리 회사 문서를 모릅니다. Foundry IQ는 SharePoint · OneLake · Azure Blob · 공개 웹 같은 여러 출처를 하나의 지식 베이스로 묶고, 에이전트가 질문하면 어떤 출처를 뒤질지 스스로 계획해 여러 검색을 병렬로 실행한 뒤 출처가 표시된 답을 돌려줍니다. 질문한 사람의 권한과 Purview 민감도 레이블을 검색 시점에 적용하므로, 볼 수 없는 문서는 답에 섞이지 않습니다. Azure AI Search 위에서 동작합니다.

② 어떤 업무에 쓰나요?

흩어진 사내 문서를 근거로 답하는 지식 에이전트
지식 베이스 하나를 여러 에이전트가 공유 — 출처마다 따로 연결할 필요 없음
문서 분할 · 벡터화 · 메타데이터 추출 · 주기적 재색인 자동화
Copilot Studio 에이전트의 지식 소스로도 연결 가능

③ 이렇게 씁니다

규정 · 계약서 · 기술 문서 3개 SharePoint 사이트를 지식 베이스 하나로 묶고, 법무 · 영업 에이전트가 함께 사용
"작년 A사 계약의 위약금 조항은?" → 질문자에게 열람 권한이 있는 문서만 근거로 답변 + 출처 링크

④ 필요한 것

Azure AI Search 리소스(무료 계층으로 PoC 가능)
지식 소스 접근 권한 · ACL 동기화 설정
Work IQ(M365) · Fabric IQ(분석 데이터)와는 역할이 다르며 함께 쓸 수 있음
일부 기능은 미리 보기 — API 버전에 따라 제공 범위 상이

💡 IQ 3형제 Work IQ는 Microsoft 365의 협업 신호(문서 · 회의 · 채팅)를, Fabric IQ는 OneLake · Power BI의 비즈니스 데이터 의미를, Foundry IQ는 Azure · SharePoint · 웹에 흩어진 기업 데이터를 에이전트에 연결합니다. 각각 독립적이지만, 셋을 합치면 에이전트가 "회사가 어떻게 돌아가는지"를 가장 넓게 이해합니다.

Foundry IQ 공식 문서 →

💻

FOUNDRY 04

Foundry Local

인터넷 없이, 데이터가 기기를 떠나지 않고, 토큰 비용 없이 — 앱 안에 들어가는 로컬 AI

온디바이스 실행오프라인토큰 과금 없음Azure 구독 불필요 C# · Python · JS · Rust SDK

① 무엇인가요?

클라우드 대신 사용자의 PC · 기기 안에서 AI 모델을 돌리는 런타임과 SDK입니다. 약 20MB의 가벼운 런타임이 앱에 함께 들어가, 기기의 GPU · NPU를 자동으로 감지해 가속하고 Phi · Qwen · Mistral · Whisper 같은 소형 모델을 내려받아 실행합니다. 프롬프트와 결과가 기기 밖으로 나가지 않으며, OpenAI 호환 API라 기존 코드를 거의 그대로 씁니다.

② 어떤 업무에 쓰나요?

민감한 음성 · 문서 · 이미지를 외부로 보낼 수 없는 업무
공장 · 현장 · 선박처럼 네트워크가 불안정한 환경
실시간 반응이 필요한 앱 — 네트워크 지연 0
사용자 수가 많아 클라우드 토큰 비용이 부담되는 앱

③ 이렇게 씁니다

현장 점검 앱이 오프라인에서 음성 메모를 받아 적고 보고서 초안을 정리
병원 내 PC에서 진료 기록 요약을 기기 안에서만 처리
영업 노트북에서 인터넷 없이 제품 매뉴얼 Q&A

④ 필요한 것

앱을 만들 개발 역량 — 최종 사용자 제품이 아니라 개발자 도구
모델을 돌릴 만한 기기 사양(GPU · NPU 있으면 유리)
카탈로그에 있는 소형 모델만 지원 — 대형 모델 실험용은 아님
단일 사용자용 — 다중 사용자 서버 추론에는 부적합

Foundry Local 공식 문서 →

🛡️

FOUNDRY 05

Foundry Control Plane

회사 안에 몇 개의 에이전트가 있고, 누가 만들었고, 무엇을 하고 있는지 — 한 화면에서

에이전트 인벤토리정책 · 한도관측 · 감사가드레일AI 레드팀

① 무엇인가요?

여러 프로젝트에 흩어진 에이전트 · 모델 · 도구를 조직 단위로 통제하는 거버넌스 계층입니다. Foundry 에이전트(프롬프트 · 호스티드 · 워크플로)는 물론 Azure SRE Agent, Logic Apps 에이전트 루프, 직접 등록한 커스텀 에이전트까지 자동으로 찾아 목록화하고, 버전 · 게시 상태 · 사용량을 보여 줍니다. 콘텐츠 필터 같은 가드레일, 취약점을 찾는 AI 레드팀 스캔, 비용 한도 · 정책 설정이 여기서 이뤄집니다.

② 어떤 업무에 쓰나요?

"우리 회사에 에이전트가 몇 개인가"에 답하는 인벤토리
부서별 예산 · 사용 한도 · 허용 모델 정책
배포 전 안전성 점검(레드팀) · 배포 후 품질 · 비용 모니터링
감사 · 규정 준수 보고

③ 이렇게 씁니다

보안팀이 신규 에이전트에 자동 레드팀 스캔을 돌려 위험 응답 패턴을 사전에 차단
영업 · 재무 부서 에이전트의 월 토큰 한도를 각각 설정하고 초과 시 알림
운영 중인 에이전트 v6와 개발 중인 v7을 한 목록에서 추적

④ 필요한 것

Azure 구독 · 플랫폼 관리자 권한
Copilot Studio 에이전트는 Power Platform 관리 센터가 담당 — 관리 화면이 다릅니다
클래식 에이전트 · Azure OpenAI Assistants는 지원 대상 아님
IT · 보안 · 현업이 함께 정책 기준을 합의해야 합니다

Foundry Control Plane 공식 문서 →

Copilot Studio vs Foundry — 어디서 만들어야 할까?

둘은 경쟁 관계가 아니라 층이 다른 도구입니다. 현업이 빠르게 만들 수 있는 것은 Copilot Studio, 개발팀이 깊게 만들어야 하는 것은 Foundry. 그리고 Foundry에서 만든 에이전트는 Copilot Studio 에이전트와 마찬가지로 Teams · Microsoft 365 Copilot에서 직원이 씁니다.

구분	Copilot Studio (하네스 3종)	Microsoft Foundry
만드는 사람	현업 담당자 · 시민 개발자	개발자 · 데이터 · 플랫폼 엔지니어
만드는 방식	토픽 · 지식 · 커넥터를 화면에서 조립	포털 설정(프롬프트 에이전트) 또는 코드 · 컨테이너(호스티드)
모델 선택	Microsoft가 관리하는 모델 사용	10,000개 이상 카탈로그에서 직접 선택 · 파인튜닝
지식 연결	SharePoint · Dataverse · 커넥터	Foundry IQ · Azure AI Search · 임의 데이터 소스
운영 · 관리	Power Platform 관리 센터	Foundry Control Plane · 관측 · 평가 · 레드팀
과금	Copilot Studio 용량 · Copilot 크레딧	Azure 사용량(토큰 · 컴퓨팅 · 검색)
쓰는 곳	Teams · M365 Copilot · 웹 · 앱	Teams · M365 Copilot · 자체 앱 · API

✅ 고르는 기준 한 줄 현업이 2주 안에 써야 한다 → Copilot Studio / 모델 · 코드 · 데이터 파이프라인을 직접 통제해야 한다 → Foundry / 둘 다 → Foundry로 핵심 엔진을 만들고 Copilot Studio에서 연결

⚠️ 명칭 변경 안내 "Azure AI Foundry" · "Azure AI Studio" · "Azure OpenAI Service"로 알려졌던 제품이 Microsoft Foundry로 통합됐습니다. 기존 허브 기반 프로젝트는 Foundry(classic) 포털에서 계속 쓸 수 있으나 신규 투자는 새 포털의 Foundry 프로젝트에 집중됩니다. 문서 · 강의 자료에서 옛 이름을 보더라도 같은 제품으로 이해하시면 됩니다.