
(위 이미지를 클릭하면 이 수업의 비디오를 시청할 수 있습니다)
에이전트형 RAG
이 수업은 외부 소스에서 정보를 가져오면서 대형 언어 모델(LLMs)이 자율적으로 다음 단계를 계획하는 새로운 AI 패러다임인 에이전트형 Retrieval-Augmented Generation(Agentic RAG)에 대한 포괄적인 개요를 제공합니다. 정적인 검색-후-읽기 패턴과 달리, 에이전트형 RAG는 도구 또는 함수 호출과 구조화된 출력이 삽입된 반복적인 LLM 호출을 포함합니다. 시스템은 결과를 평가하고 쿼리를 정제하며 필요하면 추가 도구를 호출하고 만족스러운 솔루션이 나올 때까지 이 사이클을 계속합니다.
소개
이 수업에서는 다음을 다룹니다
- 에이전트형 RAG 이해: 대형 언어 모델(LLMs)이 외부 데이터 소스에서 정보를 가져오면서 자율적으로 다음 단계를 계획하는 AI의 새로운 패러다임에 대해 배웁니다.
- 반복적 메이커-체커 스타일 이해: 정교하지 않은 쿼리를 처리하고 정확성을 향상시키기 위해 도구나 함수 호출과 구조화된 출력이 삽입된 반복적인 LLM 호출의 루프 개념을 이해합니다.
- 실용적 적용 사례 탐구: 정확성 우선 환경, 복잡한 데이터베이스 상호작용, 장기 워크플로우 등 에이전트형 RAG가 빛을 발하는 시나리오를 식별합니다.
학습 목표
이 수업을 완료하면 다음을 알거나 이해하게 됩니다:
- 에이전트형 RAG 이해: 대형 언어 모델(LLMs)이 외부 데이터 소스에서 정보를 가져오면서 자율적으로 다음 단계를 계획하는 AI의 새로운 패러다임에 대해 배웁니다.
- 반복적 메이커-체커 스타일: 정교하지 않은 쿼리를 처리하고 정확성을 향상시키기 위해 도구나 함수 호출과 구조화된 출력이 삽입된 반복적인 LLM 호출의 루프 개념을 이해합니다.
- 추론 과정의 주체성 확보: 사전에 정의된 경로에 의존하지 않고 문제에 접근하는 방법을 결정하는 시스템의 능력을 이해합니다.
- 워크플로우: 에이전트형 모델이 독립적으로 시장 동향 보고서를 검색하고, 경쟁사 데이터를 식별하고, 내부 판매 지표와 연관시켜 결과를 종합하고 전략을 평가하는 방식을 이해합니다.
- 반복 루프, 도구 통합 및 메모리: 시스템이 반복되는 상호작용 패턴에 의존하며 단계 간 상태와 메모리를 유지하여 반복 루프를 피하고 보다 정보에 기반한 결정을 내리는 방법을 학습합니다.
- 실패 모드 및 자기 수정 처리: 반복 및 재쿼리, 진단 도구 사용, 인간 감독에 의한 대체 등 시스템의 강력한 자기 수정 메커니즘을 탐구합니다.
- 에이전시의 경계: 도메인 특정 자율성, 인프라 의존성, 가드레일 준수를 중심으로 에이전시의 한계를 이해합니다.
- 실용적 사용 사례 및 가치: 정확성 우선 환경, 복잡한 데이터베이스 상호작용, 확장된 워크플로우 등 에이전트형 RAG가 빛을 발하는 시나리오를 식별합니다.
- 거버넌스, 투명성 및 신뢰: 설명 가능한 추론, 편향 제어, 인간 감독 등 거버넌스와 투명성의 중요성을 배웁니다.
에이전트형 RAG란?
Agentic Retrieval-Augmented Generation(에이전트형 RAG)은 대형 언어 모델(LLMs)이 외부 소스에서 정보를 가져오면서 자율적으로 다음 단계를 계획하는 새로운 AI 패러다임입니다. 정적인 검색-후-읽기 패턴과 달리, 에이전트형 RAG는 도구 또는 함수 호출과 구조화된 출력이 삽입된 반복적인 LLM 호출을 포함합니다. 시스템은 얻은 결과를 평가하고 쿼리를 정제하며 필요하면 추가 도구를 호출하고 만족스러운 솔루션이 나올 때까지 이 사이클을 계속합니다. 이러한 반복적인 “메이커-체커” 스타일은 정확성을 향상시키고, 잘못된 쿼리를 처리하며, 높은 품질의 결과를 보장합니다.
시스템은 실패한 쿼리를 재작성하고, 다른 검색 방법을 선택하며, 최종 답변을 내리기 전에 Azure AI Search의 벡터 검색, SQL 데이터베이스 또는 맞춤형 API와 같은 여러 도구를 통합하는 등 추론 과정을 스스로 주도합니다. 에이전트형 시스템의 구분되는 특징은 추론 과정을 주체적으로 소유하는 능력입니다. 전통적인 RAG 구현은 사전 정의된 경로에 의존하지만, 에이전트형 시스템은 찾은 정보의 품질에 따라 단계의 순서를 자율적으로 결정합니다.
에이전트형 Retrieval-Augmented Generation(Agentic RAG) 정의
Agentic Retrieval-Augmented Generation(에이전트형 RAG)은 LLM이 외부 데이터 소스에서 정보를 가져올 뿐만 아니라 자율적으로 다음 단계를 계획하는 AI 개발의 새로운 패러다임입니다. 정적인 검색-후-읽기 패턴이나 정교하게 스크립팅된 프롬프트 시퀀스와 달리, 에이전트형 RAG는 도구 또는 함수 호출과 구조화된 출력이 삽입된 반복적인 LLM 호출의 루프를 포함합니다. 매 단계에서 시스템은 얻은 결과를 평가하고 쿼리를 정제할지 여부를 결정하며, 필요하면 추가 도구를 호출하고 만족스러운 솔루션을 얻을 때까지 이 사이클을 계속합니다.
이러한 반복적인 “메이커-체커” 운영 방식은 정확성을 개선하고, 구조화된 데이터베이스(e.g. NL2SQL)에 대한 잘못된 쿼리를 처리하며, 균형 잡히고 고품질의 결과를 보장하도록 설계되었습니다. 단순히 정교하게 엔지니어링된 프롬프트 체인에만 의존하는 대신, 시스템은 추론 과정을 주체적으로 소유합니다. 실패한 쿼리를 다시 작성하고, 다른 검색 방법을 선택하며, 답을 확정하기 전에 Azure AI Search의 벡터 검색, SQL 데이터베이스, 맞춤형 API 등 여러 도구를 통합할 수 있습니다. 이는 지나치게 복잡한 오케스트레이션 프레임워크의 필요성을 제거합니다. 대신 비교적 단순한 “LLM 호출 → 도구 사용 → LLM 호출 → …” 루프만으로도 정교하고 잘 근거된 출력을 얻을 수 있습니다.

추론 과정의 주체성 확보
시스템을 “에이전트적”으로 만드는 구분되는 특징은 추론 과정을 스스로 소유하는 능력입니다. 전통적인 RAG 구현은 모델이 무엇을 언제 검색해야 하는지를 개략적으로 설명하는 체인-오브-생각을 인간이 사전에 정의하는 경우가 많습니다.
하지만 시스템이 진정으로 에이전트적일 때, 그것은 문제에 접근하는 방법을 내부적으로 결정합니다. 단순히 스크립트를 실행하는 것이 아니라, 찾은 정보의 품질에 따라 단계의 순서를 자율적으로 결정합니다.
예를 들어, 제품 출시 전략을 작성하라는 요청을 받으면, 전체 연구 및 의사결정 워크플로우를 모두 명시한 프롬프트에만 의존하지 않습니다. 대신 에이전트형 모델은 독립적으로 다음을 결정합니다:
- Retrieve current market trend reports using Bing Web Grounding
- Identify relevant competitor data using Azure AI Search.
- Correlate historical internal sales metrics using Azure SQL Database.
- Synthesize the findings into a cohesive strategy orchestrated via Azure OpenAI Service.
- Evaluate the strategy for gaps or inconsistencies, prompting another round of retrieval if necessary.
이러한 모든 단계—쿼리 정제, 소스 선택, 결과에 “만족”할 때까지의 반복—는 사람이 미리 스크립트한 것이 아니라 모델이 결정합니다.
반복 루프, 도구 통합 및 메모리

에이전트형 시스템은 루프형 상호작용 패턴에 의존합니다:
- 초기 호출: 사용자의 목표(즉, 사용자 프롬프트)가 LLM에 제시됩니다.
- 도구 호출: 모델이 누락된 정보나 모호한 지시를 식별하면, 벡터 데이터베이스 쿼리(예: Azure AI Search Hybrid search over private data)나 구조화된 SQL 호출과 같은 도구나 검색 방법을 선택하여 더 많은 컨텍스트를 수집합니다.
- 평가 및 정제: 반환된 데이터를 검토한 후, 모델은 정보가 충분한지 판단합니다. 충분하지 않으면 쿼리를 정제하거나 다른 도구를 시도하거나 접근 방식을 조정합니다.
- 만족할 때까지 반복: 모델이 최종적으로 명확성과 증거가 충분하다고 판단할 때까지 이 사이클을 계속합니다.
- 메모리 및 상태: 시스템은 단계 간 상태와 메모리를 유지하기 때문에 이전 시도와 그 결과를 기억하여 반복 루프를 피하고 진행하면서 더 정보에 기반한 결정을 내릴 수 있습니다.
시간이 지남에 따라 이는 진화하는 이해의 감각을 만들어내어, 사용자가 지속적으로 개입하거나 프롬프트를 재구성할 필요 없이 모델이 복잡한 다단계 작업을 탐색할 수 있게 합니다.
실패 모드 처리 및 자기 수정
에이전트형 RAG의 자율성은 또한 강력한 자기 수정 메커니즘을 포함합니다. 시스템이 관련 없는 문서를 검색하거나 잘못된 쿼리를 만나는 등 막다른 길에 부딪힐 때, 다음을 수행할 수 있습니다:
- 반복 및 재쿼리: 낮은 가치의 응답을 반환하는 대신, 모델은 새로운 검색 전략을 시도하거나 데이터베이스 쿼리를 다시 작성하거나 대체 데이터 세트를 살펴봅니다.
- 진단 도구 사용: 시스템은 자기 추론 단계를 디버그하거나 검색된 데이터의 정확성을 확인하는 데 도움이 되는 추가 함수를 호출할 수 있습니다. Azure AI Tracing과 같은 도구는 강력한 관찰성 및 모니터링을 가능하게 하는 데 중요합니다.
- 인간 감독에 의존: 중요도가 높거나 반복적으로 실패하는 시나리오의 경우, 모델은 불확실성을 표시하고 인간의 지침을 요청할 수 있습니다. 인간이 수정 피드백을 제공하면 모델은 향후 세션에서 그 교훈을 통합할 수 있습니다.
이러한 반복적이고 동적 접근 방식은 모델이 지속적으로 개선되도록 하여, 단발성 시스템이 아니라 해당 세션에서의 실수로부터 학습하는 시스템이 되도록 합니다.

에이전시의 경계
작업 내에서 자율적일지라도, 에이전트형 RAG는 범용 인공지능(Artificial General Intelligence)과 동일하지 않습니다. 그 “에이전트적” 능력은 인간 개발자가 제공한 도구, 데이터 소스, 정책으로 제한됩니다. 스스로 도구를 발명하거나 설정된 도메인 경계를 벗어날 수는 없습니다. 대신 손에 있는 자원을 동적으로 오케스트레이션하는 데 탁월합니다.
보다 발전된 AI 형태와의 주요 차이점은 다음과 같습니다:
- 도메인 특정 자율성: 에이전트형 RAG 시스템은 알려진 도메인 내에서 사용자 정의 목표를 달성하는 데 집중하며, 쿼리 재작성이나 도구 선택과 같은 전략을 사용해 결과를 개선합니다.
- 인프라 의존성: 시스템의 능력은 개발자가 통합한 도구와 데이터에 달려 있습니다. 인간의 개입 없이는 이러한 경계를 초월할 수 없습니다.
- 가드레일 준수: 윤리 지침, 규정 준수 규칙, 비즈니스 정책은 여전히 매우 중요합니다. 에이전트의 자유는 항상 안전 조치와 감독 메커니즘에 의해 제약됩니다(희망적으로).
실용적 사용 사례 및 가치
에이전트형 RAG는 반복적 정제 및 정밀성이 필요한 시나리오에서 빛을 발합니다:
- 정확성 우선 환경: 컴플라이언스 검사, 규제 분석, 법률 연구에서 에이전트형 모델은 반복적으로 사실을 확인하고, 여러 출처를 참조하며, 철저히 검증된 답변을 생성할 때까지 쿼리를 재작성할 수 있습니다.
- 복잡한 데이터베이스 상호작용: 쿼리가 자주 실패하거나 조정이 필요한 구조화된 데이터를 처리할 때, 시스템은 Azure SQL 또는 Microsoft Fabric OneLake를 사용하여 쿼리를 자율적으로 정제하여 최종 검색이 사용자의 의도와 일치하도록 보장할 수 있습니다.
- 확장된 워크플로우: 장기간 실행되는 세션은 새로운 정보가 나타남에 따라 진화할 수 있습니다. 에이전트형 RAG는 문제 영역에 대해 더 많이 알게 됨에 따라 지속적으로 새로운 데이터를 통합하고 전략을 전환할 수 있습니다.
거버넌스, 투명성 및 신뢰
이러한 시스템이 추론에서 더 자율적이 될수록 거버넌스와 투명성은 매우 중요합니다:
- 설명 가능한 추론: 모델은 자신이 수행한 쿼리, 참조한 소스 및 결론에 도달하기 위해 취한 추론 단계를 감사 추적로 제공할 수 있습니다. Azure AI Content Safety 및 Azure AI Tracing / GenAIOps와 같은 도구는 투명성을 유지하고 위험을 완화하는 데 도움이 될 수 있습니다.
- 편향 제어 및 균형 잡힌 검색: 개발자는 균형 잡히고 대표성 있는 데이터 소스가 고려되도록 검색 전략을 조정할 수 있으며, Azure Machine Learning을 사용하는 고급 데이터 과학 조직을 위해 맞춤형 모델을 사용하여 편향 또는 왜곡된 패턴을 정기적으로 감사할 수 있습니다.
- 인간 감독 및 규정 준수: 민감한 작업의 경우 인간의 검토는 여전히 필수적입니다. 에이전트형 RAG는 고위험 의사결정에서 인간의 판단을 대체하지 않고, 더 철저히 검증된 옵션을 제공함으로써 이를 보완합니다.
행동의 명확한 기록을 제공하는 도구를 갖추는 것이 필수적입니다. 그렇지 않으면 다단계 프로세스를 디버깅하는 것은 매우 어려울 수 있습니다. 다음은 Literal AI (Chainlit의 배후 회사)의 Agent 실행 예시입니다:

결론
에이전트형 RAG는 AI 시스템이 복잡하고 데이터 집약적인 작업을 처리하는 방식의 자연스러운 진화를 나타냅니다. 루프형 상호작용 패턴을 채택하고 도구를 자율적으로 선택하며 고품질 결과를 달성할 때까지 쿼리를 정제함으로써, 시스템은 정적인 프롬프트 준수를 넘어 보다 적응적이고 맥락을 이해하는 의사결정자로 발전합니다. 여전히 인간이 정의한 인프라와 윤리 지침에 의해 제한되지만, 이러한 에이전트적 능력은 기업과 최종 사용자 모두에게 더 풍부하고 역동적이며 궁극적으로 더 유용한 AI 상호작용을 가능하게 합니다.
에이전트형 RAG에 대해 더 궁금한가요?
Microsoft Foundry Discord에 참여하여 다른 학습자들과 만나고, 오피스 아워에 참석하며 AI Agents 관련 질문에 대한 답을 얻으세요.
추가 자료
학술 논문
이전 레슨
도구 사용 디자인 패턴
다음 레슨
신뢰할 수 있는 AI 에이전트 구축
면책 조항:
이 문서는 AI 번역 서비스 Co-op Translator를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있으나 자동 번역에는 오류나 부정확성이 포함될 수 있음을 유의하시기 바랍니다. 원문(원어) 문서를 권위 있는 출처로 간주하시기 바랍니다. 중요한 정보의 경우 전문적인 인간 번역을 권장합니다. 본 번역의 사용으로 인해 발생하는 어떠한 오해나 오해의 소지에 대해서도 당사는 책임을 지지 않습니다.