RAG + Multi-Agent 아키텍처: LLM 서비스가 지식을 사용하는 방식

최근 AI 서비스에서는 단순히 LLM을 호출하는 것만으로는 부족하다.
기업 서비스에서는 외부 지식, 데이터베이스, 문서 시스템을 함께 활용해야 한다.

이를 위해 등장한 구조가 바로

• RAG (Retrieval Augmented Generation)
• Multi-Agent 시스템

이다.

이 글에서는 AI 서비스 백엔드 관점에서 RAG와 Multi-Agent 아키텍처를 정리해본다.

1. LLM의 한계

기본적인 LLM(ChatGPT, Claude 등)은 다음과 같은 한계를 가진다.

1️⃣ 최신 데이터 접근 불가

LLM은 학습 데이터 이후의 정보를 모른다.

예

회사 내부 문서
최근 정책
고객 데이터

 

이런 정보는 LLM이 알 수 없다.

---

2️⃣ 기업 내부 데이터 접근 불가

예를 들어

사내 위키
Notion
DB
PDF 문서
코드 저장소

 

LLM은 기본적으로 접근할 수 없다.

---

3️⃣ hallucination (환각)

LLM은 모르는 내용도 그럴듯하게 만들어낸다.

이 문제를 해결하기 위해 나온 구조가

RAG (Retrieval Augmented Generation) 이다.

---

2. RAG (Retrieval Augmented Generation)

RAG는 검색 + LLM 구조다.

LLM이 답변을 만들기 전에
관련 문서를 먼저 검색해서 context로 제공한다.

---

RAG 기본 구조

흐름은 다음과 같다.

1️⃣ 사용자 질문
2️⃣ 질문을 embedding으로 변환
3️⃣ Vector DB에서 유사 문서 검색
4️⃣ 문서를 LLM context로 전달
5️⃣ LLM이 답변 생성

---

Vector Database

RAG 시스템에서는 보통 Vector DB를 사용한다.

대표적인 Vector DB

Pinecone
Milvus
Weaviate
Chroma
ElasticSearch Vector

 

문서 저장 방식

문서 → chunk 분할
chunk → embedding 생성
embedding → vector DB 저장

 

---

RAG의 장점

최신 데이터 사용

LLM이 학습하지 않은 데이터도 활용 가능하다.

예

회사 정책
기술 문서
고객 데이터

 

---

hallucination 감소

LLM이 검색된 문서를 기반으로 답변한다.

---

3. Multi-Agent 시스템

RAG만으로 해결되지 않는 문제도 있다.

예

복잡한 작업
여러 단계 처리
툴 호출
데이터 분석

 

이때 등장하는 것이 Multi-Agent 시스템이다.

---

Agent란 무엇인가

Agent는 LLM 기반 작업 단위라고 볼 수 있다.

예

검색 Agent
요약 Agent
분석 Agent
코드 생성 Agent

 

각 Agent는 특정 역할을 가진다.

---

Multi-Agent 구조

---

Multi-Agent의 특징

역할 분리

각 Agent가 특정 작업을 수행한다.

예

Research Agent → 정보 검색
RAG Agent → 문서 검색
Analysis Agent → 데이터 분석

 

---

복잡한 작업 처리

예

사용자 질문

우리 회사 제품과 경쟁사 제품 비교 분석해줘

 

Multi-Agent 처리

Agent 1 → 경쟁사 정보 검색
Agent 2 → 내부 문서 검색
Agent 3 → 분석
Agent 4 → 보고서 작성

 

---

4. RAG + Multi-Agent 결합

최근 AI 서비스는 보통 이 구조를 사용한다.

 

 

 

---

실제 서비스 예

기업 챗봇

RAG → 회사 문서 검색
Agent → 고객 질문 분석
Agent → 답변 생성

 

---

개발자 AI Assistant

RAG → 코드 저장소 검색
Agent → 코드 분석
Agent → 코드 생성

 

---

업무 자동화 AI

Agent → 이메일 분석
Agent → 데이터 조회
Agent → 보고서 생성

 

---

5. 기술 스택

RAG + Agent 시스템은 보통 다음 스택을 사용한다.

LLM Framework

LangChain
LlamaIndex
Semantic Kernel

 

---

Agent Framework

LangGraph
CrewAI
AutoGen

 

---

Vector DB

Pinecone
Milvus
Weaviate
Chroma

 

---

Backend

Python
FastAPI
Redis
PostgreSQL

 

---

6. AI 서비스 아키텍처 관점

AI 서비스는 이제 단순 LLM 호출이 아니라
플랫폼 형태로 발전하고 있다.

 

 

 

이 구조에서 중요한 것은

LLM
+
검색 시스템
+
Agent orchestration

 

이다.

---

정리

AI 서비스의 핵심 구조는 다음과 같다.

RAG

검색 기반 LLM

 

Multi-Agent

LLM 작업 분산 시스템

 

두 기술이 결합되면

지식 기반 AI 시스템

 

을 구축할 수 있다.

---

마무리

LLM 시대의 백엔드 개발자는 단순 API 개발을 넘어서

RAG 시스템
Agent 시스템
Vector Database
AI 서비스 아키텍처

 

를 이해해야 한다.

AI 서비스는 이제 LLM 호출이 아니라 시스템 설계 문제가 되고 있다.