단순 코딩은 끝났다: 2026 공공기관 AX 대전환과 RAG 시스템 기획 전략

1. 2026년, 공공기관 IT의 방향은 AX(AI Transformation)

지난 10년간 공공기관 IT 프로젝트의 중심은 SI 구축 → 운영 유지보수였다.
그러나 2025년 이후 정부와 공공기관의 디지털 전략은 **DX(Digital Transformation)를 넘어 AX(AI Transformation)**로 이동하고 있다.
즉 단순한 시스템 구축이 아니라 AI 기반 업무 자동화와 지식 활용 시스템 구축이 핵심이 된다.
대표적인 변화는 다음과 같다.

• 문서 기반 업무 → 지식 기반 AI 시스템
• 검색 시스템 → 질의응답형 AI 시스템
• 정형 데이터 중심 → 비정형 데이터 활용
• 단순 API 시스템 → AI 서비스 플랫폼

이 흐름 속에서 등장하는 핵심 아키텍처가 바로 RAG(Retrieval Augmented Generation) 시스템이다.

---

2. 왜 공공기관은 RAG 시스템을 필요로 하는가

공공기관의 가장 큰 특징은 문서 중심 조직이라는 점이다.
예를 들어 다음과 같은 데이터가 존재한다.

• 정책 문서
• 업무 매뉴얼
• 법령
• 내부 지침
• 회의록
• 보고서
• 민원 데이터
• 연구 자료

이 데이터들은 대부분 PDF, HWP, DOC, 텍스트 문서 형태로 존재한다.
문제는 이것이 검색은 가능하지만 이해는 어렵다는 점이다.
예를 들어 기존 시스템은 다음 수준에 머문다.

검색어: 산림 복원 정책

결과:
PDF 문서 30개

 

하지만 RAG 시스템은 다음과 같이 동작한다.

질문:
산림 복원 정책의 주요 목표는 무엇인가?

AI 답변:
정책 목표는 다음 세 가지입니다.
1. 산림 생태계 복원
2. 탄소 흡수량 확대
3. 지역 생물 다양성 확보

출처:
2024 산림 정책 보고서

 

즉 문서를 읽어주는 AI 시스템이 된다.

---

3. RAG 시스템 기본 구조

RAG 시스템은 다음 4개 레이어로 구성된다.

[사용자]
↓
AI Application Layer
↓
Vector Search Layer
↓
LLM Layer
↓
Data Layer

 

각 레이어의 역할은 다음과 같다.

1) Data Layer

데이터 저장 영역
예시

• PostgreSQL
• S3 / Object Storage
• Elasticsearch
• Document Repository

저장 데이터

• 정책 문서
• 매뉴얼
• 법령
• 보고서

---

2) Vector Search Layer

문서를 의미 기반 검색으로 변환하는 레이어
기존 검색

keyword search

 

RAG 검색

semantic search

 

사용 기술

• pgvector
• Elasticsearch vector
• Milvus
• Weaviate

---

3) LLM Layer

AI 모델이 실제 답변을 생성한다.
예시

• OpenAI
• Claude
• Gemini
• Llama

LLM은 단독으로 사용하면 환각(Hallucination) 문제가 발생한다.
그래서 반드시 RAG 구조와 결합해야 한다.

---

4) AI Application Layer

실제 사용자 서비스 영역
예시

• 공공기관 업무 챗봇
• 민원 질의 시스템
• 정책 분석 시스템
• 내부 업무 보조 AI

이 레이어는 보통 다음 기술로 구현된다.

• Python (FastAPI)
• LangChain / LlamaIndex
• Spring Boot API
• React / Next.js

---

4. 공공기관 RAG 시스템 아키텍처 예시

실제 프로젝트에서 많이 등장할 구조는 다음과 같다.

사용자
│
▼
API Gateway
│
▼
AI Service (Python)
│
├─ RAG Pipeline
│ ├ Document Loader
│ ├ Text Chunking
│ ├ Embedding
│ └ Vector Search
│
▼
Vector DB
(pgvector / elasticsearch)

▼
LLM API
(OpenAI / Claude / Local LLM)

 

여기서 핵심은 RAG Pipeline이다.

---

5. RAG Pipeline 설계 패턴

실무에서 가장 많이 쓰는 구조는 다음이다.

Step 1 Document Ingestion

문서 수집

PDF
DOC
HWP
HTML
DB

 

 

---

Step 2 Text Chunking

문서를 작은 단위로 나눈다.

Chunk Size
500 ~ 1000 tokens

 

이 과정이 중요한 이유는

• 검색 정확도
• LLM 입력 제한

과 관련이 있기 때문이다.

---

Step 3 Embedding

텍스트를 벡터로 변환한다.
예시 모델

• text-embedding-3-large
• BGE
• E5

결과

텍스트 → 벡터(숫자 배열)

 

---

Step 4 Vector Search

사용자 질문을 벡터로 변환하고

유사도 검색

 

으로 관련 문서를 찾는다.

---

Step 5 LLM Answer Generation

검색된 문서를 LLM에게 전달한다.

Prompt

Context:
문서 내용

Question:
사용자 질문

 

LLM이 최종 답변을 생성한다.

---

6. 공공기관에서 RAG 프로젝트가 돈이 되는 이유

공공기관은 데이터는 많지만 활용이 부족하다.
그래서 다음 프로젝트들이 계속 등장한다.

1 내부 업무 AI

예시

• 법령 질의 시스템
• 정책 문서 검색 AI
• 업무 매뉴얼 챗봇

---

2 민원 AI

예시

• 국민 질의 응답 시스템
• 정책 상담 챗봇

---

3 연구 데이터 AI

예시

• 보고서 분석 AI
• 정책 분석 시스템

---

결국 공공기관 AI 프로젝트의 핵심은 다음이다.

문서를 이해하는 AI

 

그리고 그 기술의 중심이 RAG 시스템이다.

---

7. 개발자의 역할도 바뀐다

이제 개발자는 단순 코더가 아니다.
앞으로 필요한 역량은 다음과 같다.

기존 개발자

Controller
Service
Repository
CRUD

 

---

AI 시대 개발자

AI System Architect
Data Pipeline 설계
Prompt Engineering
RAG Architecture

 

즉 역할이 코더 → 시스템 설계자로 바뀐다.

---

결론

2026년 공공기관 IT의 핵심 키워드는 다음 세 가지다.

AX (AI Transformation)
RAG System
AI Service Platform

 

앞으로 공공기관 프로젝트는 단순한 웹 시스템이 아니라

AI 서비스 플랫폼 구축

 

으로 바뀔 가능성이 높다.
그리고 그 중심에는 RAG 기반 AI 시스템 아키텍처 설계 능력이 있다.