목차
<aside>
💡
RAG와 파인튜닝은 둘 다 LLM의 환각(Hallucination) 문제를 해결하고, 특정 도메인에 맞춘 답변을 생성하는 데 사용되는 대표적인 접근법입니다. 그러나 두 방식은 접근 방식, 비용, 난이도, 시간 측면에서 큰 차이를 보입니다.
</aside>
1️⃣ 개념 이해
RAG (Retrieval-Augmented Generation)
- LLM + 검색 시스템 결합형.
- LLM이 외부의 벡터DB(문서 저장소)에서 유사한 정보를 검색하고 이를 참고하여 답변을 생성하는 구조.
- 외부 데이터를 매번 검색하여 프롬프트에 추가하는 방식.
파인튜닝 (Fine-tuning)
- LLM 자체를 특정 도메인 지식에 맞게 추가 학습시키는 방식.
- 기존 LLM이 갖고 있는 일반적인 지식에 특정 데이터셋을 기반으로 추가 훈련하여, LLM이 아예 지식을 내재화하도록 만드는 것.
2️⃣ 주요 비교표
| 항목 |
RAG |
파인튜닝 |
| 비용 |
상대적으로 저렴 |
고비용 (GPU 사용료, 인건비) |
| 구축 시간 |
빠름 (PoC 빠르게 가능) |
느림 (데이터셋 구축 + 긴 학습시간) |
| 난이도 |
쉬움 (검색 + LLM 호출만 하면 됨) |
어려움 (LLM 구조 이해 + 학습 파이프라인 구축) |
| 필요한 하드웨어 |
GPU 없이도 가능 (LLM API 사용 시) / 임베딩 시 GPU 사용 권장 |
고성능 GPU 필수 (A100급 다수 사용 권장) |
| 확장성 |
문서만 추가하면 확장 가능 |
새로운 데이터가 생길 때마다 재학습 필요 |
| 성능 |
도메인 특화 지식 + 최신성 확보 용이 |
도메인 특화 지식 내재화로 높은 일관성 |
| 유지보수 |
문서 DB 갱신으로 간편 |
재파인튜닝 필요 (PEFT 사용 시 다소 경감) |
3️⃣ 상세 비교
✔ 난이도: RAG가 더 쉬움
- RAG
- 기본적인 NLP 지식 + LLM API 사용법 + RAG 프레임워크(예: LangChain) 정도만 익히면 구축 가능.
- 외부 문서 검색 → LLM에 주입하는 로직으로 단순화.
- 파인튜닝
- LLM 내부 구조에 대한 이해, 학습 데이터셋 구축, 모델 학습 파이프라인 구축 역량 필수.
- 특히, 하이퍼파라미터 조정, 오버피팅 관리 등 딥러닝 경험 필요.
✔ 시간: RAG가 훨씬 빠름