목차

🤖 LLM의 한계와 문제점

1) 환각 현상 (Hallucination)

• **LLM(대형 언어 모델, Large Language Model)**은 트랜스포머(Transformer) 기반의 Decoder 모듈이 여러 개 결합된 모델
• 텍스트를 생성하는 기능에 특화되어 있으며, 주어진 질문에 대해 답변하도록 학습됨
• 하지만 이러한 특성 때문에 사실이 아닌 내용을 자연스럽게 생성하는 경우가 있음
• 이를 **환각 현상(Hallucination)**이라고 하며, 대표적인 사례는 다음과 같음
  • 잘못된 맥락이 주어진 경우 → 존재하지 않는 정보 기반으로 답변을 생성.
  • 학습 이후의 새로운 정보를 질문할 경우 → 최신 데이터가 반영되지 않아 부정확한 응답을 제공.
  • 단정적인 질문을 할 경우 → 사실이 아닌 정보를 확신에 찬 어조로 전달.

2) 컨텍스트 윈도우(Context Window) 제한 문제

• 컨텍스트 윈도우: LLM이 한 번에 처리할 수 있는 입력(토큰) 길이

• 컨텍스트 윈도우 제한을 넘으면 오류 발생

  The message you submitted was too long, please reload the conversation and submit something shorter.
  

• 입력 길이가 길어질수록 연산량이 O(n²)만큼 기하급수적으로 증가 → 이를 방지하기 위해 최대 입력 길이를 제한.

📌 대표적인 LLM들의 컨텍스트 윈도우 제한

3) LLM API의 기억상실증 문제

• ChatGPT 웹사이트에서는 대화 맥락을 기억하면서 답변을 생성.
• 하지만 LLM API를 직접 호출하면 이전 대화를 기억하지 못함.
• 매번 맥락을 포함한 프롬프트를 전달해야 하는 불편함 존재.