[LangChain] 2. 초거대언어모델 (LLM)

(youtube 모두의AI 님의 영상을 보며 공부한 내용을 정리)

 

LLM (Large Language Model)

• LLM의 발전 양상

LLM의 발전 양상

• Closed Source
  • 장점: 뛰어난 성능, API 방식의 편리한 사용성
  • 단점: 보장할 수 없는 보안, API 호출 비용
  • ex) GPT 시리즈, PALM, Bard
• Open Source
  • 장점: Closed source 못지 않은 성능, 높은 보안성, 낮은 비용
  • 단점: 개발 난이도 높음, 사용을 위한 GPU 서버 필요
  • ex) Llama 계열의 LLM (Meta 사의 오픈소스 모델

• Transformer
  • 구조 (인코더와 디코더)
    • 인코더 (Encoder)
      • 문장을 받는 역할
      • 언어모델에 특정 문장을 줬을 때 해당 문장을 이해하는 부분
    • 디코더 (Decoder)
      • 문장을 출력하는 역할
  • 현재 NLP 모델의 대부분은 Transformer 아키텍쳐를 기반으로 함
  • 모델의 용도에 따라 트랜스포머의 인코더, 디코더를 개별 또는 통합 사용