[인공지능] Chapter 20. Optimization and Neural Networks

Gradient ascent and log likelihood objective

• Gradient
• Gradient Ascent 경사 상승법
  • Continuous optimization
  • 파라미터 최적화를 위해 사용하는 방법
  • 주로 목적함수를 최대화하기 위해 사용
  • 목적 함수의 기울기(gradient)를 계산하고 그 기울기가 증가하는 방향으로 파라미터를 조정함으로써 목적함수 값을 증가시키는 방식
• Log likelihood 로그 우도
  • 확률 모델의 매개변수가 주어진 데이터를 생성할 확률의 로그를 취한 것
  • 로그 사용 이유: 수치적 안정성, 계산 단순화, 미분을 쉽게
• Log likelihood objective 로그 가능도 목적
  • 주어진 데이터셋에 대한 모델의 파라미터가 얼마나 잘 맞는지를 측정
  • 이 값을 최대화함으로써 최적의 파라미터를 찾는 것이 목표

Neural networks

• Neural network
  • 대량의 데이터에서 복잡한 패턴을 학습할 수 있는 강력한 계산 모델
  • 마지막 레이어 → 로지스틱 회귀로 표현
  • 중간 레이어 → 복잡한 패턴과 특징을 학습

Training neural networks

• Training neural networks
  • 예측하기
    • 훈련 데이터셋의 각 입력에 대해 현재 가중치를 사용하여 클래스를 예측
    • 이때 모델의 예측은 입력 데이터의 feature와 현재 모델의 가중치의 곱
  • 손실 함수로 예측 평가하기
    • 모델의 예측값과 실제 값을 비교하여 모델의 성능 평가
    • 손실함수 값이 높다는 것은 모델의 예측이 실제 데이터와 잘 맞지 않다는 것
  • 최적화를 통한 손실 최소화
    • 경사하강법을 주로 사용

Log loss and gradient descent

• Log loss
  • 분류 문제에서 신경망의 성능을 측정하는 데 사용되는 손실함수
  • 예측 확률과 실제 레이블 간의 불일치를 측정

 

• 경사하강법
  • 손실 함수의 값을 최소화하기 위해 가중치를 업데이트 하는 방법
  • 손실 함수의 기울기가 감소하는 방향으로 가중치를 조정

Backpropagation

• 역전파
  • 심층 신경망에서 그래디언트를 효율적으로 계산하는 방법 (체인룰 기반)
  • 신경망을 훈련시키는 핵심 알고리즘
  • 네트워크의 출력과 실제 결과 사이의 오차를 계산한 후, 이 오차를 네트워크를 거슬러 올라가면서 각 뉴런의 가중치에 대한 그래디언트를 계산
• Automatic differentiation 자동 미분
  • 그래디언트를 효율적으로 계산하는 방법
  • 신경망의 각 가중치에 대한 손실 함수의 편미분을 자동으로 계산
  • 역전파 알고리즘을 통해 구현