[인공지능] Chapter 19. Perceptrons and Logistic Regression

Perceptrons and linear classifier

• Perceptron
  • 인공신경망의 가장 기본적인 형태
• Linear classifier
  • 데이터를 분류하는데 사용되는 선형 방정식
  • input: feature values
  • 각각의 feature는 가중치
  • sum 은 activation
    • If the activation is:
      • Positive, output +1
      • Negative, output -1

 

Multi-class perceptrons

• Multi-class perceptrons 다중 클래스 퍼셉트론
  • 구조
    • 입력층
      • feature 데이터를 받고
    • 은닉층
      • 비선형 변환
    • 출력층

Logistic regression

• Logisitc Regression 로지스틱 회귀
  • 선형 회귀의 원리를 분류 문제에 적용한 모델

Softmax

• 확률적 결정
  • 시그모이드, 소프트맥스는 퍼셉트론 모델이 확률적 결정을 내릴 수 있도록 함
• Sigmoid
  • 이진 분류 문제
  • 0~1 값을 출력
  • 주어진 데이터 포인트가 양성 클래스에 속할 확률
• Softmax
  • 멀티 클래스 분류 문제
  • 여러 클래스가 있는 경우, 각 클래스에 대한 확률 분포를 출력하여 가장 확률이 높은 클래스를 선택
• 멀티 클래스 퍼셉트론: 멀티 클래스 퍼셉트론에서는 각 클래스 y에 대한 가중치 벡터 wy와 특성 벡터 f(x)의 점곱을 계산하여 활성화를 구합니다. 이 활성화 값이 가장 높은 클래스가 최종적으로 선택됩니다.
• 이진 퍼셉트론: 이진 퍼셉트론은 멀티 클래스 퍼셉트론의 특수한 경우입니다. 이진 분류 문제에서는 두 개의 클래스가 있는데, 일반적으로 이들을 +1과 -1로 표현합니다.
  • +1의 클래스에 대한 가중치 벡터를 w라고 하고, 이는 학습을 통해 얻어집니다.
  • 1의 클래스에 대한 가중치 벡터는 항상 0으로 설정됩니다. 즉, -1 클래스의 활성화는 항상 0입니다.
  이진 분류를 멀티 클래스 문제로 바라보았을 때, 다음과 같이 이해할 수 있습니다:
  • w⋅f의 값이 양수일 경우, +1 클래스의 활성화인 w⋅f는 0보다 크므로, +1 클래스가 선택됩니다.
  • w⋅f의 값이 음수일 경우, -1 클래스의 활성화인 0이 w⋅f보다 크므로, -1 클래스가 선택됩니다.
  여기서 w⋅f는 가중치 벡터 w와 특성 벡터 f(x)의 내적으로, 이는 퍼셉트론의 결정 경계를 결정하는 데 사용됩니다.
• 소프트맥스와 시그모이드 함수는 이 문맥에서 직접 언급되지 않았지만, 일반적으로 이진 분류에서는 시그모이드 함수가, 멀티 클래스 분류에서는 소프트맥스 함수가 각각 사용됩니다. 시그모이드 함수는 단일 출력을 0과 1 사이의 확률로 변환하는 반면, 소프트맥스 함수는 여러 출력을 확률 분포로 변환하여 모든 클래스의 확률 합이 1이 되도록 합니다.