[인공지능] Chapter 16. Hidden Markov Models

Markov Chains & their Stationary Distribution

• Markov Chains
  • 상태들의 집합과 이 상태들 사이의 전이 확률을 갖는 확률적 모델
  • Markov Property
    • 미래 상태는 오로지 현재 상태에만 의존, 과거 상태와는 독립적
  • 상태: 시간에 따른 시스템의 상태
  • 전이 모델: 시간에 따른 상태의 변화
  • Stationary Assumption: 모든 시간에 걸쳐 전이 확률이 동일하다고 가정
  • Markov Assumption: 미래는 현재가 주어진 상태에서 과거와 독립적
• Stationary Distribution
  • Markov Chain이 충분히 많은 전이를 거친 후, 각 상태에 도달할 확률이 변하지 않고 일정해지는 분포
  • 대부분의 마르코프 체인에서 충분한 시간이 지나고 나면 시스템은 Stationary distribution에 도달
  • πP=π (π: Stationary distribution)

Hidden Markov Models (HMMs) formulation

• Hidden Markov Models
  • 관측할 수 없는 상태들이 Markov chain을 이루고, 각 상태에서 특정 관측이 나올 확률이 정해진 확률적 모델
  • 실제 상태들이 관찰되지 않고 숨겨져있을 때 유용
  • 각 숨겨진 상태에 대해 관찰할 수 있는 결과를 생성하는 확률적 과정을 통해 숨겨진 상태를 추론
  • 구성요소
    • 상태 X: 마르코프 체인을 따르는 숨겨진 상태
    • 증거 E: 각 시간 단계에서 관찰할 수 있는 증거 혹은 관측치
    • 상태 전이 확률 (State Transition Probabilities)
      • 한 상태에서 다른 상태로 전이할 확률
    • 관측 확률 (Observation Probabilities)
      • 특정 상태에서 특정 관측이 나타날 확률
    • 초기 상태 분포
      • 시퀀스의 시작 상태에 대한 정보
  • 관찰된 근거를 기반으로 숨겨진 상태 시퀀스의 확률을 추정하는 것
    • Filtering, Prediction, Smoothing, Decoding의 방법

Inference with HMMs

• Inference with HMMs
  • 주어진 증거를 바탕으로 숨겨진 상태 시퀀스에 대한 정보를 얻는 과정
  • Filtering: P(Xt∣e1:t)
    • 주어진 시간에 대해 관측 데이터를 바탕으로 현재 시점에서 숨겨진 상태의 확률 분포 추정
    • belief state: 합리적인 에이전트는 현재 상태에 대한 최신 정보를 바탕으로 결정을 내릴 수 있음
  • Prediction: 𝑃(𝑋_(𝑡+𝑘) |𝑒_(1:𝑡)) for 𝑘>0
    • 현재까지의 증거를 바탕으로 미래의 어떤 시점에서 상태의 확률 분포를 추정
    • 가능한 행동 시퀀스를 평가하는데 사용
    • 증거 없이 필터링을 수행하는 것과 유사
    • 미래 상태에 대한 계획 수립 가능
  • Smoothing: P(X_k |e_(1:t)) for 0≤k<t
    • 현재 시점까지의 증거를 바탕으로 과거의 어떤 시점에서 상태의 확률 분포를 보다 정확하게 추정
    • 과거 상태들에 대한 더 나은 추정치 제공
    • 학습 과정에서 필수적
  • Explanation: argmax┬(𝑥_(1:𝑡) )⁡〖𝑃(𝑥_(1:𝑡) |𝑒_(1:𝑡))〗
    • 주어진 증거에 대해 가장 가능성 높은 숨겨진 상태 시퀀스를 찾는 과정
    • 가장 가능성이 높은 상태 시퀀스를 찾아야할 때 사용