인공지능/Artificial Intelligence (COSE361)

[인공지능] Chapter 17. Particle Filters and Dynamic Bayes Nets

이준언 2023. 12. 20. 02:50

Particle Filtering

  • 배경
    • 변수 x가 커지면, exact inference 실현 불가, likelihood weighting이 실패, 시간이 지나면서 샘플의 수가 기하급수적으로 증가
  • Particle Filtering
    • 비선형 모델에서 부분적으로만 관찰 가능한 상태의 확률 과정에 대한 분포를 추정하는 데 사용
    • 새로운 관측 데이터가 주어지면 각 파티클의 가중치를 업데이트
    • ‘particle’
      • 상태 공간을 대표하는 무작위로 선택된 상태들의 집합
      • 파티클 샘플들을 사용하여 상태 공간을 대표하고, 이 샘플들을 시간에 따라 업데이트하면서 시스템의 상태를 추정
    • Problem
      • 샘플링된 상태 궤적들이 낮은 확률 영역으로 벗어나는 경향이 있을 수 있음 → 관찰된 증거를 무시하고, 합리적인 샘플들이 적게 남는 결과
    • resampling
      • 낮은 가중치를 가진 샘플 제거, 높은 가중치를 가진 샘플 복제
      • 샘플 집합이 관측 데이터 관련 상태 공간을 더 잘 대표하도록

Dynamic Bayes Nets

  • Dynamic Bayes Nets (DBN)
    • 시간에 따라 변하는 확률 변수들의 관계를 모델링하는 데 사용되는 확률적 그래픽 모델
    • 시간에 따른 변수들 사이의 확률적 의존성 표현
    • 마르코프 체인을 일반화하여 여러 시간 단계에 걸쳐 복잡한 의존성을 가진 변수들을 다룸
    • 방법: 고정된 Bayes net 구조를 각 시간에 따라 반복
    • 구성
      • 상태 변수: 시간에 따라 변할 수 있는 여러 변수들
      • 전이 모델: 하나의 시간 단계에서 다음 시간 단계로 변수들이 어떻게 변화하는지 나타내는 모델
      • 관측 모델: 숨겨진 상태변수들로부터 관측할 수 있는 변수들까지의 관계를 정의
    • 특징
      • 시간적 동적 구조: 시간에 따라 확장되는 구조. 각 시간에서의 상태가 다음 시간의 상태에 영향을 줌
      • 마르코프 가정: 미래 상태는 현재 상태에만 의존하고 과거 상태와는 독립
      • 효율적인 추론: 필터링, 스무딩, 예측 과 같은 다양한 추론 작업을 효율적으로 수행
    • Exact Inference in DBNs → Variable Elimination
      • Offline 접근 방식
        • unroll network
          • 네트워크를 시간에 따라 확장하여 모든 시간 단계를 포함한 전체 네트워크를 구성
        • 변수 제거
          • 네트워크가 펼쳐진 후, 특정 시간 단계 T에서 변수의 조건부 확률을 찾기 위해 변수들을 순차적으로 제거
      • Online 접근 방식
        • 변수 제거
          • 이전 시간 단계의 모든 변수들을 제거하고, 현재 시간에 대한 팩터만 저장
        • 문제점
          • 가장 큰 팩터가 현재 시간의 모든 변수를 포함하게 되며, 때로는 추가적인 몇 개의 변수를 더 포함할 수 있음 → 계산 상의 병목 현상 초래
  • HMM과 DBN의 관계
    • HMM은 단일 변수 DBN
      • 모든 HMM은 시간에 따라 변화하는 단일 변수를 가진 DBN
    • 모든 이산 DBN은 HMM
      • 이산적인 상태 변수를 갖는 모든 DBN은 HMM으로 불 수 있음
    • 의소한 의존성은 DBN에서 파라미터 수를 지수적으로 줄임
    • DBN이 변수 간의 의존성을 효율적으로 모델링 할 수 있음
      • 특히 상태공간이 클 때 HMM보다 훨씬 관리하기 쉬운 모델
      • 계산 비용을 크게 줄이고, 복잡한 시스템을 모델링할 때 유리