인공지능/Artificial Intelligence (COSE361)
[인공지능] Chapter 17. Particle Filters and Dynamic Bayes Nets
이준언
2023. 12. 20. 02:50
Particle Filtering
- 배경
- 변수 x가 커지면, exact inference 실현 불가, likelihood weighting이 실패, 시간이 지나면서 샘플의 수가 기하급수적으로 증가
- Particle Filtering
- 비선형 모델에서 부분적으로만 관찰 가능한 상태의 확률 과정에 대한 분포를 추정하는 데 사용
- 새로운 관측 데이터가 주어지면 각 파티클의 가중치를 업데이트
- ‘particle’
- 상태 공간을 대표하는 무작위로 선택된 상태들의 집합
- 파티클 샘플들을 사용하여 상태 공간을 대표하고, 이 샘플들을 시간에 따라 업데이트하면서 시스템의 상태를 추정
- Problem
- 샘플링된 상태 궤적들이 낮은 확률 영역으로 벗어나는 경향이 있을 수 있음 → 관찰된 증거를 무시하고, 합리적인 샘플들이 적게 남는 결과
- resampling
- 낮은 가중치를 가진 샘플 제거, 높은 가중치를 가진 샘플 복제
- 샘플 집합이 관측 데이터 관련 상태 공간을 더 잘 대표하도록
Dynamic Bayes Nets
- Dynamic Bayes Nets (DBN)
- 시간에 따라 변하는 확률 변수들의 관계를 모델링하는 데 사용되는 확률적 그래픽 모델
- 시간에 따른 변수들 사이의 확률적 의존성 표현
- 마르코프 체인을 일반화하여 여러 시간 단계에 걸쳐 복잡한 의존성을 가진 변수들을 다룸
- 방법: 고정된 Bayes net 구조를 각 시간에 따라 반복
- 구성
- 상태 변수: 시간에 따라 변할 수 있는 여러 변수들
- 전이 모델: 하나의 시간 단계에서 다음 시간 단계로 변수들이 어떻게 변화하는지 나타내는 모델
- 관측 모델: 숨겨진 상태변수들로부터 관측할 수 있는 변수들까지의 관계를 정의
- 특징
- 시간적 동적 구조: 시간에 따라 확장되는 구조. 각 시간에서의 상태가 다음 시간의 상태에 영향을 줌
- 마르코프 가정: 미래 상태는 현재 상태에만 의존하고 과거 상태와는 독립
- 효율적인 추론: 필터링, 스무딩, 예측 과 같은 다양한 추론 작업을 효율적으로 수행
- Exact Inference in DBNs → Variable Elimination
- Offline 접근 방식
- unroll network
- 네트워크를 시간에 따라 확장하여 모든 시간 단계를 포함한 전체 네트워크를 구성
- 변수 제거
- 네트워크가 펼쳐진 후, 특정 시간 단계 T에서 변수의 조건부 확률을 찾기 위해 변수들을 순차적으로 제거
- unroll network
- Online 접근 방식
- 변수 제거
- 이전 시간 단계의 모든 변수들을 제거하고, 현재 시간에 대한 팩터만 저장
- 문제점
- 가장 큰 팩터가 현재 시간의 모든 변수를 포함하게 되며, 때로는 추가적인 몇 개의 변수를 더 포함할 수 있음 → 계산 상의 병목 현상 초래
- 변수 제거
- Offline 접근 방식
- HMM과 DBN의 관계
- HMM은 단일 변수 DBN
- 모든 HMM은 시간에 따라 변화하는 단일 변수를 가진 DBN
- 모든 이산 DBN은 HMM
- 이산적인 상태 변수를 갖는 모든 DBN은 HMM으로 불 수 있음
- 의소한 의존성은 DBN에서 파라미터 수를 지수적으로 줄임
- DBN이 변수 간의 의존성을 효율적으로 모델링 할 수 있음
- 특히 상태공간이 클 때 HMM보다 훨씬 관리하기 쉬운 모델
- 계산 비용을 크게 줄이고, 복잡한 시스템을 모델링할 때 유리
- HMM은 단일 변수 DBN