W9.L1. Hidden Markov Model - Concept

| INTRO

앞서 Clustering ... 2D Space, 3D Space ... 예제들을 살펴봤었는데

공간과 더불어 시간이라는 개념이 추가되었을 때를 한 번 살펴보겠다.

 

 

| Time Series Data for GMM

 

N 개의 Data Point X

N 개의 Data Point 들마다 Z ... 어떤 Cluster 에 Assign 되었는지를 나타내는 Latent Factor

이제 새롭게 Temporal relation / Graph notation 으로 나타내보면

다음 Time 의 Latent 에 영향 주는 형태

 

Observation $X$

- $X_{1},\ X_{2},\ ... \ , X_{T}$ : observation from time $1$ to time $T$ 

- $x_{i} \in \left\{ c_1, c_2, ..., c_m \right\}$ : $m$ types of observation values

 

Latent state $Z$

- Vector variable with K elements (K 개 cluster 라 가정)

- 예를 들어, $X_1$ 은 1번 cluster, $X_2$ 는 1번 cluster, ... $X_3$ 부터는 바껴서 2번 cluster, ...

- Continuous latent state → Kalman filter (continuous version of HMM)

 

 

 

| Hidden Markov Model

 

Initial state probability

첫 번째 Latent variable 은 multinomial distribution 에서 sampling 되는 것.

Multinomial distribution 은 $\pi$ 라는 parameters 를 가지더라. 

 

$P(z_{1}) \sim \textup{Multinomial} (\pi_{1}, ..., \pi_{k}) $

 

 

Transition probability

이전 Time 에는 어떤 클러스터인데, 그 다음 Time 에는 어떤 클러스터일까?

첫 번째 클러스터에 있다가 Given, 두 번째 클러스터로 갈 확률

$a_{i,j}$ : 지금 i 클러스터, 다음에는 j 클러스터로 갈 확률

Multinomial distribution 은 $a$ 라는 parameters 로 정의 ($k$ clusters)

 

$P(z_{t} \mid z_{t-1}^{i}=1) \sim \textup{Multinomial} (a_{i,1}, ..., a_{i,k}) $

 

$P(z_{t}^{j}=1 \mid z_{t-1}^{i}=1) = a_{i,j}$

 

 

Emission probability

나는 지금 i 번째 Latent cluster 인데, Observation X 관측할 확률

Multinomial distribution 은 $b$ 라는 parameters 로 정의 ($m$ possible observations)

 

$P(x_{t} \mid z_{t}^{i}=1) \sim \textup{Multinomial} (b_{i,1}, ..., b_{i,m}) \sim f(x_{t} \mid \theta_{i} ) $

 

$P(x_{t}^{j}=1 \mid z_{t}^{i}=1) = b_{i,j}$

 

 

 

 

 

 

Reference
문일철 교수님 강의 
https://www.youtube.com/watch?v=mnUcZbT5E28&list=PLbhbGI_ppZISMV4tAWHlytBqNq1-lb8bz&index=57