W10.L7. Sampling Based Inference - Gibbs Sampling

| INTRO

Gibbs sampling: A special case of M-H algorithm

 

Metropolis-Hastings Algorithm

Proposal Distribution $q$ 가 어떤 특징을 가지고 있는지 알 수 없기 때문에

Acceptance Probability 를 정의하여 Stational Distribution 까지 Converge 하도록 했었음

 

Gibbs Sampling

왜 Proposal Distribution 을 새로운 걸 잡아?

이미 잘 정의된 $P$ 라는 것이 있는데, 그걸 재사용하지 그래?

 

 

| Gibbs Sampling

Let's suppose $z^t=(z_{k}^{\ t}, z_{-k}^{\ t})$

 

$$z^* = (z_{k}^{\ *}, z_{-k}^{\ t})$$

$$q(z^* \mid z^t)=P(z_{k}^{*}, z_{-k}^{\ t} \mid z_{-k}^{\ t})=P(z_{k}^{*} \mid z_{-k}^{\ t})$$

 

MH 알고리즘에서는 ​$z^t=(z_{k}^{\ t}, z_{-k}^{\ t})$ (모든 Index) 를 한 번에 Update 했었는데

이번에는 여러 Latent Variable 중에서 $k$ 라는 Index 에 있는 하나의 Latent Variable 에 대해서만 

Update 하고, 나머지는 그대로 Keep 해보자!

 

| Example

Markov Blanket 활용해서 P 계산을 Simplification 가능!

| Concept of Gibbs Sampling

 

 

| Two Dimensional Case

 

 

 

Reference
문일철 교수님 강의 
https://www.youtube.com/watch?v=mnUcZbT5E28&list=PLbhbGI_ppZISMV4tAWHlytBqNq1-lb8bz&index=68