W10.L3. Sampling Based Inference - Importance Sampling

| Importance Sampling

Rejection sampling ... 너무 많은 Sample 들을 Reject 하더라 ... (비효율적)

Reject 없이 할 수 없을까 ...?

 

보통 Sampling 이란 ... 

Calculating the expectation of PDF

Calculating a certain probability

 

기대값이나 특정 확률 계산만 잘 할 수 있다면 Sampling 을 무식하게 여러번 하지 않아도 되겠다!

$$  E(f)\cong \frac{1}{L}\sum_{l=1}^{L}\frac{p(z^l)}{q(z^l)}f(z^l)=\frac{1}{L}\frac{Z_q}{Z_p}\sum_{l=1}^{L}\frac{\tilde{p}(z^l)}{\tilde{q}{(z_l)}}f(z^l) $$

 

Example

$p(z)$ 형태에 따라 실제로 적분하기 어려운 상황 ...

하지만 (sampling 하기 쉬운) sampling distribution $q(z)$ 를 통해 적분할 수 있겠다.

 

$ P(Z>1)=\int_{1}^{\infty }1_{z>1}\cdot p(z)dz=\int_{1}^{\infty} 1_{z>1}\frac{p(z)}{q(z)}q(z)dz\cong \frac{1}{L}\sum_{l=1}^{L}\frac{p(z^l)}{q(z^l)}1_{z^l>1} $

 

https://untitledtblog.tistory.com/135

 

 

 

 

| Likelihood Weighting Algorithm (Discrete Domain)

P(E=True | MC=True, A=False) ?

 

 

 

 

Reference
문일철 교수님 강의 
https://www.youtube.com/watch?v=mnUcZbT5E28&list=PLbhbGI_ppZISMV4tAWHlytBqNq1-lb8bz&index=64
https://untitledtblog.tistory.com/135