W1.L2. VI - Convex Duality, Applying Probability Function

| Convex Duality

 

Simplification

(특정 $x$ 근방에서) $\textup{ln} (x)$ 함수를 $x$ 에 대한 선형 함수로 표현

$\lambda$ 라고하는 Variational Parameter 로 함수의 복잡함이 전이되는 형태

$$f(x) = min_{\lambda} \left\{ \lambda^{T} x - f^{*}(\lambda) \right\}$$

... $\lambda$ 에 대해서 조종

... $\lambda$ 라는 인자를 잘 정하면 특정 $x$ 에 대해서 선형함수를 만들어 줄 수 있다는 의미

 

 

Convex Duality

$\lambda$ 와 $x$ 를 단순히 교환하는 형태로 가능

$\lambda$ 조절할지 $x$ 조절할지 관점만 바뀌는 것

(어차피 다른 한쪽으로는 log 함수 들어가서 다시 복잡해진 parameter 에 대해서 다시 simplification 하는 형태)

 

 

Variational transform

 

복잡한 함수에 대해 단순한 형태의 함수로 Approximation 가능!

그러나 Approximation 할 때 기존 함수의 복잡성이 완전히 사라지는 것은 아니고

단순화된 함수의 Parameter 로 그 복잡성이 들어가버림

 

​

| Applying to Probability Function

 

확률모델에 어떻게 적용해볼 수 있을까?

확률도 함수의 형태! Probability distribution function!

 

복잡한 확률 모델을 심플한 확률 모델로 Transform !

알 수 없는 확률 모델을 우리가 조금 더 잘 알고 있는 확률 모델로 Transform !

 

 

$P(S)$ : 확률 모델의 Joint Probability Distribution

$P^U$ : 보다 더 간단한 형태의 Probability 를 introduce

$\lambda ^{U} $ : Variational parameter 를 introduce

$min_{\lambda}$ : Variational parameter 를 잘 조종할 수 있도록 optimization part 존재

 

(부등호는 뭐 나중에 $P^U$ 적절히 선정하면서 바뀔수도 있고 ... )

 

 

 

요약하면

 

보다 더 단순한 형태의 확률모델로 transform 할 수 있더라

대신 그 과정에서 최적화해야하는 variational parameter 가 발생하더라

​

 

 

 

Reference
문일철 교수님 강의 
https://www.youtube.com/watch?v=T6hq5yIonqs&list=PLbhbGI_ppZIRPeAjprW9u9A46IJlGFdLn&index=2