티스토리

공부해라이

검색하기

블로그 홈

공부해라이

s-h-s-f.tistory.com/m

공부해라이 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

W10.L8-10. Sampling Based Inference - LDA | INTRO Gibbs Sampler - Parameter Inference 사례 Collapsed Gibbs sampling → Latent Dirichlet Allocation (LDA, Topic modeling) 총 10가지 (Lines) 주제 1. 주제 찾기, 결국 cluster 찾는 문제 (soft clustering) 2. Topic이 얼마만큼 비중을 가지고 나타나는지 3. 각 Topic을 가장 잘 설명하고 있는 단어군 추출 | Latent Dirichlet Allocation Bayesian network plate notation - $\alpha, \beta$ : Prior knowledge (Dirichlet Distribution Prior) - $w$ : Observed word.. 공감수 0 댓글수 0 2023. 6. 21.
W10.L7. Sampling Based Inference - Gibbs Sampling | INTRO Gibbs sampling: A special case of M-H algorithm Metropolis-Hastings Algorithm Proposal Distribution $q$ 가 어떤 특징을 가지고 있는지 알 수 없기 때문에 Acceptance Probability 를 정의하여 Stational Distribution 까지 Converge 하도록 했었음 Gibbs Sampling 왜 Proposal Distribution 을 새로운 걸 잡아? 이미 잘 정의된 $P$ 라는 것이 있는데, 그걸 재사용하지 그래? | Gibbs Sampling Let's suppose $z^t=(z_{k}^{\ t}, z_{-k}^{\ t})$ $$z^* = (z_{k}^{\ *}, z_{-k}^{\ .. 공감수 0 댓글수 0 2023. 6. 20.
W10.L6. Sampling Based Inference - Metropolis-Hastings Algorithm | Metropolis-Hastings Algorithm 주어진 $\pi$ 라고 하는 Ideal 한 Stationary Distribution 이 주어진 상황에서 어떻게 Transition Rule 을 만들어낼 수 있는지! General algorithm of MCMC Current value: $z^{t}$ 현재 Time 에 어떠한 Assignment $z^{t}$ 가 있다고 생각 Propose a candidate $ z^{*}\sim q(z^{*}, z^{t}) $ where $q_t$ is a proposal distribution 다음 Time 에서 Candidate Assignment 를 제안! Ex. 현재 Alarm=False, MC=True 의 Evidence 가 있고, 나머지 Latent.. 공감수 0 댓글수 0 2023. 6. 20.
W10.L5. Sampling Based Inference - Markov Chain for Sampling | Markov Chain for Sampling Problems of the previous samplings? - No use of the past records → Every sampling is independent (낭비, 비효율적) Assigning $Z$ values is a key in the inference - Let's assign the values by sampling result (Sampling 결과로 $Z$ assignment 해보자!) - 확률 P(E | MC=True, A=False) 를 쉽게 알 수 있다하면 ... 이 확률로 Toss a biased coin to assign a value to E (Coin Toss 해서 E 에다가 Assign 해보자 ... E: La.. 공감수 0 댓글수 0 2023. 6. 20.
W10.L4. Sampling Based Inference - Markov Chain | INTRO ML 계열에서 가장 많이 쓰이는 Sampling Method: Gibbs Sampling Gibbs Sampling 은 Metropolis-Hastings Alogirhtm 의 Special Case! | EM Algorithm Unsupervised Learning 에서 Unobserved variable (Latent variable) $Z$ 에 대하여 Marginalize 하고, $P(X \mid \theta) $ 를 Maximize 하려고 하니 로그 안에 들어가서 계산이 쉽지 않았었다 ... $$ \begin{align*} P(X \mid \theta)&=\sum_{Z}P(X, Z \mid \theta) \\ \rightarrow\ \ \ ln P(X \mid \theta)&=ln .. 공감수 0 댓글수 0 2023. 6. 20.
W10.L3. Sampling Based Inference - Importance Sampling | Importance Sampling Rejection sampling ... 너무 많은 Sample 들을 Reject 하더라 ... (비효율적) Reject 없이 할 수 없을까 ...? 보통 Sampling 이란 ... Calculating the expectation of PDF Calculating a certain probability 기대값이나 특정 확률 계산만 잘 할 수 있다면 Sampling 을 무식하게 여러번 하지 않아도 되겠다! $$ E(f)\cong \frac{1}{L}\sum_{l=1}^{L}\frac{p(z^l)}{q(z^l)}f(z^l)=\frac{1}{L}\frac{Z_q}{Z_p}\sum_{l=1}^{L}\frac{\tilde{p}(z^l)}{\tilde{q}{(z_l)}}f.. 공감수 0 댓글수 0 2023. 6. 18.
W10.L2. Sampling Based Inference - Rejection Sampling | Rejection Sampling P(E=T | MC=T, A=F) = ? Iterate many times - Generate a sample from the Bayesian network * Buglary → False * Earthquake → True * Alarm → True ... 그런데 Alarm = True 가 Given 조건에 맞지 않다 ... ... 이 sample 은 쓰기 어렵겠다 ... Reject! ... Sampling 하면서 Given 파트랑 검사를 해보는 것 ... 다시 처음부터 시작 ... - Return * Count(E=T, MC=T, A=F) / # of samples (살아남은 Sample 중에 E=True 개수를 나눠주면 우리가 원하는 확률일 것이다!) | Re.. 공감수 0 댓글수 0 2023. 6. 18.
W10.L1. Sampling Based Inference - Forward Sampling | INTRO EM Algorithm 으로 Parameter Inference 해봤었다. 다른 Approach 로 Parameter Inference 해보면 어떨까? Sampling Based Inference ! | Forward Sampling Topological Order에 따라서 sample을 generate 해볼 수 있다. 엄청나게 많이 던져봐서 관심있는 확률을 찾아내는 것! Distribution 을 찾아내는 것! 동전을 엄청나게 던져서 세어보는 것! - 1000번 던져서 999번은 도둑이 X, 1번은 도둑이 O - 1000번 던져서 998번은 지진이 X, 2번은 지진이 O - 도둑이 들고 지진이 난 상태에서 또 동전을 던져보면 100번 중 95번은 알람이 O, 나머지 5번은 알람이 X - .. 공감수 0 댓글수 0 2023. 6. 12.
W9.L5. Hidden Markov Model - Baum-Welch Algorithm | Learning Parameters with Only $X$ X 만 주어져 있을 때 모든 Parameters 알아내보자! 이전에는 $\pi, a, b$ 안다는 가정: 이 말은 즉슨 $X$ 와 $Z$ 를 모두 안다는 가정 ... 현실에서는 어려움 EM Algorithm Iteratively optimizing $\hat{\pi}, \hat{a}, \hat{b}$ and $Z$ 1. Finding the optimized $\hat{\pi}, \hat{a}, \hat{b}$ with $X$ 2. Finding the most probable $Z$ with $X, \hat{\pi}, \hat{a}, \hat{b}$ | EM Algorithm Initialize $\theta^{0}$ to an arbit.. 공감수 0 댓글수 0 2023. 6. 11.
W9.L4. Hidden Markov Model - Viterbi Decoding | Viterbi Decoding The most probable assignment to a single latent variable $z_t$, given the whole observed sequence X 특정 시간 t 의 Latent factor 가 특정 k cluster 에 속할 확률 Recursive formation $$ \begin{align*} P(z_{t}^{k}=1, X) &= \alpha_{t}^{k} \cdot \beta_{t}^{k} \\ &= (b_{k, x_t} \cdot \sum_{i} \alpha_{t-1}^{i} \cdot a_{i, k}) \cdot (\sum_{i} \alpha_{k, i} \cdot b_{i, x_{t}} \cdot \beta_{t+1}^{i}) .. 공감수 0 댓글수 0 2023. 6. 11.
W9.L3. Hidden Markov Model - Forward-Backward Probability | Forward Probability Calculation Forward probability : $\alpha_{t}^{k}$ Dimension: Time x States Initialize $ \alpha_{1}^{k}=b_{k, x_1}\pi_{k} $ Iterate until time T $ \alpha_{t}^{k}=b_{k, x_t} \cdot \sum_{i}\alpha_{t-1}^{i} \cdot a_{i, k} $ Proof of correctness (Answer of evaluation question without Z) $\sum_{i} \alpha_{T}^{i} = \sum_{i}P(x_1, ..., x_T, z_{T}^{i}=1) = P(x_1, ..., x_t)$ 특정 시간 T.. 공감수 0 댓글수 0 2023. 6. 11.
W9.L2. Hidden Markov Model - Joint, Marginal Probability | Main Questions on HMM Given the topology of the M Evaluation question - Given $\pi,\ a,\ b,\ X$ - Find $P(X\mid M, \pi, a, b)$ - How much is $X$ likely to be observed in the trained model? Decoding question - Given $\pi,\ a,\ b,\ X$ - Find $argmax_{z}\ P(Z\mid X, M, \pi, a, b)$ - What would be the most probable sequences of latent states? - 보이는 데이터들을 가장 잘 설명할 수 있는 Latent 들의 sequence 를 알아내봐라! L.. 공감수 0 댓글수 1 2023. 6. 11.
W9.L1. Hidden Markov Model - Concept | INTRO 앞서 Clustering ... 2D Space, 3D Space ... 예제들을 살펴봤었는데 공간과 더불어 시간이라는 개념이 추가되었을 때를 한 번 살펴보겠다. | Time Series Data for GMM N 개의 Data Point X N 개의 Data Point 들마다 Z ... 어떤 Cluster 에 Assign 되었는지를 나타내는 Latent Factor 이제 새롭게 Temporal relation / Graph notation 으로 나타내보면 다음 Time 의 Latent 에 영향 주는 형태 Observation $X$ - $X_{1},\ X_{2},\ ... \ , X_{T}$ : observation from time $1$ to time $T$ - $x_{i} \in \.. 공감수 0 댓글수 1 2023. 6. 11.
W8.L8-9. Gaussian Mixture Model - EM Algorithm | Inference with Latent Variables Difference between classification and clustering Complete set of variables: { $X, Z$ } $X$ : observed variables $Z$ : hidden (latent) variables $\theta$ : parameters for distributions Classification (supervised learning) $ P(X \mid \theta) $ → $ \textup{ln}\ P(X \mid \theta) $ Clustering (unsupervised learning) 모르는 녀석 $Z$ 를 어떻게 하면 좋을까 라는 고민이 함께 필요 $ P(X \mid \th.. 공감수 0 댓글수 0 2023. 6. 6.
W8.L5-7. Gaussian Mixture Model - G.M.M | Gaussian Mixture Model Let's assume that the data points are drawn from a mixture distribution of multiple multivariate Gaussian distributions $$ \begin{align*} P(x) &= \sum_{k=1}^{K} P(z_k) \cdot P(x \mid z ) \\ &= \sum_{k=1}^{K} \pi_{k}\cdot N (x \mid \mu_{k},\ \sigma_{k} ) \\ \end{align*} $$ 어떤 특정 $x_n$ 이 주어졌을 때, $k$ 번째 Cluster 에 Assign 될 확률은 무엇일까? $x_n$ 이 Given 일 때, $z_k = 1$ 일 확률은 무엇일까? $.. 공감수 0 댓글수 0 2023. 6. 6.
W8.L3-4. Gaussian Mixture Model - Multinomial Distribution | Multinomial Distribution Binary variable - Selecting 0 or 1 → binomial distribution - Selecting 0, 1, 2, ... → multinomial distribution How about K options? Multinomial distribution (A generalization of binomial distribution) 주사위 한 번 던지는 경우 One observation: $X_1=(0, 0, 1, 0, 0, 0)$ $P(X \mid \mu) = \prod_{k=1}^{K} \mu_{k}^{x_k}$ such that $\mu_{k} \geqslant 0,\ \sum_{k}\mu_{k}=1$ $\sum_{k} x_{.. 공감수 0 댓글수 0 2023. 6. 6.
W8.L1-2. K-Means Clustering and Gaussian Mixture Model - K-Means | Unsupervised Learning Discovering clusters Discovering latent factors Discovering graph structures ... Finding the representative topic words from text data Finding the latent image from facial data ... Clustering Problems: Latent variable of classes Optimal assignment to the latent classes 뭔가 latent 한 vector 를 공유하고 있는 것들의 묶음이구나 ... | K-Means Algorithm 잠재적인 내부 동력이 K 개 정도 있겠구나! - Setup K number.. 공감수 0 댓글수 0 2023. 6. 6.
W7.L8-9. Bayesian Network - Potential Function and Clique Graph | Potential Functions $ P(A, B, C, D) = P(A \mid B) \cdot P(B \mid C) \cdot P(C \mid D) \cdot P(D) $ Potential function: A function which is not a probability function yet, but once normalized it can be a probability distribution function Potential function on nodes: - $ \psi (a, b), \ \psi (b, c), \ \psi (c, d) $ Potential function on links: - $ \phi (b), \ \phi (c) $ | Absorption in Clique Gra.. 공감수 0 댓글수 0 2023. 6. 5.
W7.L6-7. Bayesian Network - Inference Question on Bayesian Networks | Inference Question: Conditional Probability $ P(\textup{A} \mid \textup{B}=\textup{True}, \textup{MC}=\textup{True} ) $ B = True 그리고 MarryCalls = True 인 경우, Alarm 이 울렸을 확률은 ? 이러한 Evidence 가 있는 상황에서 가장 Likely 한 Label 은 무엇인가? A 가 True 일까 False 일까? 이런 것들을 하는데 아주 유용한 것이 Conditional Probability ! $ X_V $ : Evidence $ X_H $ : Hidden - $ X_H = \left\{ Y, Z \right\} $ * $ Y $ : interested hidden varia.. 공감수 0 댓글수 0 2023. 6. 5.
W7.L5. Bayesian Network - Factorization of Bayesian Networks | Factorization of Bayesian Network Joint probability 를 알면 individual probability, conditional probability 등 알 수 있는 것이 많음 하지만 Parameter 수가 급격하게 많기 때문에, Parameter 수를 줄이기 위해서는 Independent 관계에 대한 정보가 필수적 아무런 조건이 없어도 Factorization 은 가능 $ P(X_1, X_2, X_3) = P(X_1 \mid X_2, X_3) \cdot P(X_2 \mid X_3) \cdot P(X_3) $ Assume $ X_1 \perp X_3 \mid X_2 $ $ P(X_1, X_2, X_3) = P(X_1 \mid X_2) \cdot P(X_2 \mid.. 공감수 0 댓글수 0 2023. 6. 5.
W7.L4. Bayesian Network - Bayes Ball Algorithm | Typical Local Structures | Bayes Ball Algorithm | Markov Blanket A 라는 특정 Random variable 이 Bayesian Network 위에 있을 때 다른 Random variable 들과 모두 Conditional independent 하게 만들어주는 것들을 "Blanket" 이라 한다. | D - Seperation X is directly separated from Z given Y If we cannot send a ball from any node in X to any node in Z using the Bayes ball algorithm $$ X \perp Z \mid Y $$ Reference 문일철 교수님 강의 https://w.. 공감수 0 댓글수 0 2023. 6. 5.
W7.L3. Bayesian Network - Interpretation of Bayesian Network | Detour: Naive Bayes Classifier Given - Class Prior $ P(Y) $ - $ d $ conditionally independent features $ X $ given the class $Y$ for each $X_i$, we have the likelihood of $P(X_i \mid Y)$ $$ f_{NB}(x) = argmax_{\ Y=y}\ P(Y=y) \cdot \prod_{i} \ P(X_i=x_i \mid Y=y) $$ "Y 가 Given 인 상황에서 개별 Feature X 들은 Conditional independent 하다라는 Naive 한 가정" Graphical representation | Bayesian Network A graphic.. 공감수 0 댓글수 0 2023. 6. 4.
W7.L1-2. Bayesian Network - Probability Concepts | Introduction Graphical model: 확률 변수 간의 관계를 표현 Conditional probability $$ P(\textup{H}=\textup{True} \mid \textup{F}=\textup{True}) = \frac{P(\textup{H}=\textup{True}, \textup{F}=\textup{True})}{P(\textup{F}=\textup{True})} $$ "우리가 가지고 있는 어떠한 정보" 를 기반으로 "앞으로 일어날 일을 예측" 하는 것에 관심이 많음 | Law of Total Probability Law of total probability: "summing out", "marginalization" $$P(a) = \sum_{b} P(a, b) =.. 공감수 0 댓글수 0 2023. 5. 7.
W6.L1-7. Training Testing and Regularization | Overfitting and Underfitting There is a trade-off between the complexity of a model and the generality of a dataset | Bias and Variance Sources of Error in Mahicne Learning * Approximation: 열심히 fitting 했는데 잘 안된 것 * Generalization: 앞으로 다가올 미래의 데이터에 대한 오차 $E_{out} \leqslant E_{in} + \Omega$ * $E_{out}$ is the estimation error * $E_{in}$ is the error from approximation by the learning algorithms .. 공감수 0 댓글수 0 2023. 5. 7.
W5.L1-9. Support Vector Machine | Decision Boundary without Probability 앞에서 살펴봤던 것과는 달리, 확률 개념을 다 빼고. Decision Boundary 를 한 번 생각해보자. Decision boundary line $w \cdot x + b = 0$ Positive case $w \cdot x + b > 0$ Negative case $w \cdot x + b < 0$ Confidence level $(w \cdot x_i + b) y_i$ ... 항상 양수 ... 이걸 최대한 높이는 것이 목적 (Labeling with pos. of "+1" and neg. of "-1" ) Margin Perpendicular distance from the closest point to the decisio.. 공감수 0 댓글수 0 2023. 5. 6.
W4.StatQuest. MLE, Gaussian Naive Bayes | MLE Mouse 몸무게를 측정한 데이터가 존재 Mouse 몸무게 데이터를 가장 잘 표현할 수 있는 Distribution 찾는 방법 만약, Gaussian Distribution 으로 가정한다면, 평균과 분산을 찾는 과정 (평균 1 일 때 Likelihood, 평균 2 일 때 Likelihood, .... 옮겨가며 Likelihood 가 최대값이 되는 지점을 찾음) (분산도 마찬가지로 찾음) 이를 통해 데이터를 가장 잘 설명하는 Parameters 를 찾음으로써 Distribution 을 찾을 수 있음 | Naive Bayes 메일함 속 Normal, Spam 메일들이 존재 Normal 메일들 중 Dear, Friend, Lunch, Money 가 포함된 메일의 확률 계산 Spam 메일들 중 Dea.. 공감수 0 댓글수 0 2023. 5. 6.
W4.L7-8. Logistic Regression - Naive Bayes to Logistic Regression | Introduction Paramter 를 특정 데이터에 맞춰서 최적화 강한 Hypothesis 를 만든다. Hypothesis 안에는 Parameter가 존재하고, 결국 데이터로 이 Parameter를 최적화하는 과정 | Naive Bayes & Logistic Regression 비교 왜 비교해보나요? 대표적인 Genertavie & Discriminative Pair 관계 지난 시간 배운 Naive Bayes 는 CATEGORICAL input feature 대상 이번에는 CONTINUOUS input feature 대상으로 공부해보자. ... (Logistic Regression 과 Competitive 하도록) 대표적으로 해볼 수 있는 것이 Gaussian Naive Bayes | Gauss.. 공감수 0 댓글수 0 2023. 5. 6.
W4.L1-6. Logistic Regression - Decision Boundary, Gradient Method | Introduction Naive Bayes - Conditional Independent 가정 하지 않고 해볼 수 있는 Classification 그 중 하나가 Logistic Regression! | Optimal Classification and Bayes Risk 실선 (Non-linear) 이 점선 (Linear) 보다 좋다! | Logistic function Sigmoid function 1. Bounded 2. Differentiable 3. Real function 4. Defined for all real inputs 5. With positive derivative (increase function) - Example: tahh, logistic, ... Logistic funct.. 공감수 0 댓글수 0 2023. 4. 30.
W3.L3-4. Naive Bayes Classifier - Naive Bayes Classifier | Introduction Previously $$ f^*(x) = argmax_{\ Y=y}\ P(X=x \mid Y=y) \cdot P(Y=y) $$ 각 X 간 복잡한 Joint 파트 (필요한 Parameter 수가 굉장히 많다.) Let's apply the conditional independent assumption $$ f^*(x) \approx argmax_{\ Y=y}\ P(Y=y) \cdot \prod_{i} \ P(X_i=x_i \mid Y=y) $$ $P(X_i=x_i \mid Y=y) $ has $ (2-1) \cdot d \cdot k $ parameters! | Naive Bayes Classifier Given - Class Prior $ P(Y) $ - $ d $ co.. 공감수 0 댓글수 0 2023. 4. 30.
W3.L2. Naive Bayes Classifier - Conditional Independence | Optimal Classifier $$ \begin{align*} f^*(x) &= argmax_{\ Y=y}\ P(Y=y \mid X=x) \\ &= argmax_{\ Y=y}\ P(X=x \mid Y=y) \cdot P(Y=y) \end{align*} $$ 여기서 X 가 여러가지의 Variable 일 때 계산이 복잡해진다는 문제점이 발생할 수 있다. 어떻게 해결할 수 있을까? → Naive Bayes 이용하여 "여러개의 Features" (Random Variables) 들어왔을 경우에 Joint 되는 부분을 해결해보자! | How many parameters are needed? Sky Temperature Humid Wind Water Forecast Enjoy Sports Sunny Wa.. 공감수 0 댓글수 0 2023. 4. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.