Diffusion Model 기본: Bayesian methods (Foundation of Machine Leanrning)

서론

일주일 2번 세미나는 정말 힘들었습니다. 원래 한동안 데이터 사이언스 학문에 권태기가 와서 열정적으로 참여하지 못했는데, 겨울 방학 ~ 학기 때 정신적으로 갈리면서 오히려 벽을 넘은거 같은 느낌. 요즘 다시 또 재밌어지기 시작해서, 제대로 셤 공부하기 전에 글을 정리할겸 써보겠습니다.
밑에 제가 만든 새미나 pdf 파일을 첨부할 것이긴 한데, 구체적으로 알고 싶으면 다운 받으세요
 
*현재 듣고 있는 강의 링크

Foundations of Machine Learning

 
 
*강의 슬라이드

하면서 느끼는 건데, 저만 그런지 모르겠는데 정말 어려움..
하지만, 기존 ML을 최적화, 통계, 미분 등을 이용하여 수식적으로 접근하고 싶은 사람에게 강추합니다
배우면서, 생각하는 범위가 넓어지는 기분
 

그럼 왜 Bayesian을 정리하는가?

현재 저는 '인공지능 특론'이라는 대학원 수업을 학부 전공 과목으로 듣고 있습니다. 이 과목은 Diffusion model 발전 논문을 읽으며, 나중에 프로젝트를 진행하는 과목입니다.
하면서 느끼는 것은 수식을 정리할 때, 우도 (Likelihood), 베이지안 기법 (Bayesian Method)를 많이 이용하는 거 같아서 현재 진행하고 있는 세미나 내용 중 9주차 베이지안에 대해 작성하게 되었습니다.
Maximum likelihood: 최대 우도법 -> 사실 이걸 먼저 정리해야할 거 같긴한데, 일단 그건 시간 되면 고민해볼게용
 

Bayesian에서 핵심은 ?

1) 추정하고자 하는 파라미터의 값을 분포 자체로 해석할 수 있다 (기존 MLE (Maximum likelihood)기법은 점이나 구간 추정)
2) 사전 확률을 정보가 들어옴에 따라 점진적으로 사후 확률로 업데이트 한다는 관점 (기존 Classic 통계는 빈도주의. 따라서 모수나 파라미터를 추정하고 난 후, 주어진 표본이 모수의 분포를 잘 표현할 것이라고 믿기만 함)

 
3) 파라미터의 값을 불확실에 대한 분포로 표현 -> 불확실성을 최소화하는 의사 (모수를 추정)결정 가능 -> 최대우도에서 했던 것과 같이 수식을 정리하며, 파라미터에 대한 의사 결정을 w 가중치로 변환해서 생각할 수 있음
 

기타

밑에 pdf 파일 내용 일부를 첨부하겠습니다.

---

Introduction : Setting

이 슬라이드에선 MLE와 Bayesian을 연동하여 최종적으로 무엇이 핵심임을 말하고 있음
 
 

Introduction : 베이지안 정리를 이해하기 어려운 이유

기존 통계적 관점과 다른 베이지안 관점에 대한 내용을 담음
이 부분은 '공돌이의 수학 노트' 영상을 참고했습니다.
 

Bayesian Theorem : Classic Statistic

 
MLE (Maximum Likelihood 추정) 를 사용했을 때 어떤 부분이 부족할 수 있는지 설명하고 있음
 

Bayesian Method

 

Bayesian Method: Example : 동전의 앞면이 나올 확률 0.5

 
사후 확률이 Update 되고 있음을 표현.

 

Bayesian Decision Theory: 최적의 의사결정을 하는 방법

 

Bayesian Regression

 

Conclusion

foundation fo machine learning week9 (1).pdf

1.03MB