과녕이의 데이터 학습 노트

Diffusion Model 기본: Bayesian methods (Foundation of Machine Leanrning)

서론일주일 2번 세미나는 정말 힘들었습니다. 원래 한동안 데이터 사이언스 학문에 권태기가 와서 열정적으로 참여하지 못했는데, 겨울 방학 ~ 학기 때 정신적으로 갈리면서 오히려 벽을 넘은거 같은 느낌. 요즘 다시 또 재밌어지기 시작해서, 제대로 셤 공부하기 전에 글을 정리할겸 써보겠습니다.밑에 제가 만든 새미나 pdf 파일을 첨부할 것이긴 한데, 구체적으로 알고 싶으면 다운 받으세요 *현재 듣고 있는 강의 링크 Foundations of Machine LearningWith linear methods, we may need a whole lot of features to get a hypothesis space that's expressive enough to fit our data -- there can..

Titans: Learning to Memorize at Test Time

이 논문은 2개월 전에 나와서 리뷰가 많이 없었습니다. 하지만, 기존 transformer을 대체할 수 있는 논문으로 소개 되고 있어서 한번쯤 확인하시면 좋을 것 같습니다. (저도 정리할 겸 올리는거여서)유튜브로 설명 찾아봤는데, 아직 한국분이 리뷰한 영상은 없는 것 같습니다. 인도인 분 영상 + 세미나 발표 준비겸 직관 대로 정리한 pdf파일 참고하면 될 것 같습니다.핵심은 Long term Memory에서 test time에서도 학습이 진행되며, 정보 검색(read, write)이 어떻게 이루어지는지 설명했습니다. 4학년 학부생이 만든 pdf여서 틀릴 수도 있습니다  Introduction 본 논문에서 기존 transformer attention 구조의 문제를 어떤 idea로 해결하는가를 다룸Rela..

이번 연구실 프로젝트로 우리는 Automl 을 위한 LLM 구축 프로젝트를 맡았다.총 두 가지 방식으로 코드를 위한 LLM 구축을 맡았는데RAGLLM Fine tuning이렇게 두 가지 프로젝트를 할당 받았다. 그중 RAG는 수아누나가 담당했고, 나는 LLM을 fine tuning 시켜서 csv 파일을 LLM 프롬프트에 입력만 하면, 자동적으로 모델을 추천하고 분석 결과를 Table 형태로 반환하는 LLM을 제작해야 했다. 프로젝트를 진행 중 가장 큰 문제는 내가 LLM을 하나도 모른다는 것이었다. Hugging face도 제대로 못쓰는 나인데 어떻게 문제를 해결했을까? *특히 구글링과 GPT한테 물어도 이런 Data analysis 를 위한 LLM을 구축한 글은 없어서 idea 찾는 것이 가장 힘들었다..

* 3학년 학부생이 가볍게 작성한 글이니 틀린 것이 많을 수 있습니다 가볍게 봐주세요. 이번 포스팅은 Vae: Variational Autoencoder에 대한 내용을 담으려고 한다.기존 포스팅에서 AE에 대한 내용을 담으면서 autoencdoer가 무엇인지 대략적인 감은 알았지만, Vae 관련 내용은 초반에 이해하기 너무 어려웠다. 이번 데이터 애널리틱스 생성 모델 수업을 들으며 가장 중요하게 생각했던 한 가지는 vae의 작동 원리에 집중 했던 것 같다.따라서 앞으로 진행 될 내용들은 수식적인 내용들 보다는 작동 원리에 집중하겠다. cf. Autoencdoer에 대한 내용 Autoencoder서론 최근에 보아즈 멘토 멘티 수업에서 U-Net 논문을 읽고 공부를 했다. 그리고 나서 Autoencoder ..

이번에 연구실에서 기업 프로젝트를 진행하던 중 의문이 생겼다. 현재는 프로젝트를 마무리한 상태이며, 자세한 내용은 다음편에 담을 듯 하다. text embedding은 처음 하는 거라, 다방면에서 문제가 나타났다. 가장 큰 문제는 text-> vector로 변환 과정에서 메모리 용량 문제가 가장 많이 나타났던 것 같다. (각 column마다 나오는 데이터를 데이터 프레임 형식으로 excel로 저장해서) 따라서 이번에는 excel파일을 python으로 불러올때 효율적으로 처리할 수 있는 방식을 알려드릴려고 한다. 목차데이터 & 프로젝트 간단 소개어려움을 겪었던 부분 (용량 부족, 로드 시 오래 걸림)극복하면서 알게 된 것. (excel -> csv , csv to parquent) 일단 이번 3학년 여름 ..

서론: 학기 중에 따로 딥러닝 이론과 심층 구현 공부할 시간을 내기가 정말 힘듭니다. 따로 공부할 시간을 내기 힘들거 같아서, 현재는 공모전과 프로젝트(보아즈 ADV)만 진행 중이고 , 완료되면 티스토리에 작성할게요.. 일단 데이터와 관련된 내용이니 보고서라도 하나 작성해봅니다. (python으로 구현해서 품.) 2주차 보고서 주제 공분산, 상관계수? 공분산과 상관계수가 무엇인지 먼저 알아야한다. [1일 1 캐글] Default of Credit Card Clients Dataset, PCA 이용 1일 1 캐글 프로젝트 첫 날이다. 첫날은 간단한 것부터 시작하려고 한다. 위의 데이터에서 상관 분석을 통해 상관 관계를 시각화 하고, 그것을 바탕으로 상관도가 높은 부분은 PCA분석으로 차원을 hyeong11..

이번 계절학기로 미분을 들으면서 가장 핵심적으로 봤던 것은 미분의 전반적인 개괄이다. 그래서 미분을 왜 할까? 내 생각에는 2가지의 이유가 가장 크다 1. 선형 근사값 찾기 2. 최대 최소 구하기 최종적으로 미분은 근사값을 찾거나 최대 최소를 구하기 위해 사용된다. (경사하강법 minimize 값 찾기 위해 미분하는 것도 동일 이유) 간단한 예시를 보여드리겠다. 최대 최소는 많이 사용해서 알 것이고, 선형 근사 부분을 잠시 설명 하겠다. 선형 근사값 y = 2x ^이라는 기본적인 수식이다. 보통 여기에 해당하는 함수값을 찾으려면 x의 해당하는 값을 대입 해야한다. 하지만 x = 2.2345라는 값이 들어오면 y의 값을 구하기 어렵다. (계산기 두들기면 되긴하는데 간단한 예시를 들기 위해..) 그렇다면 이..

현재 나는 계절학기로 미적분2 과목을 듣고 있다. 학점을 채우려고 들었는데, 딥러닝 공부를 좀 해서 그런지 이해하기 쉽고 공간상 관점으로 바라보는 것이 쉬워졌다. 상암이 형이 3학년 시작전 미적분은 복습하라고 했는데, 오히려 잘되었다.(논문 수식 이해 쉬워짐) 시험 공부도 정리할겸. 미적분의 개념을 갖고 그것이 인공지능에서 어떤 공간상 관점으로 확장 할 수 있을 것 같은지, 나의 생각을 담은 글을 작성해 보겠다. (2파트 정도) 현재 생각하는 구성은 - 미분과 공간상 개념 (벡터 space) - AI관점으로 미적분 바라보기 (경사하강법과 Chain rule) 단순히 미적분 수업을 듣고, 내 생각으로 정리한 것이기 때문에 당연히 틀릴 수 있다. 하지만, 미적분의 개념으로 데이터를 설명하는 내용은 흥미로울 ..

하아 맨날 머신러닝 한다. 대회 나간다. 그러고 제대로 뭐 하나 한게 없는듯... (티스토리 대회 리뷰 글도 중반까지만 작성하고 튀튀..) 동기부여가 안돼서 FLEX 했다. 이번 방학동안 딥러닝 이론과 구현 잡는다. 딥러닝 공부시 장점보아즈 ADV 플젝때 민폐 x데이터 에널리틱스 과목 예습 효과 -> 학점플젝시 학교에서 날아다닐 수 있음목표 성취에 가까워 짐 계절 전까지 CNN강의 & 책 독파 한다 무조건. (계획 불이행시 이거 캡해서 나 보여주면 밥 사줌 ㄹㅇ) 이제 제발 하자 !!! 이번 방학 계획 1. 딥러닝 서적 2권 2. 수리 통계, 선형대수 공부 FLEX ~ 약 -150,000

이번 보아즈 미니 플젝2에 우리는 '제주도 특산물 가격 예측 AI 경진 대회'에 나갔다. 상위 10프로 가능했을거 같긴 한데 문턱에서 끊겼다. 그래도 새로운 것을 많이 알게 되어서 이 정도면 만족이다. 성능을 업그레이드 하기 위해 우리가 집중한 방식은 3가지에만 집중했다. 전처리 피처 엔지니어링 좋은 모델 사용 이 3가지에 집중했다. 그 중 많은 내용을 다 다룰 수 없으니, 핵심 idea인 피처 엔지니어링 ,전처리에 대해 요약해 볼 예정이다. 구성 1. 문제 정의 EDA -> 어떤 문제가 있는지? 2. 문제 해결 피처 엔지니어링 전처리 3. 추가로 무엇을 하려고 했는지? 모델 앙상블 (품목 별 학습 (xgb), 회사 별 학습(xgb), 전체 학습 앙상블. (autogluon timeseires)) Met..