과녕이의 데이터 학습 노트

Titans: Learning to Memorize at Test Time

이 논문은 2개월 전에 나와서 리뷰가 많이 없었다. 하지만, 기존 transformer을 대체할 수 있는 논문으로 소개 되고 있음유튜브로 설명 찾아봤는데, 아직 한국분이 리뷰한 영상은 없는 듯인도인 분 영상 + 세미나 발표 준비겸 직관 대로 정리한 pdf파일 참고하면 될 것 같습니다.핵심은 Long term Memory에서 test time에서도 학습이 진행되며, 정보 검색(read, write)이 어떻게 이루어지는지 설명했습니다.4학년 학부생이 만든 pdf여서 틀릴 수도 있습니다 ! Introduction 본 논문에서 기존 transformer attention 구조의 문제를 어떤 idea로 해결하는가를 다룸Related Work기존 attention 관점을 -> 메모리 관점으로 변환하기 전 관련 수식..

이번 연구실 프로젝트로 우리는 Automl 을 위한 LLM 구축 프로젝트를 맡았다.총 두 가지 방식으로 코드를 위한 LLM 구축을 맡았는데RAGLLM Fine tuning이렇게 두 가지 프로젝트를 할당 받았다. 그중 RAG는 수아누나가 담당했고, 나는 LLM을 fine tuning 시켜서 csv 파일을 LLM 프롬프트에 입력만 하면, 자동적으로 모델을 추천하고 분석 결과를 Table 형태로 반환하는 LLM을 제작해야 했다. 프로젝트를 진행 중 가장 큰 문제는 내가 LLM을 하나도 모른다는 것이었다. Hugging face도 제대로 못쓰는 나인데 어떻게 문제를 해결했을까? *특히 구글링과 GPT한테 물어도 이런 Data analysis 를 위한 LLM을 구축한 글은 없어서 idea 찾는 것이 가장 힘들었다..

* 3학년 학부생이 가볍게 작성한 글이니 틀린 것이 많을 수 있습니다 가볍게 봐주세요. 이번 포스팅은 Vae: Variational Autoencoder에 대한 내용을 담으려고 한다.기존 포스팅에서 AE에 대한 내용을 담으면서 autoencdoer가 무엇인지 대략적인 감은 알았지만, Vae 관련 내용은 초반에 이해하기 너무 어려웠다. 이번 데이터 애널리틱스 생성 모델 수업을 들으며 가장 중요하게 생각했던 한 가지는 vae의 작동 원리에 집중 했던 것 같다.따라서 앞으로 진행 될 내용들은 수식적인 내용들 보다는 작동 원리에 집중하겠다. cf. Autoencdoer에 대한 내용 Autoencoder서론 최근에 보아즈 멘토 멘티 수업에서 U-Net 논문을 읽고 공부를 했다. 그리고 나서 Autoencoder ..

하아 맨날 머신러닝 한다. 대회 나간다. 그러고 제대로 뭐 하나 한게 없는듯... (티스토리 대회 리뷰 글도 중반까지만 작성하고 튀튀..) 동기부여가 안돼서 FLEX 했다. 이번 방학동안 딥러닝 이론과 구현 잡는다. 딥러닝 공부시 장점보아즈 ADV 플젝때 민폐 x데이터 에널리틱스 과목 예습 효과 -> 학점플젝시 학교에서 날아다닐 수 있음목표 성취에 가까워 짐 계절 전까지 CNN강의 & 책 독파 한다 무조건. (계획 불이행시 이거 캡해서 나 보여주면 밥 사줌 ㄹㅇ) 이제 제발 하자 !!! 이번 방학 계획 1. 딥러닝 서적 2권 2. 수리 통계, 선형대수 공부 FLEX ~ 약 -150,000

서론 최근에 보아즈 멘토 멘티 수업에서 U-Net 논문을 읽고 공부를 했다. 그리고 나서 Autoencoder 공부하니 이해가 더 잘되는 기분이다. (유사한 점이 많다.) 신기한게 vgg paper 논문 공부때도 그렇고, 정말 필요한 부분을 공부할 수 있고, 연관성 높은 부분이 많아서 정말 좋다. CV 분야는 이번에 처음 공부하는데, 재밌어서 미니 플젝도 CV한다. 보아즈 잘 들어간 듯 쨌든 이번 시간에는 Autoencoder에 대해 설명하겠다. 목차 Autoencoder 기본 개념 Autoencoder 사용 이유 Autoencoder 탐구 PCA와의 비교 먼저 결론부터 말하자면, 머신러닝 비지도 차원 축소 기법인 PCA와 유사점이 많다. (차원 축소를 목표) key point ! 를 살펴보자. 비지도 ..

이번 시간에는 대표적인 cv 알고리즘인 CNN에 대하여 설명할 것이다. 최근에 보아즈 멘토 멘티 수업 중 vgg paper내용이 끝난 후, 함께 정리할겸 글을 작성해 보았다. 기초적인 내용들은 이미 충분한 자료가 많으니, 다루지 않을 것이고, 학습할때 한번쯤 지나쳤을만한 내용들을 위주로 설명을 하겠다. 먼저 목차부터 보자. 목차 CNN의 기본 구성 Convolution의 이해(receptive field, feature maps) max pooling FC layers(완전 연결망) 이렇게 구분할 수 있다. CNN의 기본 구성 CNN이전 ANN(Artificial neural network)부터 복습을 해보자. ANN: 가장 기본적인 인공 신경망이다. 나의 티스토리 글에 있는 내용 대부분이 이러한 인공 ..

안녕하세요. 이번 시간에는 마지막 세번째 시간 mini batch와 bagging 알고리즘의 데이터 샘플링 방식의 차이를 공부하겠다. 신경망 학습을 하다가 비슷한듯 비슷하지 않은 미니 배치와 배깅알고리즘을 정리하면서, 다시 한번 샘플링 차이를 이해하는 시간이 되었다.. 목차는 다음과 같다.목차mini batch와 bagging 알고리즘데이터 샘플링 방식의 차이중심극한 정리와 배깅 알고리즘 bagging의 이해 배깅 알고리즘은 앙상블 알고리즘 중 하나이다. 모델링에서 배깅의 핵심 방식을 요약하면,부트스트래핑단일 알고리즘 적용보팅(hard or soft)이것으로 요약할 수 있다.전체 데이터(모집단) 중 중복을 허용한 뽑기(부트 스트래핑) 방식으로 여러개의 샘플 데이터들을 만든다.여러 개의 샘플 데이터의 서브..

오늘도 저번 시간과 동일하게 Loss function을 정리하려고 한다. 저번 시간에는 분류에서 주로 사용되는 Cross - entropy와 Negative log likelihood loss에 대해 배웠다. cf. Loss function 정리 (Cross entropy, Negative log likelihood) 오늘은 Loss function에 대하여 학습을 진행할 것이다. Loss function으로 미분이 가능하게 만들어, 학습에 판단 지표로 만든다는 것은 알겠는데, 각각 무슨차이인지 몰랐다. 이번 학습을 통해 조금 더 l hyeong1197.tistory.com 이번에는 회귀에서 사용되는 MAE(mean absolute error), MSE(mean squared error), RMSE(Ro..

오늘은 Loss function에 대하여 학습을 진행할 것이다. Loss function으로 미분이 가능하게 만들어, 학습에 판단 지표로 만든다는 것은 알겠는데, 각각 무슨차이인지 몰랐다. 이번 학습을 통해 조금 더 loss function에 가까워졌다. 추가로 미니 배치와 배깅 알고리즘을 정리하며 이해의 폭을 넓힐 예정이다. 전체 목차 MAE vs MSE vs RMSE Cross entropy vs Negatinve log likehood loss 미니 배치 vs 배깅 알고리즘 정리 세부 목차 최대 우도법? Negative log likelihood Cross entropy Negative log likelihood vs Cross entropy 최대 우도법(likelihood) 복잡한 수식보다 핵심적..

이번 시간에는 3장 '신경망'에 대해 설명하겠다. 이번 시간에는 활성화 함수와 행렬을 이용한 신경망 구현에 대해 집중 탐구할 생각이다. 신경망 구현은 다음 시간에 설명하겠다. 목차 활성화 함수 신경망에 행렬 출력층 설계 크게 보면 목차는 이렇다. 먼저 '활성화 함수' 부터 공부 시작하겠다. 활성화 함수 1. h(x)의 이해 이전 퍼셉트론 관점에서 b(편향)을 명시했다. (1*b) 편향도 가중치 관점에서 편향의 입력신호는 항상 1이기 때문이다. 이런 방식으로 명시한 이유는 행렬의 곱과 덧셈으로 신경망 구현을 편리하게 하기 위해서이다. 2. 활성화 함수 활성화 함수로 설명할 함수는 '계단 함수', '시그모이드 함수', 'ReLU 함수' 이렇게 3가지가 있다. 뒤에서 출력층에 사용하는 함수로 '소프트맥스' 함..