과녕이의 데이터 학습 노트

저번 포스팅부터 이어서 작성하겠다. 저번 포스팅을 보지 못했다면 다시 참고하고 오시기를 바란다. 밑바닥부터 시작하는 딥러닝1 (neural network) #part3-1 이번 시간에는 3장 '신경망'에 대해 설명하겠다. 이번 시간에는 활성화 함수와 행렬을 이용한 신경망 구현에 대해 집중 탐구할 생각이다. 신경망 구현은 다음 시간에 설명하겠다. 목차 활성화 함 hyeong1197.tistory.com 그럼 시작하겠다. 이번 시간에는 신경망에서 행렬의 구현에 대해 설명하겠다. 전개 방식은 내가 직접 만든 ppt를 주로 설명할 것이고, 행렬의 연산에 대한 설명은 생략하겠다. 행렬의 연산 1. 행렬의 이해 (이 부분은 ppt 내용만 첨부) 행렬은 2차원이다. numpy를 공부하다 보면, 차원에 대한 이해가 조..

이번 시간에는 3장 '신경망'에 대해 설명하겠다. 이번 시간에는 활성화 함수와 행렬을 이용한 신경망 구현에 대해 집중 탐구할 생각이다. 신경망 구현은 다음 시간에 설명하겠다. 목차 활성화 함수 신경망에 행렬 출력층 설계 크게 보면 목차는 이렇다. 먼저 '활성화 함수' 부터 공부 시작하겠다. 활성화 함수 1. h(x)의 이해 이전 퍼셉트론 관점에서 b(편향)을 명시했다. (1*b) 편향도 가중치 관점에서 편향의 입력신호는 항상 1이기 때문이다. 이런 방식으로 명시한 이유는 행렬의 곱과 덧셈으로 신경망 구현을 편리하게 하기 위해서이다. 2. 활성화 함수 활성화 함수로 설명할 함수는 '계단 함수', '시그모이드 함수', 'ReLU 함수' 이렇게 3가지가 있다. 뒤에서 출력층에 사용하는 함수로 '소프트맥스' 함..

이번 시간에는 저번 시간에 궁금했던 부분을 해결하려고 한다 먼저 시작 전에 저번 시간에 궁금했던 문제를 먼저 해결해보려고 한다. 질문은 다른 방식으로도 3가지를 조합하여, XOR 논리게이트를 만들 수 있는가? 이다. 이 문제를 나는 경우의 수로 풀어보았다. cf. XOR 논리게이트가 무엇인지 모르겠다면 이전 포스팅 참고 하시길 바란다. 밑바닥부터 시작하는 딥러닝1 (perceptron) #part2-2 어제 다 설명 못한 perceptron에 대하여 설명하겠다. 저번 시간에는 단층 퍼셉트론에 대한 설명과 논리회로를 알아봤다면, 이번 시간에는 다층 퍼셉트론과 단층 퍼셉트론의 한계에 대하여 알아보 hyeong1197.tistory.com 문제 해결(XOR) 경우의 수: 3 * 2 * 1(비복원 추출) 각각의..

어제 다 설명 못한 perceptron에 대하여 설명하겠다. 저번 시간에는 단층 퍼셉트론에 대한 설명과 논리회로를 알아봤다면, 이번 시간에는 다층 퍼셉트론과 단층 퍼셉트론의 한계에 대하여 알아보겠다. 지난 포스팅과 같이 보기를 추천한다. 목차 XOR 게이트 다층 퍼셉트론의 등장 먼저 XOR 게이트에 대하여 설명하겠다. XOR 게이트 XOR 게이트는 배타적 논리합으로 불리며, 즉, X1, X2중 한쪽이 1일때만 1을 출력하는 구조이다. (복습 OR게이트는 1, 1 ->1을 출력하지만, XOR 게이트에서는 1, 1->0이 출력되는 구조이다.) 그렇다면 이 논리 회로도 앞에서 설명한 일차함수의 부등식 영역 관점으로 표현 할 수 있을까? 그림을 먼저 봐보자 결론부터 먼저 말하자면, XOR 게이트는 단층 퍼셉트론..

저번 주부터 과외를 받기 시작했다. 데이터 분석을 공부하다가, 모르는 부분을 같은 과 선배에게 끊임 없이 물어봤었는데, 형이 과외 받으라고 해서 과외를 받기 시작했다. 과외 방식은 주어진 분량까지 발표할 자료를 혼자 스스로 준비하고 파워포인트와 주피터 노트북으로 발표하는 형식이다. 그 중 이번주는 2장 퍼셉트론까지 준비했다. 준비하면서 알게 된 부분을 이번 시간을 통해 공유하려고 한다. 책의 내용을 기반으로 설명하겠지만, 내가 스스로 느낀 부분 위주로 설명할 생각이다. 그럼 시작해보자. 밑바닥 부터 시작하는 딥러닝1 perceptron #2 start 목차 1. 단층 퍼셉트론의 이해 퍼셉트론의 이해 신경계, 인공 신경망 일차 함수 관점 2. 퍼셉트론의 논리회로 단층 퍼셉트론의 논리회로(AND, NAND,..

이번 시간에는 Online Retail Data Set 데이터를 갖고 고객 세그먼테이션 정의와 기법을 통해 군집화 실습을 진행할까 한다. 파이썬 머신러닝 완벽 가이드에 있는 내용을 참고하긴 했지만, 전반적인 코드 보지 않고 내가 직접 구현했기 때문에 비효율적일 수 있다. 목차 data exploration data preprocessing R, F, M Application data scaling kmeans Evaluation 1. 데이터 탐색과 전처리(exploration, preprocessing) 먼저 데이터 셋을 불러온다 1 StockCode : 제품 코드 2 Description : 제품 설명 3 Quantity : 주문 제품 건수 4 InvoiceDate: 주문 일자 5 UnitPrice :..

정형 데이터 마이닝 방법이고 분류 방법을 이용한다. 데이터를 확인해보자. Pregnancies : 임신횟수 Glucose : 포도당 농도 BloodPressure : 혈압 SkinThickness : 피부두께 Insulin : 인슐린 BMI : 체질량지수 DiabetesPedigreeFunction : 당뇨병 혈통 기능 Age : 나이 Outcome : 당뇨병 여부(0: 발병되지 않음, 1: 발병) df.info()를 확인한 결과 결측값이 없음을 알았다. EDA 탐색적 데이터 분석(시각화) 먼저 ID칼람은 index와 비슷한 값을 가지고 의미 없으니 삭제한다. 1. df.columns을 이용하여 데이터 프레임의 칼람들만 뽑는다. 2. 이후 리스트로 만들어 나중에 시각화를 위해 for문을 사용할때 수월하게..

1일 1 캐글 프로젝트 첫 날이다. 첫날은 간단한 것부터 시작하려고 한다. 위의 데이터에서 상관 분석을 통해 상관 관계를 시각화 하고, 그것을 바탕으로 상관도가 높은 부분은 PCA분석으로 차원을 축소하려고 한다. 목차 데이터 간단 탐색 상관 분석(with sns 히트맵) 차원축소, PCA(ADsP 내용 복습) 모델 성능 평가 먼저 데이터 셋을 로드한다. 많지 않아 보이겠지만 칼람만 25개이다. 먼저 ID는 불필요해 보이니, 제거를 한다. 이후 drop함수를 이용하여 타겟과 피처들을 나눈다. (tip ! : X_features예시와 같이 데이터 프레임에서 타겟값만 drop하고, inplace = False로 지정하면 쉽게 분리할 수 있다.) 그리고 피처의 이름이 너무 복잡하여 헷갈린다. 이름을 알아보기 쉽..

머신러닝 분류와 회귀에 대해 어느정도 알게 됐다. 그래도 아직 진짜 많이 부족하다.. 머신러닝 강의와 책을 통해 어느정도 습득을 했는데, 더욱 실력을 업그레이드 하는 방안이 필요했다. 이론만 알고 실제 코드 구현은 어려웠다. 그래서 작은 실습 문제여도 매일 당분간은 1일 1캐글 문제를 분석할 생각이다. 매일 티스토리에 글을 작성하지는 못하겠지만 주기적으로 방문하여 현재 상황을 기록해야겠다. 혹시나 보시다가 틀리거나 더 좋은 방향이 있으면 다양한 피드백을 해주시길 바란다.

지난 5/20일 빅데이터 준전문가 자격시험을 완료하고 왔다. 결과는 88점 ! 3주 공부해서 걱정했는데 붙어서 다행이다 ㅎㅎ 자격증 취득 이유 통계 공부의 필요성 전반적인 개요 파악 마감 기한으로 질 높은 공부 가능 크게 요약하면 이렇게 3가지가 될거 같다. 지난 2월부터 파이썬 공부를 시작하여서 4월에 '머신러닝 완벽 가이드'라는 책을 끝냈다. 책을 공부하고, 직접 실습을 해보면서 어떤 원리로 이러한 방식들이 적용되는지 궁금했다. 알아보니 통계학과 선형대수학, 그외 수학들이 기본을 이루고 있었다. 이러한 기본 수학들을 따로 시간을 내서 익히려고 했지만, 시간이 많이 들고 비효율적일 거 같았다. 통계 공부의 필요성 자격증 취득을 통해 부족한 수학 공부의 일부분을 채우고 이해를 하면 좋을 거 같다고 생각했..