과녕이의 데이터 학습 노트

지난 5/20일 빅데이터 준전문가 자격시험을 완료하고 왔다. 결과는 88점 ! 3주 공부해서 걱정했는데 붙어서 다행이다 ㅎㅎ 자격증 취득 이유 통계 공부의 필요성 전반적인 개요 파악 마감 기한으로 질 높은 공부 가능 크게 요약하면 이렇게 3가지가 될거 같다. 지난 2월부터 파이썬 공부를 시작하여서 4월에 '머신러닝 완벽 가이드'라는 책을 끝냈다. 책을 공부하고, 직접 실습을 해보면서 어떤 원리로 이러한 방식들이 적용되는지 궁금했다. 알아보니 통계학과 선형대수학, 그외 수학들이 기본을 이루고 있었다. 이러한 기본 수학들을 따로 시간을 내서 익히려고 했지만, 시간이 많이 들고 비효율적일 거 같았다. 통계 공부의 필요성 자격증 취득을 통해 부족한 수학 공부의 일부분을 채우고 이해를 하면 좋을 거 같다고 생각했..

저번 Pivot에 이어서 오늘은 판다스 전처리 Grouping에 대한 문제를 풀어보려고 한다. 문제를 제공해 주시는 분은 동일하게 Data Manin분의 데이터 학습 자료를 이용하겠다. (앞서 피벗 테이블에 대해 배웠다. 동일하게 그룹바이도 하나의 데이터 프레임이다. 식이 길어 어렵게 느껴지지만, 피벗과 동일하게 하나씩 인자를 정해주면 쉽게 해결 할 수 있을거 같다.) Grouping 문제풀이 [사용 데이터: 뉴욕 airBnB : https://www.kaggle.com/ptoscano230382/air-bnb-ny-2019 DataUrl = ‘https://raw.githubusercontent.com/Datamanim/pandas/main/AB_NYC_2019.csv’] #44 문제풀이: 실행 전에 ..

이번 카테고리는 데이터 분석 중 80%시간 과정을 차지하는 판다스 데이터 전처리 연습을 할 것이다. 시작 전, 구글링을 통해 전처리 100문제를 올려놓은 좋은 사이트를 들어간다. (제 자료는 아니고, DataManin분께서 직접 만드신 자료입니다.) 이번 전처리 100문제 실습 파트에서는 위의 링크에서 문제들을 직접 풀어보고, 설명하는 내용이 될 거 같다. 코딩을 잘하지 않아서, 비효율적이고, 오류가 발생할 수 있으니, 직접 링크를 들어가서 공부하는 것을 추천한다. 먼저, 최근에 배운 Pivot에 대한 문제를 먼저 풀겠다. Pivot 문제 풀이 [사용 데이터 : 국가별 5세이하 사망비율 통계 : https://www.kaggle.com/utkarshxy/who-worldhealth-statistics-2..

얼마 전, "파이썬 머신러닝 판다스 데이터 분석" 에서 데이터 전처리 부분 공부를 완료했다. 유튜브(나도코딩 등)와 패스트 캠퍼스와 함께 개념을 하나씩 잡으니 입문 과정까지는 어느 정도 익숙해질 수 있었다. 처음에는 저 두꺼운 책을 사용하여 공부를 하려고 했는데, 입문자가 보기에는 너무 어려워, 먼저 이 책을 끝내고 보기로 결정했다. 목차 이번 글은 글은 그 중 [판다스 입문]에 대한 내용을 담고 있다. 많은 내용을 담고 싶지만, 시간이 부족해. 자주 쓰일거 같거나, 인상 깊은 내용을 기준으로 설명을 하겠다. 판다스 입문은 1. 시리즈,2. 데이터 프레임으로 내용이 구성되어 있다. part 1 1. 시리즈 먼저 시리즈에 대해 배우기 전 import pandas as pd로 판다스 라이브러리를 호출한다.시..

최근 2023년 2월부터 파이썬과 데이터 분석에 관심이 갔다. 쩡을이형에게 조언을 듣고 패스트 캠퍼스 강의를 들으며 파이썬 기본 판다스에 대하여 이해를 넓히고 있었지만, 부족한 부분이 너무 많았다. 인강을 듣고 이해를 하며 공부하기에는 한계가 있을거라고 생각을 했고, 찾아보던 중 '명지대 인문캠퍼스'에서 '인공지능과 데이터 리터러시' 특강을 진행한다는 것을 보고 신청하게 되었다. 특강 기간은 3/17일부터 4/14일 약 한달정도 진행되었고, OT: 3/17, 마무리 특강: 4/14은 실시간 줌으로 진행되고, 나머지는 매주마다 메타버스를 통한 동영상 강의로 진행이 된다. 본론3/17 OT를 듣고 OT를 듣기 전에는 메타버스 환경을 통해 진행이 된다고 해서 '메타 버스를 이용한 환경을 개발하는 것인가?'라고..