[ python ] python을 활용한 데이터 분석 / 예측
페이지 정보
작성자 웹지기 댓글 0건 조회 2,657회 작성일 21-03-03 09:17본문
python을 활용한 데이터 분석 / 예측
1) 빅데이터
- 1~2012 까지의 데이터 0.1%
- 2013~현재 까지의 데이터 99.9%
(스마트폰, 사물인터넷등의 의한 데이터)
2) 활용사례
- 기저귀와 맥주?
(편의점 체인점에서 쇼핑 행태를 분석하여 발견)
- 구글 독감 유행 징후 감지
(사람들의 검색어 분석 독감의 증상, 치료법, 가까운 병원등)
- 금융권 빅데이터
- 자동차회사 IoT
#빅데이터 #인공지능 #사물인터넷 #수요증가 #산업채용
3) 빅데이터 분석
- 기존 데이터베이스 관리도구의 능력을 넘어서
DBMS, Excel-dbms
Apache Hadoop
- 가치의 추출
Data Mining
Domain Knowledge
- 결과를 분석
기업의 의사결정이 이루어지는 행동으로 이끌어 냄
4) Data Science
- 데이터 속에 담긴 패턴이나 미래 예측에 도움이 되는 신호를 찾는 것
(머신러닝, 딥러닝 등등)
Skillset
Computer Science/IT + Math and Statics + Domain / Business
5) 데이터 분석 Process
- 데이터수집 -> 데이터 전처리 -> 데이터 분속 -> 데이터 예측 -> 데이터 시각화/서비스화
데이터 수집
- Database , File(CSV,XML, JSON), Web crawling, IoT sensor data, Survey
데이터 전처리
- 결측치 처리 : 데이터 삭제, 다른값으로 대체(최소,최대, 중앙값등), 예측모델을 활용한 값 삽니다.
- 이상치처리 : 입력오류
데이터의 중요성!
- Forbes 에서 이용한 crowFlower의 설문 결과에 따르면 데이터 분석가는 80% 이상의 시간을 데이터 수집/전처리 과정에 사용
- Garbage in garbage out : 좋은 자료를 모으고, 적정하게 정리하여 넣지 않으면 가치를 발견하기 어려움(쓰레기는 쓰레기일 뿐)
데이터분석
데이터예측
데이터 시각화 / 서비스화
Data Analysis
단계별 python 패키지
Collecting
Preprocessing
Explorary Data Analysis
Machin Learning
Communication/Reporting/Building Data Product
댓글목록
등록된 댓글이 없습니다.