[ python ] python을 활용한 데이터 분석 / 예측 > python

python을 활용한 데이터 분석 / 예측

 

1) 빅데이터 

  - 1~2012 까지의 데이터 0.1%

  - 2013~현재 까지의 데이터 99.9%

    (스마트폰, 사물인터넷등의 의한 데이터)

2) 활용사례

 - 기저귀와 맥주?

     (편의점 체인점에서 쇼핑 행태를 분석하여 발견)

 - 구글 독감 유행 징후 감지

      (사람들의 검색어 분석 독감의 증상, 치료법, 가까운 병원등)

 - 금융권 빅데이터

 - 자동차회사 IoT

  #빅데이터 #인공지능 #사물인터넷 #수요증가 #산업채용

3) 빅데이터 분석

 - 기존 데이터베이스 관리도구의 능력을 넘어서

  DBMS, Excel-dbms 

  Apache Hadoop

 - 가치의 추출

  Data Mining

  Domain Knowledge 

 - 결과를 분석

  기업의 의사결정이 이루어지는 행동으로 이끌어 냄

4) Data Science 

 - 데이터 속에 담긴 패턴이나 미래 예측에 도움이 되는 신호를 찾는 것

 (머신러닝, 딥러닝 등등)

 Skillset

  Computer Science/IT  + Math and Statics  + Domain / Business

5) 데이터 분석 Process

 - 데이터수집 -> 데이터 전처리 -> 데이터 분속 -> 데이터 예측 -> 데이터 시각화/서비스화

 데이터 수집

  - Database , File(CSV,XML, JSON), Web crawling, IoT sensor data, Survey

 데이터 전처리

  - 결측치 처리 : 데이터 삭제, 다른값으로 대체(최소,최대, 중앙값등), 예측모델을 활용한 값 삽니다.

 - 이상치처리 : 입력오류

 데이터의 중요성!

  - Forbes 에서 이용한 crowFlower의 설문 결과에 따르면 데이터 분석가는 80% 이상의 시간을 데이터 수집/전처리 과정에 사용

  - Garbage in garbage out : 좋은 자료를 모으고, 적정하게 정리하여 넣지 않으면 가치를 발견하기 어려움(쓰레기는 쓰레기일 뿐)

 데이터분석

 데이터예측

 데이터 시각화 / 서비스화

Data Analysis

 단계별 python 패키지

  Collecting

  Preprocessing

  Explorary Data Analysis

  Machin Learning

  Communication/Reporting/Building Data Product

추천0
비추천 0