[ python ] python을 활용한 데이터 분석 / 예측 > python

본문 바로가기
사이트 내 전체검색

python

[ python ] python을 활용한 데이터 분석 / 예측

페이지 정보

작성자 웹지기 댓글 0건 조회 2,687회 작성일 21-03-03 09:17

본문

python을 활용한 데이터 분석 / 예측

 

1) 빅데이터 

  - 1~2012 까지의 데이터 0.1%

  - 2013~현재 까지의 데이터 99.9%

    (스마트폰, 사물인터넷등의 의한 데이터)

2) 활용사례

 - 기저귀와 맥주?

     (편의점 체인점에서 쇼핑 행태를 분석하여 발견)

 - 구글 독감 유행 징후 감지

      (사람들의 검색어 분석 독감의 증상, 치료법, 가까운 병원등)

 - 금융권 빅데이터

 - 자동차회사 IoT

  #빅데이터 #인공지능 #사물인터넷 #수요증가 #산업채용

3) 빅데이터 분석

 - 기존 데이터베이스 관리도구의 능력을 넘어서

  DBMS, Excel-dbms 

  Apache Hadoop

 - 가치의 추출

  Data Mining

  Domain Knowledge 

 - 결과를 분석

  기업의 의사결정이 이루어지는 행동으로 이끌어 냄

4) Data Science 

 - 데이터 속에 담긴 패턴이나 미래 예측에 도움이 되는 신호를 찾는 것

 (머신러닝, 딥러닝 등등)

 Skillset

  Computer Science/IT  + Math and Statics  + Domain / Business

5) 데이터 분석 Process

 - 데이터수집 -> 데이터 전처리 -> 데이터 분속 -> 데이터 예측 -> 데이터 시각화/서비스화

 데이터 수집

  - Database , File(CSV,XML, JSON), Web crawling, IoT sensor data, Survey

 데이터 전처리

  - 결측치 처리 : 데이터 삭제, 다른값으로 대체(최소,최대, 중앙값등), 예측모델을 활용한 값 삽니다.

 - 이상치처리 : 입력오류

 데이터의 중요성!

  - Forbes 에서 이용한 crowFlower의 설문 결과에 따르면 데이터 분석가는 80% 이상의 시간을 데이터 수집/전처리 과정에 사용

  - Garbage in garbage out : 좋은 자료를 모으고, 적정하게 정리하여 넣지 않으면 가치를 발견하기 어려움(쓰레기는 쓰레기일 뿐)

 데이터분석

 데이터예측

 데이터 시각화 / 서비스화


Data Analysis

 단계별 python 패키지

  Collecting

  Preprocessing

  Explorary Data Analysis

  Machin Learning

  Communication/Reporting/Building Data Product


추천0 비추천0

댓글목록

등록된 댓글이 없습니다.

Total 19건 1 페이지
+2
  • 19 [ python ] pandas read & count & value_counts()
  • pandas read & count import pandas as pd population_number=pd.read_csv("population_number.csv", index_col="도시", encoding="euc-kr") population_number #각 컬럼별 데이터 개수 세기 population_number.count() 지역 4 2015 4 2010 3 2005 2 200...
  • 웹지기 03-08 6438 0 0 댓글 0개
+16
  • 18 [ python ] Pandas 라이브러리 불러오기 사용하기
  • #Pandas 라이브러리 불러오기, 사용하기 import pandas as pd #serise 사용 population=pd.Series([9904312,3448737,289045,2466052]) population 0 9904312 1 3448737 2 289045 3 2466052 dtype: int64 population = pd.Series([9904312,3448737,289045,2466052], index=['서울','부산',...
  • 웹지기 03-05 5265 0 0 댓글 0개
  • 17 [ python ] 영화 데이터 불러와서 확인하기
  • 영화 데이터 불러와서 확인하기 @@데이터 불러오기 최종목표 : 각 영화의 평균 평점이 4이상을 구하는 것. # Readme # user_id 사용자 아이디 # item_id 영화 아이디 # rating 영화 평점 # timestamp 평점 입력 시간 movieData = np.loadtxt('data/ratings.dat', delimiter='::', dtype=np.int64) movieData array([[ 1, 11...
  • 웹지기 03-05 5197 0 0 댓글 0개
  • 16 [ python ] 배열과 여러 함수들
  • 배열과 여러 함수들 #배열 가져오기 #배열명[행, 열] import numpy as np arr=np.arange(1,51).reshape(5,10) array([[ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10], [11, 12, 13, 14, 15, 16, 17, 18, 19, 20], [21, 22, 23, 24, 25, 26, 27, 28, 29, 30], [31, 32, 33, 34, 35, 36, 37, 38, 39, 40], [41, 42,...
  • 웹지기 03-05 4728 0 0 댓글 0개
  • 15 [ python ] BMI 지수 구하기
  • BMI 지수 구하기 일단 파일을 파이썬의 폴더로 업로드 시킨 후 사용가능 data = np.loadtxt("height_weight.txt", delimiter=",") data array([[175.2 ~~~~~~], [65.6 ~~~~~]]) #키를 저장 ( 키 / 100 또는 키 * 0.01 ) ki = data[0]/100 ki #몸무게를 저장 mom = data[1] mom #BMI지수 저장 bmi = mom...
  • 웹지기 03-05 7914 0 0 댓글 0개
  • 14 [ python ] 파일을 모듈로 저장하기
  • 파일을 모듈로 저장하기 #함수 선언 -> 두개의정수를 더해주는 함수 def add(num1, num2) : return num1+num2 File > Download AS > Python(.py) 클릭 저장위치는 현재 사용하는 폴더를 선택하면됨 #모듈 사용하기(불러오기) import module_test module_test.add(10,20) from module_test import add add(10,20)
  • 웹지기 03-05 5618 0 0 댓글 0개
  • 13 [ python ] 반복문 , for, while
  • 반복문 , for, while #반복문 while i = 0 while i<10: i+=1 print('나무를 {}번 찍었습니다.'.format(i)) if i==10 : print("나무가 넘어갑니다.") 나무를 1번 찍었습니다. 나무를 2번 찍었습니다. 나무를 3번 찍었습니다. 나무를 4번 찍었습니다. 나무를 5번 찍었습니다. 나무를 6번 ...
  • 웹지기 03-03 2216 0 0 댓글 0개
+1
  • 12 [ python ] 단축키, Command mode , Edit mode
  • Command mode Enter : edit mode 로 전환 a : 위에 셀(Cell)추가 b: 아래에 셀(Cell)추가 m: Markdown으로 전환 y: Code로 전환 dd: 셀(Cell) 삭제 Edit mode Esc : Command Mode로 전환 Ctrl + z : 되돌리기 Ctrl + y : 앞으로 되돌리기 공통 단축키 - Ctrl + Enter : 실행 - Shift + Enter : 실행 후 아래로 커서 이동 - Alt + E...
  • 웹지기 03-03 2813 0 0 댓글 0개
  • 11 [ python ] 파이썬 정의 및 간단 설명
  • 파이썬은 인터프리터 언어이다..(대화형언어) 배우기 쉽다. 다양한 라이브러리 툴. 인간다운 언어(직관적) 문법이 쉬워 배우기 쉽고 코드가 간결하다. 파이썬패키지 - 에디터(주피터 에디터) - ANACONDA anaconda.com > download > install 설치가 되면 anaconda 설치 > jupyter 실행 실행은 우측상단 new > python3 클릭 아래 화면에서 왼쪽이 녹색과 파란색 파란색은 실행완...
  • 웹지기 03-03 2390 0 0 댓글 0개
  • 10 [ python ] 타이타닉 승객의 사망 분석 (Titanic 탑승객 중 생존/사망자 예측) - 엑셀활용
  • 타이타닉 승객의 사망 분석 - 엑셀활용 Titanic 탑승객 중 생존/사망자 예측) 과연, 어떤 사람이 생존하고 어떤사람이 사망했을까? EXCEL - 데이터 분석 kaggle.com 회원가입 후 검색창에 titanic Titanic - Machine Learning From Disaster > enter Data click > 화면아래로 내려서 Download All 정상 다운로드가 되면 다운로드 받고 > 다운로드가 안되고 다른화면이...
  • 웹지기 03-03 2299 0 0 댓글 0개
  • 열람중 [ python ] python을 활용한 데이터 분석 / 예측
  • python을 활용한 데이터 분석 / 예측 1) 빅데이터 - 1~2012 까지의 데이터 0.1% - 2013~현재 까지의 데이터 99.9% (스마트폰, 사물인터넷등의 의한 데이터) 2) 활용사례 - 기저귀와 맥주? (편의점 체인점에서 쇼핑 행태를 분석하여 발견) - 구글 독감 유행 징후 감지 (사람들의 검색어 분석 독감의 증상, 치료법, 가까운 병원등) - 금융권 빅데이터 - 자동차회사 IoT #빅데이터 #인공지능 #사물인터넷 #수요증가 #산업채용 3)...
  • 웹지기 03-03 2688 0 0 댓글 0개
  • 8 [ python ] Numpy 라이브러리 활용 - 데이터 불러와서 확인하기 1
  • 데이터 불러와서 확인하기numpy_학습자료.zip 파일을 압축을 풀어서 jupyter 노트에서 새폴더 > 폴더명:data > 압축푼파일에서 height_weight.txt ratings.dat 두개의 파을을 업로드 다시 data 폴더에서 나가서 인재캠퍼스_Numpy 학습자료.ipynb 에 업로드 # ✨ Numpy란? numpy는 과학 계산을 위한 라이브러리로서 다차원 배열을 처리하는데 필요한 여러 유용한 기능을 제공 - 빠르고 효율적인 벡터 산술...
  • 웹지기 02-25 3981 0 0 댓글 0개
  • 7 [ python ] 함수의 정의와 사용 방법
  • 함수의 정의와 사용 방법 함수란(function) - 하나의 특별한 목적의 작업을 수행하기 위해 독립적으로 설계된 코드의 집합 - 함수 사용 목적 = 반폭을 피함 = 모듈화로 가독성 높임 = 문제발생시 기능변경 필요시 손쉽게 유지보수 - 구조 (defined: 정의) def 함수명(매개변수) : 실행문장 return 반환변수 #함수 만들어 보기 def numberSum(num1, num2) : result =...
  • 웹지기 02-24 2673 0 0 댓글 0개
  • 6 [ python ] 리스트와 튜플
  • 리스트와 튜플 리스트(list)란? - 파이썬의 자료구조 형태중 하나 - 순서가 있는 수정이 가능한 객체의 집합 - 대괄호( [ ] ) 로 작성, 내부는 ,로 구분 - 추가,수정,삭제 가능 리스트는 + 연산이 가능하다 list4 = [1,2,3] list5 = [3,4,5,6] print(list4+list5) print(list5+list4) list4 = [1,2,3] list5 = [3,4,5,6] print(l...
  • 웹지기 02-24 3108 0 0 댓글 0개
게시물 검색

notice

회원로그인

접속자집계

오늘
450
어제
8,701
최대
61,067
전체
11,204,742
그누보드5
Copyright © funyphp.com. All rights reserved.