[에이블런] [AI 스타트업 유니버시티] 0715 TIL

 

데이터리터러시란?

- 데이터를 읽고 쓸 줄 아는 능력

 

데이터리터러시 정의

 

 

 

 

데이터 수집

 

문제를 해결하기 위해서 어떤 데이터가 필요한가?

수집할 수 있는 데이터인가?

데이터 수집을 위해 무엇이 필요한가?

 

어떻게 볼 것인가?

 

데이터 관리

 

내가 수집한 데이터의 출처가 깨끗하고 사용가능한 것인가?

데이터에 오류, 변수가 얼마나 포함되어있고 추가되지 않은 데이터는 없는가?

데이터의 양이 방대하다면 효율적인 관리를 위해 팀원을 확보

 

 

분석

 

현재 데이터셋이 내가 하고자 하는 작업에 적합한가?

데이터셋을 통해 무엇을 알아낼 수 있는가?

데이터를 분석한 결과가 유의미한 것인가?

내가 세운 가설이 검증 될 수 있는가?

 

데이터 시각화

 

데이터를 통해 찾아낸 의미를 어떻게 전달할 것인가?

누구에게 어떤 방법으로 전달할 것인가?

데이터를 모르는 사람도 한눈에 의미를 알 수 있는가?

제작된 결과물이 편향되지는 않았는가?

 

<시각화 관련 정보 사이트>

https://ft-interactive.github.io/visual-vocabulary/ 

Visual Vocabulary

 

 

 

[Digital Transformation]

<사례>

 

 

 

<광주광역시 광산구 시설관리공단  - 머신러닝 기반 폐기물 발생량  예측 시스템>

 

문제 정의 : 폐기물 발생량 급증시 문제 

- 예상 못한 사유로 폐기물 발생량이 급증한 경우 폐기물 수거 처리 지연

-폐기물 수거 처리 지연은 주요한 주민생활 불편의 요소

 

solution : 폐기물 발생량 예측

 

결과 

- 주민의 삶의 질 향상

- 공단 운영의 효율성

 

 

데이터 수집 및 전처리

데이터 수집 3원칙 : 신뢰성, 특화성, 주기성

 

 

폐기물 발생량의 사회적 결정요인

 

 

 

굳이 빅데이터 분석을 통하지 않더라도 충분히 도출할 수 있는 결과였음.

 

 

데이터 설명 : 전투기에 있는 총알 자국을 시각화 / 동체 부분에 총알 자국이 많음

 

직관적으로 동체 부분에 총알 자국이 많기 때문에 동체 부분에 방탄판을 둘러야함. 하지만, 전투기 조종사를 인터뷰한 결과, 동체에 총알을 맞아도 돌아올 수 있지만 엔진에 총알을 맞으면 돌아오지 못한다고 하였음. 

즉, 무사히 돌아온 전투기의 데이터보다 돌아오지 못한 전투기의 데이터를 파악해야 한다는 인사이트를 발견.

 

 

 

 

🔎 내가 만약 스타벅스의 신제품 개발자라면? 무슨 데이터를 사용할 것인가?

 

[상황]

- 아메리카노의 관심도는 점진적으로 하락하는 상황

- 라떼의 관심도는 점진적으로 상승하는 상황

- 유당불내증에 대한 관심은 빠르게 증가하는 상황

 

어떻게 의사결정을 내릴 것인가?

 

우유가 아닌 다른 재료(귀리, 두유 등..)를 사용하여 라떼 메뉴를 개발

 

 

 

[2]

파워 쿼리란?

 

 

 

 

주요 기능 : 다양한 소스에서 데이터 가져오기, 데이터 변환, 자동화, 데이터 통합, 단계별 기록

 

장점 : 사용, 편의성, 효율성, 유연성, 자동화

 

 

 

----------------------------------------------------------------------------------------------------------------------

실습

 

----------------------------------------------------------------------------------------------------------------------

 

맥북에서는 폴더에서 불러오는 기능 xx!!

 

 

 

[웹크롤링]

 

 

https://han8849.tistory.com/106

[엑셀 파워쿼리] 웹 데이터 가져오기(크롤링)_멜론 차트

 

 

 

 

[공공데이터 api]

 

 

 

맥북에서 엑셀 개발도구 추가하기

[엑셀로 통계분석하기]

1.기술통계량

 

 

 

 

mac에서 난수 생성하기

 

 

 

2. 상관분석

 

 

 

- 시각화

 

 

 

 

 

 

 

- 상관분석

 

 

[회귀분석]

공변성 : 두가지 변수가 “함께 움직이는” 경향

선후관계 : 시간적으로 어느 하나가 먼저 변화 했을 때 다른 하나가 뒤따라 변화하는 관계

 비허위성 : 공변성과 선후관계의 양상이 제 3의 다른 변인으로 설명될 수 없어야 함

 

 

 

 

*엑셀 꿀 팁 : 컨트롤 + 시프트를 누른 후 아랫방향으로 누르면 해당 열 전체 지정 가능

 

 

p - value를 확인하기

 

 

p-value는 0이 아닌 0에 수렴하는 값.

 

 

 

엑셀로 잔차 합계 구하기

 

 

 

 

회귀분석