[아티클] 양질의 데이터를 판별하는 5가지 방법: ①데이터양은 충분한가?

<주제>

https://yozm.wishket.com/magazine/detail/1070/

양질의 데이터를 판별하는 5가지 방법 : 1 데이터 양은 충분한가? | 요즘IT

---

<내용 정리>

양질의 데이터는 무엇인가?

• 데이터 품질이 좋을수록 활용 가능성이 높다
• 수집한 많은 데이터가 대부분 저품질 데이터
• 많은 데이터를 수집한다고 좋은 게 아님.
• 양질의 데이터를 분별하는 게 경제적이다.

양질의 데이터를 판단하는 방법

• ”결과를 명확히 받아들일 수 있는가?”를 항상 고민하기

1. 데이터 수가 충분히 많다
   • 적은 데이터 수는 분석 결과의 신뢰도 하락
   • 표본이 모집단을 대표해야 할 때
   • 일반적으로 이상적인 데이터 개수: 통계적 분석: 500개 이상, 머신러닝: 변수의 수 * 100 이상
2. 데이터 자체의 오류가 적다
3. ‘관계형 데이터 베이스’ 형식을 잘 지키고 있다.
4. 수치형 데이터 형식을 많이 보유하고 있다.
5. 활용 목적에 적합하다.

---

<인사이트>

• 정리

‘빅데이터’라는 단어에 익숙해서 데이터 양이 얼마나 중요한지를 간과하곤 한다.

데이터의 양은 분석 결과의 신뢰도와 직결되기 때문에(예외상황도 있지만), 항상 데이터 양이 충분한지 살펴보아야 한다.

데이터의 양이 많다고 모두 양질의 데이터인 것은 아니지만, 많이 수집한 뒤 거르는 게 낫다.

• 느낀 점

회사에 취직하면 그곳의 데이터를 분석하면 되는데

일반 개인이 프로젝트를 하기 위해서는 데이터를 어떻게 수집해야 할지 막막하기도 하다. (마지막에 프로젝트도 해야 하는데!)
물론 튜터님들이 알려주시겠지만, 양질의 데이터를 얻을 수 있는 공신력 있는 사이트를 찾는 게 중요할 것 같다.

• 사이트

1. Kaggle

데이터 과학과 머신러닝 분야의 세계 최대 온라인 커뮤니티 겸 플랫폼

https://www.kaggle.com/datasets

Find Open Datasets and Machine Learning Projects | Kaggle

 

2. UCI Machine Learning Repository

주요 기계학습 프레임워크의 예제 데이터셋 원천으로 자주 사용된다.

모든 자료는 비상업적 연구 및 교육 목적에서 자유롭게 이용 가능하다.

https://archive.ics.uci.edu/

UCI Machine Learning Repository

 

3. Google Dataset Search

웹 전역에 흩어져 있는 수많은 데이터셋을 한 번에 찾을 수 있도록 도와주는 Google Dataset Search의 데이터셋 전용 검색 엔진

https://datasetsearch.research.google.com/

Dataset Search

 

4. Google Scholar

논문/학술지 검색 엔진

https://scholar.google.com/

Google 학술 검색

 

5. Data World

https://data.world

The Data Catalog Platform