데이터 전처리/시각화 1- Pandas로 CSV/Excel/JSON 다루기

데이터 분석 과정에서 전처리는 전체 작업의 50~80%를 차지할 만큼 중요합니다.

전처리가 되어 있지 않은 데이터는 계산이 불가능하거나 시각화 결과가 왜곡될 수 있기 때문입니다.

---

1. 데이터 구조 파악 및 타입(dtype) 이해

데이터를 불러온 후 가장 먼저 해야 할 일은 데이터의 구조와 타입을 확인하는 것.

파이썬이 데이터를 어떻게 해석하는지 파악. 수치형이어야 합계 계산이 가능하고, 날짜형이어야 요일 추출이 가능.

• df.dtypes
  컬럼별 데이터 타입(dtype) 만 한 줄씩 정리해서 보여줌.
  ▶︎  "각 컬럼마다 알맞은 type으로 돼 있나?" - 공백 포함해서 하나라도 다른 값이 있다면 object(=str)로 표시됨.
  ▶︎ "숫자로 보여야 할 컬럼의 type이 object인가? (=이상값)"
  • 언제 쓸까?
    1) 타입 변환 후 정상 반영됐는지 확인할 때
    2) 연산 에러가 날 때 원인 찾을 때
• ⭐️ df.info()
  전체 행 개수, 컬럼 개수, 컬럼별(non-null 개수, dtype), 메모리 사용량
  • Non-Null Count: 결측치 유무 즉시 파악
  • Dtype: 타입이 기대와 다른지
  • serise의 데이터 타입 확인: df["컬럼명"].dtype

 

🍯 [실무 전처리 순서]
df.head() : 데이터프레임 상단 5행(defult) 확인
df.shape : 데이터의 행(row)과 열(column)의 개수 확인
df.dtypes : 각 컬럼의 데이터 타입을 확인
df.info() : 데이터프레임의 전체 행과 열의 개수, non-null 개수, dtypes 등 종합 확인

 

2. 데이터 클리닝 및 타입 변환 (Parsing)

현실 데이터는 "4,500원"처럼 기호가 섞여 있어 바로 계산할 수 없는 경우가 많음.

숫자 외 다른 데이터타입의 제거하기 위한 작업.

문자열 함수를 사용하기 위해 (1) 데이터를 str로 형변환 (2) 이상 문자 제거 (3) 숫자로 형변환

• str.replace():
  문자열에서 특정 문자를 제거하거나 바꿈.
  숫자 컬럼에 섞인 '원', ',' 등을 제거하여 숫자로 변환 가능한 상태를 만들기 위함.
• pd.to_numeric(df['컬럼'], errors='coerce'):
  지저분한 문자열을 숫자로 해석해 변환합니다.
  astype(int)는 형식이 완벽해야 하지만, to_numeric은 훨씬 유연하며 변환 실패 시 에러를 내지 않고 결측치로 처리할 수 있음.
• pd.to_datetime(df['컬럼'], errors='coerce'):
  문자열 날짜를 날짜/시간 객체로 변환.
  날짜 형식이 섞여 있을 때는 format='mixed' 옵션을 사용하면 더 정확하게 변환됨. (ex. 2026-01-09 or 2026/01/19)

⚠️ errors='coerce' 는 변환 실패 값을 NaN으로 바꾸기 때문에,
변환 후에는 반드시 결측치 개수를 확인하고 처리 전략을 결정해야 합니다.

df['price_num'] = pd.to_numeric(df['price'], errors='coerce')
df['price_num'].isna().sum()

 

3. 결측치(Missing Value) 처리

데이터에 값이 비어 있는(NaN, None, NaT) 상태를 처리하는 과정.

• df.isna().sum():
  어떤 컬럼에 결측치가 몇 개 있는지 요약해서 보여줌.
  ▶︎ .isna(): 데이터프레임에서 Null을 True, Non-Null을 False로 표기
  ▶︎ .sum(): 컬럼별로 bool 값을 모두 합함. (= Null 개수 파악)
• fillna(값):
  데이터 분석이나 모델 학습이 멈추지 않게 하기 위해, 결측치를 특정 값(0, 평균값 등)으로 채움.
• dropna():
  결측치가 있는 행을 삭제. (defult: 한 컬럼이라도 Null이면 삭제)
  df.dropna(subset=["컬럼"]) : 특정 컬럼이 Null일 때만 삭제

 

4. 파생 피처(Derived Feature) 생성

원본 데이터만으로는 알 수 없는 새로운 인사이트(예: 요일별 매출 추이)를 얻기 위해, 분석 목적에 맞게 기존 컬럼을 조합해 새로운 컬럼을 만듦.
ex) 매출 계산: df["sales"] = df["price"] * df["qty"] => 컬럼끼리의 곱)
ex) 요일 추출: df["date"].dt.day_name()를 사용해 날짜에서 요일 정보를 뽑아냅니다.
• 왜 쓰는가: 원본 데이터만으로는 알 수 없는 새로운 인사이트(예: 요일별 매출 추이)를 얻기 위함입니다.

 

5. 데이터 저장 (CSV/Excel/JSON)

정리가 끝난 데이터를 공유하거나 나중에 쓰기 위해 저장.

• to_csv(..., index=False, encoding='utf-8-sig'):
  중요 포인트: index=False를 써야 불필요한 번호가 저장되지 않으며, utf-8-sig 인코딩을 써야 엑셀에서 한글이 깨지지 않습니다.

"최종 df".to_csv(
    "sales_clean.csv", #저장할 파일명
    index=False, # 불필요한 인덱스 컬럼 삭제
    encoding="utf-8-sig" # 엑셀에서 한글 안 깨짐
)

• to_json(..., orient='records'):
  프론트엔드 / API / 서버로 데이터 전달

---

💡 전처리 핵심 함수 & 코드 공식 정리

✅ 1. 데이터 확인 및 탐색 (Inspection)

데이터를 다루기 전, 설계도와 상태를 먼저 확인해야 합니다.

• df.head(): 데이터의 상단 5행을 출력하여 전반적인 생김새를 확인합니다.
• df.shape: 데이터가 몇 행, 몇 열로 구성되었는지 크기를 봅니다.
• df.dtypes: 각 컬럼의 자료형을 확인합니다. 주의: df.dtype은 존재하지 않으며 반드시 s를 붙여야 합니다.
• df.isna().sum(): 어떤 컬럼에 결측치(빈값)가 몰려 있는지 한눈에 파악합니다.

✅ 2. 타입 변환 공식 (Conversion)

• 지저분한 숫자 정리 (Cleaning Pattern): 단순히 astype(int)를 쓰면 기호나 문자 때문에 에러가 날 수 있습니다. 아래 패턴이 가장 안전합니다.
• 날짜 변환 (Datetime Parsing): 형식이 섞여 있거나 잘못된 날짜가 있을 때 유용합니다.
• 범주값(Boolean) 통일: TRUE, True, Y, 1 등 제각각인 값을 하나로 합쳐야 필터링이 가능합니다.

✅ 3. 결측치(Missing Value) 처리 전략

결측치를 어떻게 처리하느냐에 따라 분석 결과가 왜곡될 수 있습니다.

• 대체하기 (fillna): 데이터 양을 유지해야 할 때 씁니다.

    ◦ df["price"].fillna(0) : 분석 목적에 따라 0이나 평균값으로 채웁니다.

• 삭제하기 (dropna): 데이터가 충분하거나 결측치가 너무 많을 때 씁니다.

    ◦ df.dropna(subset=["컬럼명"]): 특정 컬럼이 비어 있는 행만 골라 삭제합니다.

• 핵심 옵션 errors="coerce": 변환 실패 시 에러로 멈추지 않고 NaN(결측치)으로 표시하여 다음 단계에서 처리할 수 있게 해줍니다.

✅ 4. 파일 저장 및 불러오기 (I/O)

분석 결과물을 공유하기 위한 마지막 단계입니다.

• CSV 저장: df.to_csv("이름.csv", index=False, encoding="utf-8-sig")

    ◦ index=False: 불필요한 번호 열을 저장하지 않습니다.

    ◦ utf-8-sig: 엑셀에서 한글이 깨지는 현상을 방지합니다.

• JSON 저장: df.to_json("이름.json", orient="records", force_ascii=False)

    ◦ orient="records": 행 단위 리스트 형태로 저장되어 웹이나 API 환경에서 쓰기 좋습니다.

• Excel 저장: df.to_excel("이름.xlsx", index=False) (라이브러리 openpyxl 설치 필요).

✅ 5. 시각화 (Validation)

시각화는 예쁘게 그리는 것보다 데이터의 이상함을 찾는 검증 도구로 먼저 활용해야 합니다.

• 분석 가능 여부 확인:

• 데이터 분포 확인: df["sales"].hist()를 통해 999,999 같은 이상치가 있는지 확인합니다.

• 결측치 패턴 확인: df.isna().sum().plot(kind="bar")로 어떤 컬럼에서 수집 오류가 많은지 봅니다.