📘심화프로젝트 / 도메인: 금융 / 260227~260311

[2/27(금) 1일차]

<개요>

• 주제선정: [금융] 대출 데이터 분석 및 분류 모델링
• 역할분담: 
  → 발표회/영상 발표자: 이호영, 김선영
  → 코드 정리: 안진식
  → 서기: 김혜수, 최희진
  → PPT 제작: 김혜수, 최희진
• 데이터 파악
  → 데이터 정의서 작성 (컬럼명, 의미, dtye, 결측치 비율)
• 1차 분석방향 논의

<사용툴>

• 피그잼(브래인스토밍)
• 노션(자료 정리, 일정 관리)

---

<상세 진행 내용>

• 브래인스토밍 위주의 회의 및 데이터분석 진행
  컬럼이 151개, 행이 220만 개라는 매우 큰 데이터이다 보니 각 컬럼과 전체 데이터를 이해하는 데에 집중했다.
  5인이 각 30개씩 맡아서 각 컬럼의 정보를 수집했다. → 컬럼명, 의미, dtye, 결측치 비율
• 결측치 처리 방향 논의  
  의미있는 결측이 있을 수 있는 데이터셋이다(ex. mths_since_last_delinq (최근 연체 이후 개월 수 / 연체가 없으면 결측일 수 있음). 결측치 비율보단 결측이 발생한 이유를 세세하게 봐야 한다는 결론을 내렸다.
  → 결측치 비율이 90% 이상: 결측이 비율이 너무 높다고 판단. 데이터셋 간단히 살펴보고 드롭하는 방향으로 검토.
  → 결측치 1% 이하: 단순 입력 오류일 가능성이 높아서 드롭하는 방향으로 검토.
  → 그 외: 각 그룹의 특성일 수도 있어서 컬럼 분석 진행해보고 결정.
• 대출금 상환/미상환 그룹 특성 분석 시
  → '상환 중', '연체 그룹' 처리를 어떻게 할 것인지 논의 필요
  → 나의 의견: 각 그룹의 특성을 분석하기 위해선 상환으로 결론이 난 사람들로만 그룹을 만들어서 전처리 및 특성분석 진행해야 한다. 이 데이터로 분류모델을 만들어야 한다.

---

[3/3(화) ~ 3/4(수) 2~3일차]

<개요>

• 타겟(loan_status)과 관련이 있는 변수 선정

---

<상세 진행 내용>

• 결측치 비율이 99%인 변수 제외
  → 변수 특성 상 Null이어야 하는 것 외, 입력값이 없는 데이터 혹은 분석에는 무의미한 변수는 제외했다.
  → 결측치가 비정상적으로 많아서 대표값으로 대체하면 데이터 왜곡이 심할 것 같아 제외했다.
• 각 변수들 간의 상관계수를 보고 0.9 ~ 0.8이 넘는 변수들 중 하나만을 남긴다.
  → 상관계수가 높다는 것은 두 변수가 비슷한 데이터를 가지고 있을 가능성이 높다는 것이므로, 
  상관계수 높은 데이터 쌍 중, 최대한 원본 데이터에 가깝고 넓은 범위의 데이터를 포함하는 변수만 남김.
• 예측 모델을 훈련시킬 때, 타겟값의 결과를 명확히 나타내고 예측할 수 있는 데이터를 사용하면 데이터 누수가 발생할 수 있다. 결국 이 모델은 훈련 데이터에만 정확한 성능을 보이고 그 외의 데이터를 예측할 때는 성능이 떨어진다.
  → 데이터 누수를 발생시키는 변수는 제외한다.
•  실수형/범주형 데이터 1차 선별 (중복 변수 & 고유값이 많은 변수 제외)
  
  • 실수형 데이터의 상관관계: 상관관계 히트맵
    →  상관관계가 높다는 것은 변수의 유형과 값이 비슷한 것이라 판단. 이처럼 중복된 변수가 모델링에 포함되면 둘 중 어떤 변수의 영향인지를 판단하는 데에 왜곡이 있을 수 있다.
    → 따라서 상관계수가 높은 변수 쌍 중에서 더 넓은 범위를 포함하는 변수를 남기고 비교적 작은 범위를 포함하는 것은 제외.
  • 범주형 데이터의 상관관계: 크래머v
    → 범주형 데이터 값의 고유값 개수를 파악하여, 범주화가 어려운 수준으로 고유값 개수가 많은 변수는 제외했다.
    → 범주형 데이터의 값이 너무 세세하거나 많을 경우, 각 데이터별 인사이트는 큰 의미가 없을 수 있어 비슷한 것들끼리의 범주화하는 과정이 필요함. 다만 범주화가 제대로 되지 않으면 이 과정에서 데이터 왜곡이 생길 수 있다고 판단하여 제외함.

---

[3/5(목) 4일차]

<개요>

• 데이터셋 특성 발견: 2012년과 2015년에 대출자 신용리스크를 판단할 수 있는 핵심 변수가 업데이트 됨. 변수가 추가되기 전 데이터는 결측치인 것을 확인했다.
• 상기 이유로 데이터 범위를 다시 설정했다.
• 재설정한 범위의 데이터에 대해서 최종 변수 선정의 과정을 거쳤다.
  • 결측치 확인 및 대체
  • 데이터 누수가 발생할 수 있는 변수 제외 (예측 시점을 기준으로 판단)
  • 변수끼리의 상관관계 파악
    실수형 데이터: 상관계수 0.9인 쌍을 대상으로 넓은 범위의 변수를 남기고 나머지는 제외하여 다중공선성을 최소화 함.
    범주형 데이터: 크래머v 사용하여 데이터의 고유값 개수를 확인, 너무 많아서 범주화가 까다로운 것은 제외
  • 타겟 변수와 일반 변수 간의 관계성
    실수형 데이터: 아노바 검정 실행, p-value가 유의수준보다 높은 변수 제외
    범주형 데이터: 카이제곱 검정 실행, p-value 확인. (다만 범주형 데이터는 실수형보다 양이 적어서 보수적인 선별을 위해 제외하지 않고 모든 데이터 남겨둠.)
  • Mutual Information(MI) 점수 계산하여 일반변수가 타겟변수를 결정하는 수준을 확인하여, Top30개의 변수를 선별
  • 마지막으로 상관계수 0.8 이상인 쌍 중 넓은 범위를 포함하는 변수는 남기고 제외함.

---

<상세 진행 내용>

• 대출자의 신용 활동을 더 세세히 기록할 수 있는 변수가 추가된 것을 발견했다. 업데이트 전에 생성된 데이터는 모두 결측치로 기록되었는데, 이것이 EDA 및 모델링에 반영되면 데이터 왜곡이 있을 것이라 생각했다. 따라서 2016년도 데이터부터 사용했으며, 전체 데이터 중 약 60% 정도의 데이터만 사용하게 되었지만 그럼에도 100만개 이상의 데이터가 남았기 때문에 모델링에 사용할 양으로는 부족하지 않다고 판단했다.
  또한, 범위 한정 후 모든 지표의 결측치를 재확인한 결과 대다수 변수의 결측치가 사라진 것을 확인할 수 있었다. 이는 과거 데이터에 결측치가 몰려 있었다는 것을 의미한다.
  
  • 데이터 양은 줄었지만 정보의 밀도나 활용에 있어서 훨씬 유의미한 결과를 얻을 수 있고 모델에 대한 신뢰도를 높일 수 있을 것이라 판단함.
  • 데이터 구간 설정 후 남은 데이터는 약 137만 건으로, 전체의 약 60% 정도에 달함. 데이터 부족으로 인한 성능 저하는 없을 것이라 판단함.
  • 현재의 대출상환 패턴을 파악하기 위해서는 과거의 데이터보다는 현행 시스템 하에서 수집된 최신 3개년 데이터를 학습하는 것이 낫다고 판단함.
• 다시 설정한 범위 내의 데이터를 대상으로 이전에 진행했던 변수 제외 과정을 다시 수행했다.
  → 각 지표의 결측치를 다시 파악하여 지표의 특성, 결측치 양에 따라 다른 대표값으로 대체하였다.
  예를 들어, '최근 12개월 내 계좌를 개설한 개수' 같은 지표는 해당 기간 동안 개좌를 개설하지 않은 경우는 결측치가 있을 수 있고 결측치도 2% 이하였기에 0으로 대체하였다.
  → 데이터를 실수형/범주형으로 나눈 뒤 상관계수 0.9 이상의 변수 쌍 중 넓은 범위를 포함하는 것을 남기고 작은 범위를 제외했다. 상관계수 0.9는 금융 도메인 특성 상 매우 보수적으로 접근하는 것이 좋기 때문에 높은 수치를 기준으로 정했다.
  → 16년도 이후 데이터만을 사용해도 범주형 데이터의 값에는 변함이 없기 때문에, 이전에 제외한 컬럼을 그대로 적용했다.
• 추가로, 변수 선별 과정에서 유의미한 결과는 얻지 못했지만, 신용점수와 지역(미국 주) 변수가 타겟과 어떤 연관이 있는지를 확인해봤다.
  → 신용점수가 내려갈수록 상환율이 떨어지는 걸 막대그래프로 시각화하여 확인할 수 있었다. 다만 미상환율도 같이 낮아져서 분석 시 기대한 '신용점수가 낮을수록 상환율은 낮아지고 미상환율은 높아질 것이다'는 증명되지 않았다.
  → 지역은 미국 주로 데이터가 입력되어 있었으며 개수가 총 50개다. 모든 주 별로 상환율을 확인해보았으나 고유값의 개수가 너무 많아서 중서부, 북동부, 남부, 서부로 매핑해서 살펴보았다. 그러나 모든 범주의 상환율이 비슷하여 '지역 경제 수준에 따른 상환율 차이가 있을 것이다'라는 것은 증명되지 않았다.

• MI점수란, 변수가 타겟에 영향을 주는 정도를 점수화한 지표이다. 이전 과정은 변수 간의 관계를 확인한 것이라면 MI 점수는 타겟과의 영향도를 파악한 것으로 타겟을 결정하는 데에 큰 영향을 주는 변수를 선별했다.
  이는 모델링을 할 때 타겟에 영향을 적게 주는 변수를 제외하면서 모델이 필요한 정보만 학습하게 하여 성능 향상을 기대한 작업이다.
• 마지막으로 상관계수 0.8을 기준으로 변수를 한번 더 걸렀다. 맨 처음에 설정한 상관계수 수준은 금융 도메인 특성 상 보수적으로 책정한 것이기도 하고, 변수를 세세하게 선별하지 않았기 때문에 처음부터 0.8을 기준으로 하기엔 왜곡이 있을 수도 있다고 판단했다. 그러나 지금은 여러 단계를 거치며 범위를 좁혔기 때문에 맨 처음보다는 유의미한 변수들이 남았고 모두 타겟에 대한 영향도가 높다. 이때 상관계수가 높은 변수 쌍이 모두 남아 있으면 다중공선성이 있을 수 있기 때문에 0.8을 기준으로 필터링했다.
  * 다중공선성: 독립 변수들 간에 강한 선형 상관관계가 존재하여, 통계적 추정의 정확도가 떨어지는 현상.

---

[3/5(목) 4일차]

<개요>

• 타겟 변수(loan_status)를 두 그룹으로 그룹핑했다. (상환/미사환 그룹)
• '로지스틱 회귀', '랜덤 포레스트'를 메인 모델로 사용하며 '스모트', '언더샘플링' 등을 설정하며 모델 성능 개선을 시도했다.
• 학습 데이터의 가공이 제일 적은 '가중 로지스틱 회귀'를 최종 모델로 선정했다.

---

<상세 진행 내용>

• 로지스틱 회귀: 데이터가 특정 범주(0 또는 1, 예/아니오)에 속할 확률을 0과 1 사이의 값으로 예측하여 이진 분류 문제를 해결하는 지도 학습 알고리즘
  → 상환/미상환일 확률을 구하는 모델을 만드는 게 프로젝트의 최종 목표여서, 이진 분류를 하는 모델을 선택해서 베이스라인 모델링을 진행했다.
  → 모델 구조가 단순하고 해석이 쉽다는 특징이 있어서 처음 프로젝트에 모델링을 해보는 만큼 접근성 낮은 모델을 선택했다.
• 랜덤 포레스트: 데이터 셋의 여러 요소에 대해 참/거짓 질문을 하면서 답에 도달한다. 계산량이 많고 해석이 어렵다는 단점이 있지만 과작합을 줄일 수 있는 모델이라고 해서 151개의 컬럼이 있는 이번 금융 데이터셋을 모델링 하는 데에 사용해보았다.
• 두 모델 모두 recall과 f1-score의 불균형이 심한 결과를 확인할 수 있었다. 이러한 데이터 불균형을 보정하고자 '스모트'와 '언더샘플링'을 적용하였다.
  
  • 스모트(Smote): 새로운 데이터를 생성하여 소수의 클래스에 추가해 데이터 불균형을 해결하는 오버샘플링 방법이다.
  • 언더샘플링(Undersampling): 다수의 클래스의 데이터를 일부 제거하여 소수 클래스와 비율을 맞추는 방법이다.
  • 두 가지 모두 데이터 불균형을 보정한다는 장점이 있지만, 결국 원본 데이터를 변형하는 것이기 때문에 결과 왜곡 또는 정보 손실의 가능성이 있다.
• 원본 데이터의 변형을 최소화하고 데이터 불균형을 맞추기 위한 방법으로 '가중 로지스틱 회귀'를 사용했다.
  : 특정 데이터 포인트에 가중치를 부여해 모델의 정확도와 강건성을 높이는 분석 기법. 소수 클래스의 중요도를 높이거나 관측치별 신뢰도를 반영하여 이분형 분류 모델을 개선한다.
• 그럼에도 두 범주의 예측 성능의 차이가 크거나 성능이 조금 개선되어도 여전히 신뢰할 정도는 아닌 모델밖에 나오지 않았다. 그래서 지금까지 시도한 모든 모델을 10회 학습시킨 후 결과값의 평균을 구해본 결과, 상환 그룹의 f1-score은 항상 0.7 이상, 미상환 그룹의 f1-score는 항상 0.5를 넘기지 못했다.
• 결과
  → 스모트를 적용했을 때는 소수의 클래스 데이터를 인위적으로 생성하여 균형을 맞춰서 데이터 변형이 있으며 과적합의 위험이 있고,
  → 언더샘플링은 다수의 클래스를 일부 제거하여 인위적으로 데이터 균형을 맞춘다는 점에서 데이터 손실 위험이 있다.
  → 따라서 성능이 신뢰할 수 있을 만큼 상승하지는 않았지만 하나의 모델을 고르자면, 소수 클래스에 높은 가중치를 부여해 불균형을 보정하여 데이터 변형 및 손실이 없는 '가중 로지스틱 회귀'가 가장 적합한 모델이라고 판단함.

---

[3/9(월)~3/10(화) 5~6일차]

<상세 진행 내용>

11일 발표를 위한 준비를 시작했다.

그동안 피그잼에 모으고 틈틈히 PPT 내용을 정리해 둔 것을 바탕으로 PPT 초안을 작성하는 동안, 발표자는 대본을 작성했다.
이후 PPT를 다 같이 만들고 대본도 수정하며 이틀에 걸쳐 완성했다.

프레젠테이션 - 대출 연체 예측 모델링.pdf

9.36MB

심화프로젝트 대본

 

>> 인사 (p.1)

안녕하세요. 19조 발표자 김선영입니다. 

저희는 심화 프로젝트 데이터 중 금융 데이터를 선택했고, 

‘LendingClub의 대출 상환 예측 모델’을 만드는 프로젝트를 진행했습니다.

 

>> 목차 (p.2)

발표 순서는 다음과 같습니다.

먼저 금융 도메인을 선택한 이유와 목표,

그리고 데이터의 변수 및 특성을 말씀드리고

이어서 EDA와 모델링의 진행 방향,

그에 따른 해석과 인사이트, 결론을 말씀드리겠습니다

 

—————————

 

>> 도메인 선택 이유 (p.3)

먼저 금융 도메인을 선택한 이유입니다.

주어진 세 개의 도메인 모두 쉽지 않아 보였지만 그중에서도 제일 생소했고 데이터셋도 예측이 되지 않아 궁금했습니다. 

또한 새로운 분야의 데이터를 분석하면서 도메인에 대한 이해를 넓히고 싶었습니다.

 

>> 프로젝트 배경 및 목적 (p.4)

다음으로 프로젝트의 배경과 목적입니다.

저희는 Lending Club 대출승인 데이터를 사용해서

대출 상환 예측 모델을 개발하는 것을 최종 목표로 설정했습니다.

 

————————

 

>> 데이터셋 특징 (p.5)

저희가 사용한 Lending Club의 대출승인 데이터의 컬럼은 총 151개입니다. 

그런데 그 중 특별히 고려해야 할 것들이 있었는데요,

도메인 배경지식에 의하면 2012년 2015년 총 두차례에 걸쳐 대출자의 신용 리스크를 판단할 수 있는 핵심 지표들이 대거 추가되었습니다. 

그래서 16년도를 기점으로 데이터를 나눠서 진행하였고, 그 양은 전체 데이터 중 약 137만건으로 60% 정도에 달합니다.

 

>> 데이터셋 특징 (p.6)

새롭게 업데이트된 데이터에는 과거 데이터가 기록되어 있지 않습니다. 이말은 즉, 업데이트 이전 시점의 데이터 기록은 결측값이라는 것입니다.

 

저희는 결측이 많은 과거 데이터를 제거함으로써 모델의 노이즈를 줄이고 예측의 신뢰도를 높이는 데이터셋을 얻고자 했습니다.

또한, 최근 데이터를 학습하는 것이 실무적으로 더 유의미한 인사이트를 제공할 것이라 판단하여

2016년 이후 데이터만을 모델링에 사용했습니다.

 

————————

 

>> 1차 컬럼 선별 (P.7)

본격적인 EDA를 진행하기 전 결측치와 데이터 누수를 발생시키는 데이터를 확인하여 제외했습니다.

 

데이터 누수 즉, 예측 시점에 알 수 없는 정보를 모델이 학습하게 되면

과대적합이 발생하여 예측률이 비정상적으로 상승하고, 결국 신뢰도가 없는 모델이 만들어지게 됩니다. 

이것은 모델이 망가지는 것이라고 보아서 누수가 발생하는 데이터도 제외했습니다.

 

>> 데이터셋 1차 선정 (P.8)

>> 데이터셋 1차 선정 (P.9)

데이터 1차 제외를 거친 2016년 이후 데이터는

보시는 사진과 같습니다.

 

 

————————
————————

 

 

>> EDA 과정 (p.10)

다음은 eda과정입니다.

 

>> EDA 흐름 (p.11)

EDA 흐름은

기초 통계 및 변수 분포를 확인하고

상관계수를 이용한 다중공산성 변수를 제거했습니다.

마지막으로 상환 성공 및 실패자 특징을 파악했습니다.

 

>> 컬럼 시각화(p.12)

앞서 말씀드렸던 1차 데이터 제거를 하고 남은 데이터는 총 64개입니다. 

결측치 대체값 찾기 위해 모든 데이터의 describe과 특징을 파악하고 시각화하여 데이터를 세세히 분석하였습니다.

 

그중 한개의 예시를 말씀드리자면

지금 보이시는 컬럼은 최빈값이 앞도적인 비율로 0이며, 결측치의 비율이 낮게 나타납니다. 

또한 이 데이터는 ‘개설 계좌가 없으면 데이터 없을 수 있다’는 특징이 있습니다. 따라서 결측치는 0으로 대체하였습니다.

예시와 같은 데이터 고유의 특징을 주의하여 다른 데이터들의 결측치도 처리했습니다.

 

>> 상관계수를 통한 변수 간 상관관계 (p.13)

다음은 모델링에 더 효과적인 데이터를 선별하기 위해서 과정을 총 4단계로 나눠 진행했습니다.

 

1차 필터링입니다.

실수형, 범주형 데이터를 나눠서 변수들 간의 상관계수를 살펴보았습니다.

실수형은, 상관계수 0.9 이상인 데이터 쌍 중에서, 큰 범위를 포함하는 데이터를 남기고 작은 범위 데이터는 제외 했으며,

범주형은 크래머v를 사용해 각 데이터의 고유값 개수를 확인했습니다. 고유값이 많아서 데이터 범주화가 까다로운 데이터도 제외했습니다.

 

>> 아노바, 카이제곱 (p.14)

2차 필터링입니다.

타겟을 결정하는 데에 끼치는 영향도를 파악하기 위해 데이터를 실수형과 범주형으로 나눠서

각각 아노바 검정과 카이제곱 검정을 실행했습니다.

 

먼저 아노바검정입니다.

색으로 표시한 컬럼들의 경우 p-value가 유의수준인 0.05보다 크게 나왔고, 귀무가설을 기각하지 못해서 우선 제외 되었습니다.

 

다음으로 범주형 변수에 대해 카이제곱 검정을 진행했습니다.
모든 변수에서 p-value가 0에 가까운 값으로 나타나 통계적으로는 유의한 결과가 확인되었습니다.

하지만 이번 데이터는 표본 수가 매우 크기 때문에 작은 차이도 통계적으로 유의하게 나타날 수 있습니다.

따라서 통계적 유의성만으로 변수를 제거하기보다는 실제 모델 성능에 미치는 영향을 추가적으로 고려하는 게 좋겠다고 생각하여,

모든 범주형 변수는 유지한 채 분석을 진행했습니다.

 

>> mi 점수(p.15)

3차 필터링입니다.

선형/비선형 관계 모두 알 수 있는 mi점수를 구했습니다. mi 점수는 높을수록 타겟과 관계가 있다고 볼 수 있어서 점수가 높은 30개를 선별했습니다.

 

>> 상관계수 0.8제거 (p.16)

4차 필터링입니다.

초반에 실행한 상관계수 0.9는 금융 도메인 특성 상 보수적으로 접근한 수치였습니다. 

통계 검정과 mi점수를 도출해서 한번 더 세밀한 선별을 거친 후

상관계수 0.8 이상인 데이터까지 제외 하면서 최종 데이터를 결정했습니다. 

 

>> 2차 데이터 선별 (p.17)

최종 피처를 남기기까지의 과정을 정리해봤습니다. 

상관계수 0.9를 기준으로 제거했으며,

고유값이 많거나 불필요한 식별 데이터를 제거했고, 

 

>> 2차데이터 선별 (p.18)

통계검정, 그리고 mi점수를 기준으로

 

>> 최종피처 (p.19)

최종 피처를 남겼습니다.

 

————————

 

>> 우리는 이런것도 해봤다! (p.20)

지금 보시는 건, 이전 과정 중 큰 영향을 끼치진 않았지만 타겟과의 연관성을 찾아보았던 과정입니다.

 

왼쪽 그래프는 신용등급과 타겟의 관계입니다. 신용등급이 낮을수록 미상환율이 높은 걸 볼 수 있습니다.

오른쪽 그래프는 미국 주와 타겟의 관계를 확인해본 결과입니다.

 

>> 우리는 이런것도 해봤다! (p.21)

지역 분석에서 더 나아가서 지역을 중서부, 북동부, 남부, 서부로 맵핑해서 지역별 신용등급/상환율을 확인해보았지만 유의미한 수치는 없었습니다.

 

————————

————————

 

>> 모델링 (p.22)

다음으론

최종 선별한 데이터로 모델링을 진행했습니다.

 

>> 모델링 (p.23)

기본적으로 로지스틱 회귀와 랜덤포레스트를 사용했습니다.

 

>> 로지스틱회귀 (p.24) 

베이스라인 모델링을 ‘로지스틱 회귀’로 진행했을 때 결과입니다.

모델은 대출이 미상환(0)인지 상환(1)인지를 분류하도록 학습되었습니다.

 

상환완료(1)의 recall은 0.97로 매우 높지만 미상환(0)의 recall은 0.11으로 매우 낮게 나타났습니다.

저희는 이러한 결과를 클래스 불균형 문제 때문인 것으로 해석했고, 개선 방법으로는

 

보정이 가능한 ‘스모트’’, 오버샘플링’,을 사용하기,

평가지표를 ‘accuracy(애큐러시)’ 대신 ‘f1스코어’ 또는 ‘roc-auc’를 사용하기,

랜덤 포레스트로의 모델변경 하기

이렇게 3가지의 방법이 있습니다.

 

>> 랜덤포레스트 (p.25)

우선 높은 예측 성능을 얻기 위해 랜덤 포레스트로 모델을 변경했습니다.

그럼에도 recall과 f1스코어는 달라지지 않았습니다.

 

그런데 여기서, (환기)

두 모델링의 결과에서 support를 보시면 미상환은 약 2만건, 상환은 약 8만 6천 건으로

평가에 사용된 샘플 수가 불균형한 것을 볼 수 있습니다.

 

>> 스모트 (p.26) 이어서

이를 해결하기 위해 ‘스모트’와 ‘언더샘플링’을 사용했습니다.

 

첫번째로 스모트는 오버샘플링 기법으로, 새로운 데이터를 생성해서 소수 클래스에 추가하는 방식으로  데이터량을 맞추는 방법입니다.

미상환과 상환 모두 recall과 f1스코어가 상승한 것을 볼 수 있습니다.

하지만 미상환의 f1스코어가 아직 0.46 수준으로 높지 않아서 성능이 충분히 개선되었다고 보긴 어렵습니다.

 

>> 랜덤 포레스트 + smote (p.27)

랜덤포레스트에 스모트를 적용한 결과입니다.

데이터 불균형을 보정했음에도 클래스별 예측 성능에는 여전히 편차가 크게 나타납니다.

 

>> 언더샘플링 (p.28)

언더샘플링도 실행해봤습니다. 언더샘플링은 다수의 클래스의 데이터를 일부 제거하여 클래스 균형을 맞추는 방법입니다.

 

지금 보시는 것은 로지스틱 회귀에 언더샘플링을 적용한 결과이고

 

>> 랜덤 포레스트 + 언더 (p.29)

지금 화면은 랜덤 포레스트에 언더샘플링을 적용한 결과입니다.

이것 역시 스모트와 비슷하게 여전히 클래스별 편차가 있는 것을 확인할 수 있었습니다.

 

>> 가중치 (p.30)

마지막으로 데이터 불균형일 때 사용할 수 있는 ‘가중 로지스틱 회귀’는

각 데이터 샘플에 가중치를 부여하여 학습하는 방법입니다.

이것도 recall은 비슷하나 f1스코어에서 차이를 보이고 있습니다.

 

>> 랜덤 포레스트 + 가중치 (p.3)

랜덤포레스트에 가중 로지스틱 회귀를 적용해도 결과가 비슷합니다.

 

>> 랜덤 10회 (p.32)

성능은 더이상 좋아지지 않아서

랜덤시드를 조정해 모델당 10회를 돌려서, 그 평균치로 최종 점수를 도출해보았습니다.

 

상환(1)의 f1스코어는 항상 0.7 이상의 높은 수치였고, 미상환(0)의 f1스코어는 0.5를 넘기지 못했습니다. 

 

여러 모델 중에서, 가중 로지스틱 회귀는 소수 클래스의 재현율을 확보하면서도

해석 가능성이 높고, 별도의 데이터 생성과 삭제 없이 안정적인 성능을 보여 최종 모델로 선정했습니다.

 

————————

————————

 

>> 인사이트 (p.33~34)

마지막으로 최종 인사이트와 결론 말씀드리겠습니다. 

세 가지 불균형 데이터 처리 방법을 비교한 결과 모든 방법이 Recall을 높이는 데 효과가 있었지만

 

‘스모트’는 부족한 데이터를 인위적으로 생성하는 방식이기 때문에 과적합 위험이 있었고,

‘언더 샘플링’은 다수 클래스 데이터의 일부를 제거해서 상당한 데이터 손실이 발생합니다.

반면 ‘가중 로지스틱 회귀방식’은 소수 클래스에 더 높은 가중치를 부여하여, 데이터를 직접 변형하지 않으면서도 소수 클래스 데이터를 더 중요하게 학습하도록 만들 수 있다는 점에서

이번 금융 데이터 분석에서는 ‘가중 로지스틱 회귀 방식’이 가장 적합하다고 판단했습니다.

 

————————

————————

 

>> 소감 (p.35)

많은 것을 배우고 느낄 수 있었던 저희 조의 소감 보여드리면서 발표 마무리하겠습니다.

 

이상 19조 발표자 김선영입니다. 감사합니다.

---

[3/11(수) 7일차] / 프로젝트 피드백

좋았던 점

• 보수적인 데이터 접근 방식
  과도한 해석을 방지하며, 근거 기반의 데이터 제거 진행한 점이 실무적인 태도임.
  → 전처리 과정에서 데이터 누수 가능성을 지속적으로 의식
  → 변수 선택에서도 단순히 성능만을 기준으로 하기보다는 예측 시점에서 실제로 사용할 수 있는 정보인지를 기준으로 판단하려고 했다.
  
• 모델링 전, 전처리와 변수 선택 과정 및 근거를 찾는 과정에 집중한 점
  불필요한 변수들을 제거하고 모델에 사용할 핵심 변수들을 선별
  → 데이터 필터링 과정 정리 (결측치, 데이터 누수)
  → 변수 제거 기준 설정 (상관관계, 크래머v, 다중공선성 등)
  → Mutual Information 점수 활용 ()
  → 여러 모델을 통한 변수 영향 확인 (실수형 데이터: ANOVA 검정 / 범주형 데이터: 카이제곱 검정)
•  다양한 모델링 시도
  여러 모델을 비교해보면서 데이터의 특성을 확인하며,
  단순히 하나의 모델 결과만 제시하는 것이 아니라 여러 방법을 통해 문제를 접근하려고 한 점이 긍정적으로 평가됨.
  → 여러 분류 모델을 비교 (로지스틱 회귀 모델, 랜덤 포레스트)
  → 클래스 불균형 문제를 고려한 접근 (스모트, 언더샘플링, 가중치 조절)

아쉬웠던 점

• 머신러닝 단계에서 분석이 끝난 점
  • 비즈니스적인 활용 방향까지 확장하지 못한 점
    → 실제로 어떤 예측 시스템을 만들 수 있는지
    → 금융 서비스에서 어떻게 활용할 수 있는지
    → 불량 채무자를 어떻게 분류할 수 있는지
    등 모델 성능을 보여주는 것에서 마치지 말고, 실제 의사결정에 어떻게 활용할 수 있는지까지 연결하는 게 중요함.
  • 비즈니스적으로 확장 가능한 방향
    → 불량 채무자 예측 모델 활용 방안
    → 대출 승인 기준 제안
    → 리스크 관리 전략
• 모델의 한계점에 대한 분석 부족
  •  모델의 한계점과 개선 방향을 정리하는 부분이 부족
    → 데이터의 한계
    → 모델의 오차 발생 원인
    → 실제 환경에서 적용 시 발생할 수 있는 문제
  • 앞으로는 데이터 자체 및 모델의 한계까지 분석하면 좋을 듯.
    → 모델이 어떤 상황에서 잘 작동하지 않는지
    → 어떤 데이터가 추가되면 성능이 개선될 수 있는지
• 용어 사용의 일관성
  • 같은 용어가 다르게 혼용되어 사용됨.
    예를 들어
    • ANOVA / 분산분석
    • Chi-square / 카이제곱 검정
  • 데이터 분석 발표에서는 정식 용어를 일관되게 사용하는 것이 전문성을 보여줄 수 있는 요소이다.

---

01234567891011121314