[4/8(์) 1์ผ์ฐจ]
- git ํ๋ก์ ํธ ํ๊ฒฝ ๊ตฌ์ถ
- github ๋ ํฌ์งํ ๋ฆฌ ์์ฑ & ๋ฐ์คํฌํ์ ํ๋ก์ ํธ ํด๋ ์์ฑ
- vs code > ํฐ๋ฏธ๋ ๊ฒฝ๋ก๋ฅผ ํ๋ก์ ํธ ํด๋๋ก ์ด๋
- git ์ค์
- git init :
- git branch -M main
- gitignore ์์ฑ
- touch .gitignore
- uv ํ๊ฒฝ ์ธํ
- uv init
- uv add <๋ผ์ด๋ธ๋ฌ๋ฆฌ>
- ์๊ฒฉ ์ฐ๊ฒฐ
- git remote add origin <๋ ํฌ์งํ ๋ฆฌ ๊ฒฝ๋ก>
- git remote -v
- ์ปค๋ฐ
- git add .
- git commit -m "<๋ฉ๋ชจ>"
- git push -u origin main
- ๊ถํ๋ถ์ฌ
- ๋ ํฌ์งํ ๋ฆฌ > ๋งจ ์๋จ 'settings' > ์ผ์ชฝ ๋ฉ๋ด 'Collaborators' >
- ๊ฐ์ด ์์
- ๊ฐ์ ์์ ํ์ผ ๋ง๋ค๊ณ
- git pull origin main
- git commit -m "<๋ฉ๋ชจ>"
- git push origin main
- ๋ธ๋์น ์์ฑ
- git checkout -b <์์ฑํ ๋ธ๋์น ์ด๋ฆ>
- git config pull.rebase false
- ์๋ก ํ์ผ ์์ฑ ํ main์ผ๋ก ์ด๋
git add .
git commit -m '์์ ์ด๋ฆ'
git push origin <์๊ธฐ๋ธ๋์น์ด๋ฆ>
git checkout main
git pull origin main
git merge <์๊ธฐ๋ธ๋์น์ด๋ฆ>
-> ๋จธ์งํ๋ ์ฐฝ ๋์ค๋ฉด i
git push origin main
* git branch : ํ์ฌ ๋ธ๋์น ์์น ํ์ธ
# --- Python ๊ด๋ จ ---
__pycache__/
*.py[cod]
*$py.class
*.so
.Python
env/
build/
develop-eggs/
dist/
downloads/
eggs/
.eggs/
lib/
lib64/
parts/
sdist/
var/
wheels/
*.egg-info/
.installed.cfg
*.egg
# --- ๊ฐ์ํ๊ฒฝ (uv ์ฌ์ฉ์ ํ์) ---
.venv/
venv/
ENV/
# --- Mac ์์คํ
ํ์ผ (ํ์ฅ๋ ํ์) ---
.DS_Store
# --- VS Code ์ค์ (๊ฐ์ธ ์ค์ ๊ณต์ ๋ฐฉ์ง) ---
.vscode/
# --- ํ๊ฒฝ๋ณ์ ๋ฐ ๋น๋ฐ (๋ณด์) ---
.env
[4/9(๋ชฉ) ~ 4/10(๊ธ) 2~3์ผ์ฐจ]
<์งํ ๊ฐ์>
- ํ๋ก์ ํธ ๋ฐฉํฅ ๊ตฌ์ฒดํ
- ์๋ก์๊ฐ ๊ณตํ ์ํ ๋ฐ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ ํฌ๋กค๋ง
<์์ธ ์งํ ๋ด์ฉ>
ํ๋ก์ ํธ ๋ฐฉํฅ ๊ตฌ์ฒดํ
- ์ผํผํ์ด: ๋ณ๋์ ์ฝ๋ฉ ์ง์ ์์ด๋ ๋๊ตฌ๋ ์ฝ๊ฒ ์จ๋ผ์ธ ์ผํ๋ชฐ์ ๊ตฌ์ถ, ์ด์, ํ์ฅํ ์ ์๋ ๊ธ๋ก๋ฒ ์ฌ์ธ์ ์ ์์๊ฑฐ๋(SaaS) ํ๋ซํผ
- ๊ตญ๋ด ๋ฟ๋ง ์๋๋ผ ํด์ธ์์๋ ๋ง์ด ์ฌ์ฉํ๋ ํ๋ซํผ์ผ๋ก, ํ๋ก์ ํธ์ ๋ฐฉํฅ์ ๋ค์ํ๊ฒ ํ์ฅํ ์ ์์ ๊ฒ ๊ฐ๋ค๊ณ ์๊ฐํจ. - ํ๋ก์ ํธ ๋ฐฉํฅ
"ํด์ธ ๋ธ๋๋ ๊ตญ๋ด ์์ฅ ์นจํฌ ์ ๋ต"
๊ตญ๋ด ์ง์ถ์ ์ฑ๊ณตํ ๋ธ๋๋์ ํน์ง์ ๋ถ์ ๋ฐ ๋์ถํ์ฌ ์๋กญ๊ฒ ๊ตญ๋ด ์ง์ ํ๋ ค๋ ๋ธ๋๋ ๋ฐ ์ด๊ธฐ ํฌ์ง์ ๋ ๋จ๊ณ์ ์๋ ๋ธ๋๋์ ๋ธ๋๋ ํฌ์ง์ ๋ ์ ๋ต & ๊ตญ๋ด ์นจํฌ ์ ๋ต ์ ์ (ex. ๊ฐ๊ฒฉ ์ ๋ต, ํด์ํ๊น ์ ๋ต, ์นดํผ ํ ์คํธ ์ ๋ต ๋ฑ....)
๋ฐ์ดํฐ: ์ผํผํ์ด ๋ธ๋๋ ๋ฐ์ดํฐ + ๋ค์ด๋ฒ ์ผํ api + ๊ตญ๋ด ์์ฅ ์ํ ๋ฐ์ดํฐ - ์ ํ ์นดํ
๊ณ ๋ฆฌ ์ ์ โถ๏ธ ์ ์ฌ๋์ ํจ์
์ฌ๋ฌ ๋ฆฌํฌํธ๋ฅผ ํตํด ์ต๊ทผ ์๋น์๋ค์ ๋ผ์ดํ์คํ์ผ ๋ณํ, ์ ํธ๋ ๋ณํ๊ฐ ๊ฑด๊ฐํ ์๋ฆ๋ค์์ ๋ํ ์์๋ฅผ ์ฆ๊ฐ์ํค๊ณ ์์๊ณผ ๊ทธ์ ๋ฐ๋ผ ํจ์ ์นดํ ๊ณ ๋ฆฌ ์ค ์ ์ฌ๋ ์ ธ ์์ฅ์ด ํ์ฌ ํ๊ตญ ์์ฅ์์ ๊ณ ์ฑ์ฅ ์ค์์ ํ์ธ.
- ๋ฐ์ดํฐ ์์ง ๊ฐ๋ฅ์ฑ
์๋ก์๊ฐ(Alo Yoga) ๊ณต์ ์ฌ์ดํธ๊ฐ Shopify ๊ธฐ๋ฐ์ผ๋ก ์ด์๋์ด, /products.json ์๋ํฌ์ธํธ๋ฅผ ํตํด ์ํ๋ช · ์นดํ ๊ณ ๋ฆฌ · ๊ฐ๊ฒฉ · ํ๊ทธ · ์ฌ๊ณ ์ฌ๋ถ ๋ฑ ๊ตฌ์กฐํ๋ ๋ฐ์ดํฐ๋ฅผ ์ง์ ์์งํ ์ ์๋ค.
๋์ผํ Shopify ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ ๋ธ๋๋(๋ฃฐ๋ฃจ๋ ๋ชฌ · Vuori ๋ฑ)์ ๋ณ๋ ์ ์ฒ๋ฆฌ ์์ด ์ง์ ๋น๊ต๊ฐ ๊ฐ๋ฅํ๋ค. - ์ค์ ๋น์ฆ๋์ค ๋ฌธ์ ์์ ์ฐ๊ฒฐ
์๋ก์๊ฐ๋ 2024๋ 6์ ๊ตญ๋ด ๋ฒ์ธ(์๋ก์๊ฐ์ฝ๋ฆฌ์)์ ์ค๋ฆฝํ๊ณ , BTS ์ง · ๋ธ๋ํํฌ ์ง์๋ฅผ ๊ธ๋ก๋ฒ ์ฐ๋ฐฐ์๋๋ก ๋ฐํํ๋ ๋ฑ ํ๊ตญ ์์ฅ ์ง์ ์ ๋ณธ๊ฒฉํํ๊ณ ์๋ค. (๋ด์ค์์ด์ด, 2024.10)
2025๋ 7์ ๋์ฐ ํ๋๊ทธ์ญ(์์์ ์ต์ด) ์คํ์ ์์์ผ๋ก, 8์๊น์ง ๋ํ๋ ์์ธ · ํ๋จ · ๋กฏ๋ฐ ๋ณธ์ ๋ฑ 4๊ฐ ๋งค์ฅ์ ์ฐ๋ฌ์ ์ถ์ ํ์๋ค. (ํจ์ ๋น์ฆ, 2025.06)
ํ์ฌ ํ๊ตญ ์ง์ ์ด๊ธฐ ๋จ๊ณ๋ผ๋ ์ ์์ ๋ถ์ ๊ฒฐ๊ณผ๊ฐ ์ค์ ์์ฌ๊ฒฐ์ ์ ํ์ฉ๋ ์ ์๋ ๋งฅ๋ฝ์ ๊ฐ๋๋ค. - ์์ฅ ์ฑ์ฅ์ฑ
๊ธ๋ก๋ฒ ์ ์ฌ๋ ์ ์์ฅ: 2024๋ ์ฝ 3,400์ต ๋ฌ๋ฌ ๊ท๋ชจ, CAGR 9.8~12.6% ์ ๋ง (Fortune Business Insights · Kings Research)
ํ๊ตญ ์ ์ฌ๋ ์ ์์ฅ: 2024๋ 76.7์ต ๋ฌ๋ฌ ๊ท๋ชจ, CAGR 6.01% ์ ๋ง (IMARC Group, 2025)
๊ตญ๋ด ์ผ๋ฐ ํจ์ ์ด ์ญ์ฑ์ฅ์ ๊ธฐ๋กํ 2024๋ ์๋ ์ ์ฌ๋ ์ ๋ ์ฑ์ฅ์ ์ง์ํ์๋ค. ๋ฃฐ๋ฃจ๋ ๋ชฌ ํ๊ตญ ๋งค์ถ +33.6%, ์๋ค๋ฅด·์ ์๋ฏน์ค ์ญ๋ ์ต๋ ๋งค์ถ ๊ฒฝ์ . (ํค๋ด๋๊ฒฝ์ , 2025.05)
- ๋ฐ์ดํฐ ์์ง ๊ฐ๋ฅ์ฑ
- ํํฐ๋ ํผ๋๋ฐฑ
๋๋ณด๊ธฐ
[์ฒ์ค์ ํํฐ๋]
- ์ผํผํ์ด ๋ฐ์ดํฐ๋ก๋ ์ฌ์ฉ์ ํ๋ ๋ฐ์ดํฐ๊ฐ ์์ด์ a/bํ ์คํธ ๋ฑ ๋ถ๊ฐ๋ฅํจ.
- A/Bํ ์คํธ๋ง์ ์ํ ๋ฐ์ดํฐ๊ฐ ์๋์ง ์ฐพ์๋ณด๊ธธ ์ถ์ฒ(๊ณ ๊ฐ ํ๋ ๋ฐ์ดํฐ๋ง ์๋ ๊ฒ)
- ์ผํผํ์ด๋ก ‘๊ตฌ๋งค ์ด๋ฒคํธ ๊ฐ์ ๋ฐ์ดํฐ' ์์ฑํด์ ํด๋ณด๊ธฐ.โจ→ ๋ฐ์ดํฐ ์ ๋ขฐ์ฑ ๋จ์ด์ง๊ณ ํ๋ก์ ํธ์์ ๋ถ์ํ๋ ๋ธ๋๋์ ์ค์ ๋ฐ์ดํฐ๊ฐ ์๋์ด์ ๊ดด๋ฆฌ ์์ ์ ์์.โจ→ A/Bํ ์คํธ๋ฅผ ํด๋ณด๊ณ ์ถ์ด์ ์๋ํด๋ดค๋ค๋ ์์ ์ฌ์ด๋ ๋ถ์์ผ๋ก
- ์บ๊ธ ๋ฐ์ดํฐ๋ ์ด์ ํ๋ก์ ํธ๋ค๊ณผ ์งํ๋ฐฉํฅ ๋น์ทํ ์ ์์โจ→ ์ง์ ์์งํ ์ค์ ๋ธ๋๋์ ์ํ ๋ฐ์ดํฐ๋ฅผ ๋ฉ์ธ์ผ๋ก ํ์ฉ + ์บ๊ธ ๋ฐ์ดํฐ๋ ๋ณด์กฐ์ฉ์ผ๋ก๋ง.
- ๋ถ์์ ๋ธ๋๋ ์ฌ๋ฌ ๊ฐ๋ฅผ ๋์์ผ๋ก ์งํํ๋ ๊ฒ ์ข์ ๋ฏ.
- “๊ฐ์ค์ค๊ณ ํ๋ก์ ํธ” ๊ณ ๋ คโจex. “์ ํ๋ช ์ด ๊ธฐ๋ฅํ๋ณด๋ค๋ ๋ผ์ดํ์คํ์ผ์ ๋ง๋ ์ ํ์ด ํด๋ฆญ๋ฅ ์ด ๋ ๋๋ค“๋ผ๋ ๊ฐ์ค ์ธ์์ ์ฆ๋ช ํ๊ธฐ
- ๋ฉ์ธ ๋ชฉํ: ํฌ์ง์
๋ ๋น๊ตโจ= ๊ตญ์ธ ์ ์ฌ๋ ์ ๋ธ๋๋๊ฐ ๊ตญ๋ด์ ์ง์
ํ ๋ ๊ฐ๊ฒฉ ๋ฐ ๋ธ๋๋ ํฌ์ง์
๋ ์ด๋ป๊ฒ ํ ๊ฑด์ง ์ ๋ต ์ ์.โจ=> ์์ ๋ธ๋๋๋ ์ด๋ค ์ ๋ต์ ์ฌ์ฉํ๊ณ ์๋์ง ๋น๊ต ๋ถ์.
์๋ธ ๋ชฉํ: ๊ฐ์ฑ๋ถ์
ํ์ฅ: ์ถ์ฒ ์์คํ (streamlit ํ์ฉ) - SQL ์ฌ์ฉํ๋ ๊ฑฐ ๊ผญ ๊ณ ๋ คํด๋ณด๊ธฐ
[์ดํ์ง ํํฐ๋]
- A/B TEST → ํต๊ณ์ ์ง์์ ๊ฐ์ถ ์ ๋๋ฉด ๋จ. ๊ฐ์ค๊ฒ์ ์ถ๊ฐํ๋ฉด ๊ฐ์ ์ ์ผ๋ก ๋ณด์ฌ์ค ์ ์์ ๊ฒ!
- ์ผํผํ์ด๋ก ๊ณ ๊ฐํ๋ ๋ฐ์ดํฐ ๊ฐ์์ผ๋ก ์์ฑ ํ ์งํํ ์์ → ๊ณ ๊ฐ ๋ฐ์ดํฐ๊ฐ ์กด์ฌํด์ผ ํ๋ฏ๋ก ์งํํ๊ธฐ ์ด๋ ค์ธ ๊ฒ.
- ๋ฐฉํฅ์ฑ: ์์ง๊น์ง๋ ๋ฐ์ดํฐ ๋ชจ์ด์ง ์์๊ธฐ ๋๋ฌธ์ ์ ์ ์์
- ์ผํผํ์ด ๋ฐ์ดํฐ๋ก ์์ง์ด ๋ ๊ฒ ๊ฐ์๋ฐ, ๋ฆฌ๋ทฐ๊น์ง๋ ๊ตญ๋ด์์ฅ์ ๋ฐ์๊ณผ ์ฐ๊ฒฐ์ง๊ธฐ์ ์ ๋งคํ๋ค. → ์์งํ๋ ๋ฐ์ดํฐ๊ฐ ๊ฒ์์(=๋ฐํ๋)์ผํ
๋ฐ, ๊ฒ์์๋ง์ผ๋ก ๊ตญ๋ด์์ฅ๊ณผ ๋์ผ์ํ ์ ์๋ค.
๋ธ๋๋์ ๊ตญ๋ด ๊ณต์์ฌ์ดํธ๊ฐ ์์ด์ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ๋ฅผ ์ป์ ์ ์๊ธด ํ์ง๋ง, ๋ฆฌ๋ทฐ๊ฐ ๊ตญ๋ด ๋ฆฌ๋ทฐ๋ง ์๋ ๊ฒ ์๋๋ผ ์ ์ธ๊ณ์ ๋ฆฌ๋ทฐ๊ฐ ํ๋์ ์ฌ์ดํธ์ ๋ชจ์ด๋ ๊ฒ์ด์ด์ ๊ตญ๋ด ๋ฐ์์ ํ์ธ ํ๋ ๋ฐ์๋ ์ถ๊ฐ ์ ์ ๊ฐ ํ์ํ๋ค. - ๊ตญ๋ด ์์ฅ์ ์ ์ ์จ์ด ๋์(์๋ค๋ฅด,์ ์๋ฏน์ค) ๋ธ๋๋์ ์์ ์ ์ผ๋ก ๊ตญ๋ด์ ์ ์ฐฉํ ๋ธ๋๋๋ฅผ ๋น๊ตํ ์์ → ์๋ก์๊ฐ๊ฐ ์ด๋ฏธ ์ ๋ช
ํ๊ณ ๋งค์ฅ๋ ์์ง๋ง ํ๋๊ทธ์ญ ์คํ ์ด ์ค์ฌ์ผ๋ก ์งํ๋๊ณ ์๊ธฐ ๋๋ฌธ์ ๊ตญ๋ด ์ ์ฐฉ ์ ์(ํ๋งค๋ก์ ์ฌ์
๋ฐฉํฅ ํ์ฅ)(+ ๋ค๋ฅธ ํด์ธ ๋ธ๋๋๋ค๋..)
๊ฐ๊ฒฉ ๋ถํฌ, ์ธ๊ธฐ ์ํ์ ํค์๋, ํด์ํ๊ทธ, ๋ฆฌ๋ทฐ ๋ฐ์ ๋ฑ ๋น๊ตํ ์์ ..- ๊ฒฝ์์ฌ๋ค๋ผ๋ฆฌ ๋ฌด์์ ๊ฐ์ง๊ณ ๋น๊ตํ๊ณ , ์ด๋ค ์ ๋ต์, ์ด๋ค ๋น๊ต๋ฅผ ํ ๊ฑด์ง ๋ถ๋ช
ํํจ.
๋น๊ต ๊ธฐ์ค, ๊ตฌ์ฒด์ ์ผ๋ก ์ด๋ค ์ ๋ต์ ์ ์ํด์ ์ด๋ค ๋ชฉํ๋ฅผ ๋ฌ์ฑํ๋ ค๋ ๊ฑด์ง ๋ช ํํ ์ค์ ํ๊ธฐ.
- ๊ฒฝ์์ฌ๋ค๋ผ๋ฆฌ ๋ฌด์์ ๊ฐ์ง๊ณ ๋น๊ตํ๊ณ , ์ด๋ค ์ ๋ต์, ์ด๋ค ๋น๊ต๋ฅผ ํ ๊ฑด์ง ๋ถ๋ช
ํํจ.
- ์ฐ๊ด ๊ฒ์์ด, ๊ณต์ ์จ๋ผ์ธ ์คํ ์ด ์ํ, ๋ฆฌ๋ทฐ, ํ์ ๋ฐ์ดํฐ → ์ ์ธ๊ณ ๊ธฐ์ค
→ ํด์ธ๋ธ๋๋๋ฅผ ๋ค๋ฃฐ ๊ณํ์ด๋ผ๋ฉด, ๊ตญ๋ด์ธ ๋ชจ๋ ๋ฐ์ดํฐ๊ฐ ์์ด์ผ ํ๋ฉฐ ๊ฐ๊ฐ ๋ถ๋ฆฌํด์ ๋ถ์&์ธ์ฌ์ดํธ ๋์ถํด์ผ ํจ. - (๋น์ถ์ฒ์ด์ง๋ง ๋ฐ์ดํฐ๊ฐ ํ์ํ๋ฉด ๊ณ ๋ ค) ๋ก๊ทธ ๋ฐ์ดํฐ ์ฐธ๊ณ ์ฉ ์ถ์ฒ
→ ํ๋ก์ ํธ์ ๋ฐฉํฅ์ '๋๋ฉ์ธ' vs '๋ถ์ ๋ฐฉ๋ฒ' ์ค์ ์ด๋ค ๋ฐฉํฅ์ผ๋ก ํ๊ณ ์ถ์์ง๋ฅผ ๊ณ ๋ฏผํด๋ณด๊ธฐ
→ '๋๋ฉ์ธ'์ ๊ฐ์กฐํ๋ ค๋ฉด ํ๋ ํ๋ก์ ํธ ๋ฐฉํฅ์ ๋ณด์ํ๊ณ , '๋ถ์ ๋ฐฉ๋ฒ'์ ์ฐ์ ์ํ๋ ค๋ฉด ์ด ๋ฐ์ดํฐ ์ฐธ๊ณ (ํ๋๋ก๊ทธO, ์ฌ์ฉ์ ์ ๋ณดX) - ํ๋ธ๋ก ์ํผ์คํ ์ด ๋ฐ์ดํฐ ๊ณ ๋ ค
- ํ๋ก์ ํธ ๋ฐฉํฅ ์์ด๋์ด ์ ์ํด์ฃผ์ฌ: ๊ตญ๋ด์ธ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ(์๋น์ ๋ฐ์)๋ก LLM์ฌ์ฉํด์ ๋ฐ์์กฐ์ฌ
→ ๋ธ๋๋ ๊ฐ ๋น๊ต๋ฅผ ํ ๋์ ์์ฑ๊ฐ์ ์ ์ค์ ํด์ผ ํจ.
→ ๋ฐ์ดํฐ ์์ง ์ ์ด ์์ฑ์ด ๋ฆฌ๋ทฐ์ ์ ๋ด๊ฒจ ์๋์ง๋ ๊ณ ๋ คํด์ผ ํจ.
[์ด์ ์ฐ ํํฐ๋]
- ๋ธ๋๋ ํฌ์ง์
๋ vs ์ฌ์
ํฌ์ง์
๋ ์ค ์ด๋ค ๋ฐฉํฅ์ผ๋ก ํ ๊ฑด์ง ๊ณ ๋ คํด๋ณด๊ธฐ
> ์ปค๋จธ์ค์ ์ ํต ํ ์คํฌ์๋ ๊ฒฐ์ด ๋ค๋ฅด๋ค ์ฌ์ ์ ์ํ ์ด์ปค๋จธ์ค์ ๋ค๋ฆ
- ๋ธ๋๋ ํฌ์ง์
๋: SNS๋ฅผ ํตํด ๋ธ๋๋์ ๋ํ ๊ฐํ๋ฅผ ํ์ถํ๋ ๋ฐ์ดํฐ๋ฅผ ์์งํด์ผ ํ ๊ฒ
= ๋งค์ถ ์ต์ ํ ์ ๋ต
→ ์๋ก ์๊ฐ์ ํฌ์ง์ ์ ์ฐพ๋๋ฐ ์์ด์ ๋ค๋ฅธ ์ ์ฌํ ๋ธ๋๋๋ค ๋ฆฌ๋ทฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํฌ์ง์ ์ ์ก๋๋ค - ์ฌ์
ํฌ์ง์
๋: ๋ธ๋๋๊ฐ ์์ฅ๋ผ ์๋ค๋ฉด, ๊ธฐ์
๊ฒฝ์๊ณผ ๊ด๋ จ๋ ๋ฐ์ดํฐ๋ค๋ ํจ๊ป ์์งํด์ผ ํจ.(์ฌ๋ฌด ๊ด๋ จ ๋ฐ์ดํฐ)
= ์ฌ์ ์ ๋ต
- ๋ธ๋๋ ํฌ์ง์
๋: SNS๋ฅผ ํตํด ๋ธ๋๋์ ๋ํ ๊ฐํ๋ฅผ ํ์ถํ๋ ๋ฐ์ดํฐ๋ฅผ ์์งํด์ผ ํ ๊ฒ
- "์๋น์ ๋ฐ์ LLM ๋ชจ๋ธ" ๋ฐฉํฅ์ ์ด๋ป๊ฒ ์๊ฐํ์๋์ง?
- ๋ฌด์ ํํฐ๋ ์ธ์ ์ ๊ธฐ๋ฐ(๋จธ์ ๋ฌ๋ ์ด์ฉํ ํ ์คํธ ๋ถ์, ๋น๊ต์ ๊ฐ๋จํ ๋ถ์)์ผ๋ก ์ฐ์ ์งํ → ๋ง์กฑ์ค๋ฝ์ง ์์ผ๋ฉด LLM์ผ๋ก ์งํ(์ฌํ ๋ถ์)
- LLM ๋ถ์์ ๊ณ ๋น์ฉ์. ๊ธฐ์ ์์ ๋ถ์ ์งํํ ๋ ๊ฒฝ์ ์ ์ธ ์ธก๋ฉด์ ๊ฐ์ฑ๋น๋ ๊ณ ๋ คํ๊ธฐ ๋๋ฌธ์ ์ด ๋ถ๋ถ ์ ์ํ๊ธฐ.
- ์ ์ธ๊ณ์ ๋ฆฌ๋ทฐ๊ฐ ํ๋์ ์ฌ์ดํธ์ ์ ์ฌ๋์ด์, ๋๋ผ๋ณ ํฌ์ง์
๋์ ํ ๋ ์ด์ ๋ฐ์. ์ด๋ป๊ฒ ํด์ผ ํ ์ง?
์ด์ ๋ฐ์ ์ด์ : ์ผํผํ์ด๋ ๊ตญ๊ฐ๋ณ ๋ณ๋์ ์ฌ์ดํธ๋ฅผ ์์ฑํ์ง ์๊ณ , ์ธ์ด ๋ฐ ๊ฐ๊ฒฉ๋ง ๊ฐ ๊ตญ๊ฐ์ ์ต์ ํ๋์ด์ ๋ณด์ฌ์ง. ์ฌ์ค์ ์ฌ์ฉ๋๋ ์ฌ์ดํธ๋ ํ ๊ฐ์.- ์๋ก์๊ฐ์ ๋ฆฌ๋ทฐ๋ ์๋ก์ ๋ํ ๊ธ๋ก๋ฒ ๋ฐ์์ด๋ค. ์์ ๋๋์ผ ํ ๊ฒ → ์ด๊ฒ์ ์ด๋ป๊ฒ ์ ์ฉํ ์ง๋ฅผ ์๊ฐํด๋ด์ผ ํ ๊ฒ
- ๊ฐ ๋๋ผ์ "๊ตญ๊ฐGDP, SNS ํ์ฑ, ์ ํ์ ๊ฒฐ, ๊ตญ๋ฏผ์ฑ ๋ฑ"์ด ์ข
ํฉ๋์ด์ ์๋ก์ ๋ํ ๋ฐ์์ด ์์ฑ๋์์ ๊ฒ.
๊ทธ ํน์ง์ ๋ถ์ํ์ฌ, ์ฐ๋ฆฌ๋๋ผ์ ๋ค ๊ฐ์ง ํผ์ณ ํน์ฑ์ ์ ์ฉ์ํค๋ฉด ์ํ์ ๋ํ ๋ฐ์์ ์์ธกํด๋ณผ ์ ์์ ๊ฒ.
- ๊ณต๋ชจ์ ์์์ ์์ฃผ๋ก ์ธ๋ถ ๋ฐ์ดํฐ ๋ฆฌ์์น ํด๋ณด๊ธฐ(์ต์ 70๊ฐ!)
→ ์ปค๋จธ์ค ๋๋ฉ์ธ์์์ ์ ๋ต ์ ์ ํ๋ก์ ํธ๋ฅผ ์ด๋ป๊ฒ ํ๋์ง ๋ฆฌ์์น → ํฌ์ธํธ๋ฅผ ์ฐพ๊ณ ๊ณตํต์ ๋ฐ๊ฒฌ → ์์ฃผ ๋์ค๋ ๊ธฐ์ ์ด ์๋์ง, ์ฐธ๊ณ ํ ๋งํ ํฌ์ธํธ๋ค์ด ์๋์ง ์ฐพ์๋ณด๊ธฐ
[4/13(์) 4์ผ์ฐจ]
<์งํ ๊ฐ์>
- ํ ํฌ์ง์ ์ค์
- ์์ฌ๋ก ์ค์ ํ ๋ธ๋๋ ๋ฆฌ์คํธ์ ๋ฐ ๋ถ์ ๋ฐฉํฅ ํ์
<์์ธ ์งํ ๋ด์ฉ>
- 1์ฐจ ๋ธ๋๋ ์กฐ์ฌ + ๊ฐ์ ๋ถ์ ๋ฐฉํฅ ๋ฐ ๊ธฐํ์ ์ด์ ์๊ฐํด์ค๊ธฐ
→ ๋ฐ์ดํฐ ์์ง์ ์ฉ์ดํ ๋ธ๋๋๋ก ๋ถ์ ์งํํด์ผ ํ๋ฏ๋ก, ๋ค์ด๋ฒ์คํ ์ด์ ์ ์ ๋ ๋ธ๋๋๋ก ๋ฆฌ์คํธ์ ํจ.
๋๋ถ๋ฅ: ์บ์ฃผ์ผ / ํด๋์ / ์คํธ๋ฆฟ
ํ์๋ถ๋ฅ: ์ ๊ฐ / ๋์์ด๋ / ํ์ด์๋ - ํ ๋
ผ์
- ์์ฌ ๋ธ๋๋๋ฅผ ์นดํ ๊ณ ๋ฆฌ 1์ ๋ธ๋๋๋ก ์ ์ ํ๋ฉด ์ธ์ฌ์ดํธ๋ฅผ ํฌ์ฐฉํ๊ฑฐ๋ ๊ฒฝ์์ฌ ์ค์ ์ ํ๊ณ๊ฐ ์์ ์ ์์.
- ๋ธ๋๋ ์ ํ ์นดํ ๊ณ ๋ฆฌ๋ณ ๋งค์ถ ๋ณผ๋ฅจ ๊ณ ๋ คํ์ฌ ๊ฒฝ์์ฌ ์ค์ ํด์ผ ํจ. => ๊ธฐ์ ์ฌ๋ฌด์ ํ๋ก ํ์ธ - ์ต์ข
๊ฒฐ์ ๋ฐฉํฅ = "ํ ๋ผ ์ ์ฌ๋ ์ ๋ธ๋๋ ๋ก ์นญ ์ ๋ต ๊ธฐํํ"
- ๊ณผ๊ฑฐ ํ ๋ผ๊ฐ ์ ์ฌ๋ ์ ๋ธ๋๋ 'ํ ๋ผ ์คํ๋์ค'๋ฅผ ๋ก ์นญํ ์ ์ด ์์์ ๋ฐ๊ฒฌ. ๊ทธ๋ฌ๋ ์ฌ์ ์ด ํ์ฅ๋์ง ๋ชปํจ. ์ด๋ฅผ ์ฌ๋ก ์นญํ๊ธฐ ์ํ ๋ธ๋๋ ํฌ์ง์ ๋ ์ ๋ต์ ์ ์.
- ํ ๋ผ๋ ์คํฌ์ธ ์๋ฅ๋ก ์์ํ์ง๋ง ์ ์ฌ๋ ์ ๋ก ์ฌ์ ์ ํ์ฅํ๋ ๊ฒ์ด๊ธฐ ๋๋ฌธ์ ๋ฐด์น๋งํน๊ณผ ์์ฌ ๋ธ๋๋๋ง์ ์ฐจ๋ณ์ ์ ๊ฐ์ ธ๊ฐ๋ ๊ฒ ํต์ฌ์ด๋ผ๊ณ ํ๋จ. ์ ํต ์ ์ฌ๋ ์ ธ ๋ธ๋๋์ธ ์ ์๋ฏน์ค์ ์๋ค๋ฅด๋ฅผ ๊ฒฝ์์ฌ๋ก ์ค์ .(๋ฎฌ๋ผ์จ์ด๋ ์ฌ๋ฌด์ํฉ์ด ์ข์ง ์์ ํน์ ์ํฉ์ ๊ณ ๋ คํ์ฌ ๊ฒฝ์์ฌ์์ ์ ์ธํจ)
- ์์ฌ ํค๋ฆฌํฐ์ง๋ฅผ ๋ช
ํํ ํ๊ณ , ๊ฒฝ์์ฌ๋ฅผ ๋ฐด์น๋งํนํ์ฌ ์์ฅ ์ง์
๋ธ๋๋ ํฌ์ง์
์ ๋ต ์๋ฆฝ.
์์ฌ ํค๋ฆฌํฐ์ง: ์์ฌ ํค๋ฆฌํฐ์ง ์ค ์๋น์ ๊ธ์ ๊ฐ์ฑ ๋ถ์ ํฌ์ธํธ ํฌ์ฐฉ
๊ฒฝ์์ฌ ๋ฐด์น๋งํฌ: ๊ธฐ์กด ์ ์ฌ๋ ์ ๋ธ๋๋์ ํฌ์ง์ ๋ ์ ๋ต์ ๋ณด๊ณ ํ ๋ผ์ ํ์ ๋ง๊ฒ ์ ์ฉ.
์์ฅ ๊ธฐํ ํฌ์ฐฉ: ์๋น์๊ฐ ๊ฒฝ์์ฌ์ ๋ถ๋ง์กฑํ ํฌ์ธํธ(๋ฏธ์ถฉ์กฑ ์์)๋ฅผ ์ฐพ์๋ด์ด, ์๊ฐ๊ฐ ํ๊ณ ๋ค ํ์ผ๋ก ์ค์ ํ์ฌ ์ ๋ต ์๋ฆฝ.
(14์ผ(ํ) - ๊ตฌ์ฒด์ ๋ถ์ ํ๋ก์ฐ ๋ ผ์ + ์คํ์๋ ๋ฐ์ดํฐ ์์ง ์์ํ ์์ )
[4/14(ํ) 5์ผ์ฐจ]
<์งํ ๊ฐ์>
- ํํฐ๋ ํผ๋๋ฐฑ
- ํ๋ก์ ํธ ๊ธฐํ์ ์ ์ถ
- ํ๋ช ์ค์ (ํ ๋ผ๋ธํผ์) & ์ญํ ์ค์ (๋ฐํ ํํธ & ๋ฐ์ดํฐ ์์ง ํํธ)
- ๋ถ์ ์ธ๋ถ์ฌํญ ์ค์ ๋ฐ ๋ณด์
- ๋ฐ์ดํฐ ์์ง ๊ธฐ๊ฐ ์ค์
- ๊ฒฝ์์ฌ ๋ฆฌ์คํธ ๋ณด์ ๋ฐ ์ถ๊ฐ
- ๋ฐ์ดํฐ ํ ์๋ ธ๋ฏธ ์ค๊ณ
<์์ธ ์งํ ๋ด์ฉ>
- ํผ๋๋ฐฑ
๋๋ณด๊ธฐ
1. ๋ชฉํ ๋ฐ ์์ฌ๊ฒฐ์ ์ฒด๊ณ ์ต์ ํ
- ๋ณด๊ณ ๋์์ ๊ตฌ์ฒดํ: CEO ์งํ์ด ์๋, ์ค์ง์ ์งํ๋ฅผ ํ์๋ก ํ๋ ๋ธ๋๋ ์ ๋ต ๋ฐ ์ํ๊ธฐํํ์ 1์ฐจ ํ๊ฒ์ผ๋ก ์ค์ . (์ํ ๊ธฐํ์ ๋ํ ์ผ์ธ ์์ฌ, ํ, TPO ์ ์์ ์ง์ค)
- ๊ฐ์ค ์ค์ฌ์ ๋ฌธ์ ์ ์: ํ ๋ผ์ ํ๋ฝ์ ํ์ ์ง๊ธฐ๋ณด๋ค, ์ ๋ฐ ๋๋น ์๋ฅ ์ธ์ง๋ ์ฝํ ๋ฐ ํน์ TPO ๋ด ๊ฒฝ์์ฌ ์ ์ ๊ฐ๋ฅ์ฑ์ ๊ฒ์ฆํด์ผ ํ ๊ฐ์ค๋ก ์ค์ ํ์ฌ ๋ถ์์ ๊ฐ๊ด์ฑ ํ๋ณด.
2. ๋ฐ์ดํฐ ์์ง์ 3์ธต ๊ตฌ์กฐํ (Layered Data)
- ์ ํธ์ธต(Signal): ๋ค์ด๋ฒ ๋ฐ์ดํฐ๋ฉ/์ผํ์ธ์ฌ์ดํธ๋ฅผ ํตํด ์์์ ํ๋ฆ๊ณผ ๊ณ์ ์ฑ ํ์ .
- ๋ฐ๊ฒฌ์ธต(Discovery): ๊ฒ์ API๋ฅผ ํ์ฉํด ๋ธ๋ก๊ทธ, ์นดํ, ์ผํ ์์ญ์ ์๋น์ ๋ฐํ ํ๋ณธ ํ๋ณด.
- ์ฆ๊ฑฐ์ธต(Evidence): ๊ณต๊ฐ ๋ฆฌ๋ทฐ ๋ฐ DART ๊ณต์ ์๋ฃ๋ฅผ ํตํด ์ฌ๋ฌด์ ๋ฐฐ๊ฒฝ๊ณผ ์ค์ง์ ํ์ธํฌ์ธํธ ์ฆ๋ช .
- ๊ธฐ๊ฐ์ ๊ธธ๊ฒ ๋ชจ์ผ๋ ๊ฒ๋ณด๋ค ์ต๊ทผ์ฑ ์ค์ฌ์ผ๋ก ์์ง. ํฌ์ง์ ๋ ํ๋ก์ ํธ์์๋ ์ง๊ธ ์์ฆ ๋์ฆ๊ฐ ์ค์.
3. ๊ธฐ์ ์ ๋ถ์ ๊ณ ๋ํ (NLP & Modeling)
- ์ ์ : Kiwi ํํ์ ๋ถ์๊ธฐ์ '๋ชจํฐ์ฝ์ด', 'FILA 1911' ๋ฑ ์ฌ์ฉ์ ์ฌ์ ์ ๋ฑ๋กํ์ฌ ๊ณ ์ ๋ช ์ฌ ์ธ์๋ฅ ๊ทน๋ํ.
- ๋ฐฉ๋ฒ๋ก : ๋จ์ ๊ฐ์ฑ ๋ถ์์ ๋์ด ์์ฑ(์์ฌ, ํ, ๊ฐ๊ฒฉ ๋ฑ)๋ณ๋ก ๊ฐ์ ์ ๋ถ๋ฆฌํ๋ ABSA(์์ฑ ๊ธฐ๋ฐ ๊ฐ์ฑ ๋ถ์) ๋์ .
- ํ์ฅ: BERTopic๊ณผ ์๋ฒ ๋ฉ ๊ฒ์์ ํ์ฉํด ๋ธ๋๋ ๊ฐ/์๊ธฐ๋ณ ํ ํฝ ๋ณํ๋ฅผ ์ ์ฒด์ ์ผ๋ก ๋ถ์.
4. Taxonomy ๊ธฐ๋ฐ์ ๋ถ์ ์ํฌํ๋ก์ฐ
- ์ค๊ณ: ๋ธ๋๋, ์นดํ ๊ณ ๋ฆฌ, ์์ฑ, ๊ฐ์ , TPO๋ฅผ ์ถ์ผ๋ก ํ๋ ๋ถ๋ฅ ์ฒด๊ณ(Taxonomy) ์ ํ ๊ตฌ์ถ.
- ์คํ: 'ํ ๋ผ+๋ ๊น ์ค+๋น์นจ'๊ณผ ๊ฐ์ด ์ค๊ณ๋ Taxonomy๋ฅผ ์ฟผ๋ฆฌํํ์ฌ ์์ง ๋จ๊ณ๋ถํฐ ๋น๊ต ๋ถ์์ด ๊ฐ๋ฅํ ๊ตฌ์กฐ๋ก ๋ฐ์ดํฐ ์ ์ฌ.
์ค์ tip
- ๋ฐ์ดํฐ๋ฅผ ์ ๋ฆฌํ๋ฉด?
- DataLab/์ผํ์ธ์ฌ์ดํธ: ์์ ์ ํธ ํ์ธ
- ๊ฒ์ API: ๊ณต๊ฐ ๊ฒ์ ๊ฒฐ๊ณผ ๊ธฐ๋ฐ ํ๋ณธ/์์ธ ์์ง
- ์ผํ API: ์ํ ์ค๋ ์ท ํ ์ด๋ธ ๊ตฌ์ถ
- Kiwi + ์ฌ์ฉ์ ์ฌ์ : ํจ์ /๋ธ๋๋ ์ฉ์ด ์ ์
- ABSA: ์์ฌ/ํ/๊ฐ๊ฒฉ/๋์์ธ ๋ฑ ์์ฑ๋ณ ๊ฐ์ ๋ถ์
- BERTopic + ์๋ฒ ๋ฉ ๊ฒ์: ๋ธ๋๋๋ณ/์๊ธฐ๋ณ ํ ํฝ ์ฐจ์ด ๋ถ์
- DART: ๊ธฐ์ ๋ฐฐ๊ฒฝ๊ณผ ๊ณต์ ๊ทผ๊ฑฐ ๋ณด๊ฐ
- ๋ฐ์ดํฐ ํ๋ ์ฐ์ ์์
- 1์์: ๊ณต์ export / ํฉ๋ฒ์ ๊ตฌ๋งค / ์๋น์ค ๋ด ๋ค์ด๋ก๋
- 2์์: ๊ณต์ API
- 3์์: ์ฝ๊ด์ ํ์ฉ ๋ฒ์๋ฅผ ํ์ธํ ๋ค ์ ํ์ ์์ง
- ๋น์ถ์ฒ: ๋ก๊ทธ์ธ ๊ธฐ๋ฐ ํ์ด์ง๋ฅผ ๋๋ ํฌ๋กค๋งํด์ raw ๋ฐ์ดํฐ๋ฒ ์ด์ค์ฒ๋ผ ์ฐ๋ ๋ฐฉ์
- taxonomy ์ค๊ณ
- taxonomy๋ฅผ ๊ธฐ์ค์ผ๋ก ์์ง -> ์ ์ -> ๋ผ๋ฒจ๋ง -> ์ง๊ณ -> ํด์
- taxonomy๋ฅผ ๊ธฐ์ค์ผ๋ก ์์ง ์ฟผ๋ฆฌ ๋ง๋ค๊ธฐ
- ๋ชจ์ ํ ์คํธ๋ฅผ taxonomy ๊ธฐ์ค์ผ๋ก ๋ถ๋ฅํ๊ธฐ
- ์ง๊ณ ํ ์ด๋ธ ๋ง๋ค๊ธฐ
- ๋น๊ต ๋ถ์ํ๊ธฐ
- ๋น์ฆ๋์ค ํด์์ผ๋ก ์ฐ๊ฒฐํ๊ธฐ
- ํ๋ก์ ํธ ๊ธฐํ์ ์ ์ถ
- ์ญํ ์ค์ (๋ฐํ ํํธ & ๋ฐ์ดํฐ ์์ง ํํธ)
- ๋ฐ์ดํฐ ์์ง ๋ด๋น
์์ฌ(A) 2๋ช → ์ ์, ํ์
ํฌ์ง์ ๋(D) 1๋ช → ์์ฐ
๊ฒฝ์์ฌ 2๋ช
์๋ค๋ฅด(B) → ์ฃผํ
์ ์๋ฏน์ค(C) →์ง์
ํ์ดํ๋ผ์ธ(E): ์ฃผํ - ์ต์ข
ํ๋ก์ ํธ ์ฃผ์ ์ญํ ๋ด๋น
์์ฐ: ๋ผ์ด๋ธ ๋ฐํ
์ง์ : ๋ นํ ๋ฐํ
ํ์: ppt
์ฃผํ: ์ฝ๋ ์ ๋ฆฌ
์ ์: biํด
- ๋ฐ์ดํฐ ์์ง ๋ด๋น
- ๋ถ์ ์ธ๋ถ์ฌํญ ์ค์ ๋ฐ ๋ณด์
- ๋ฐ์ดํฐ ์์ง ๊ธฐ๊ฐ ์ค์
- ๋ธ๋๋ ์ด๋ฏธ์ง ๋ณํ ์ถ์ → 2020๋ ๋ถํฐ~
- ํ์ธ ํฌ์ธํธ ๋์ถ์ ์ํ ์ต์ ์๋น์ ๋ถ๋ง ํ์→ 2024๋
๋ถํฐ~ (2๊ฐ๋
๋ฐ์ดํฐ)
-> ์๋น์ ๋์ฆ ํ์ ์ ์ต๊ทผ ๋ฐ์ดํฐ๋ก ํ์ธํ๋ ๊ฒ์ด ํ์ํฉ์ ๋ฐ์ํ ์ ์๊ธฐ ๋๋ฌธ์ 2๊ฐ๋ ์ผ๋ก ์ค์
- ๊ฒฝ์์ฌ ๋ฆฌ์คํธ ๋ณด์ ๋ฐ ์ถ๊ฐ
- ์๋น์ ์ ๊ทผ์ฑ ์ข์ ๋ธ๋๋
์๋ค๋ฅด, ์ ์๋ฏน์ค - ๊ณ ๊ธํ ์ ๋ต ๋ฐด์น๋งํฌ
์๋ก์๊ฐ, ๋ฃฐ๋ฃจ๋ ๋ชฌ - ์คํฌ์ธ ์ด๋ฏธ์ง ํฌ์ง์
๋ฐด์น๋งํฌ
๋์ดํค, ์๋๋ค์ค
- ์๋น์ ์ ๊ทผ์ฑ ์ข์ ๋ธ๋๋
- ๋ฐ์ดํฐ ํ
์๋
ธ๋ฏธ ์ค๊ณ
๋ธ๋๋์ถ, ์นดํ ๊ณ ๋ฆฌ์ถ, ์์ฑ์ถ, ๊ฐ์ ์ถ, TPO์ถ ๋ฑ์ผ๋ก ๊ตฌ๋ถํ์ฌ ์ค๊ณ.
- ๋ฐ์ดํฐ ์์ง ๊ธฐ๊ฐ ์ค์

[4/15(์)~21(ํ) 6~10์ผ์ฐจ ]
<์งํ ๊ฐ์>
- ๋ฐ์ดํฐ ์์ง
- ์์ง๋ ๋ฐ์ดํฐ๊ฐ ๋ฒ์ ํต์ผ
- ์คํค๋ง ํต์ผ ๋ฐ ๋ง์คํฐ ํ ์ด๋ธ ์์ฑ
<์์ธ ์งํ ๋ด์ฉ>
- ๋ฐ์ดํฐ ์์ง ์ฌ์ ๊ณํ
- ๊ฒ์ ์ฟผ๋ฆฌ ์ค์
๋ธ๋๋: ํ ๋ผ, fila(๋์๋ฌธ์ ๊ตฌ๋ถ ๋ฌด์)
ํค๋ฆฌํฐ์ง: ํค๋ฆฌํฐ์ง, ์์นด์ด๋ธ, 1911, ์ดํ๋ฆฌ์, ํด๋์, ํ ๋์ค, ํธ๋, ๋ชจํฐ์ฝ์ด, ๋ชจํฐ์คํฌ์ธ
๊ด๊ณ : ๊ด๊ณ , ํ์ฐฌ, ์ ๋ฃ๊ด๊ณ - ๋ฐ์ดํฐ ์์ง ์์
1) ๋ธ๋๋ํ์ฐฌ๊ธ => ๋ธ๋๋ ์งํฅ ํฌ์ง์ & ์ด๋ฏธ์ง ์์ง
๋ธ๋ก๊ทธ, ํจ์ ์ปค๋ฎค๋ํฐ, ์ธ์คํ(ํฌ๋กค๋ง ํ์ธ ํ์)
2) ์ผ๋ฐ ์๋น์ ๊ธ => ์ค์ ์ธ์ (๊ธ/๋ถ์ ๋ชจ๋)
๋ธ๋ก๊ทธ ํ๊ธฐ, ๊ณตํ ํ๊ธฐ
- ๊ฒ์ ์ฟผ๋ฆฌ ์ค์
- ๋ฐ์ดํฐ ์์ง
- ์ธ์คํ๊ทธ๋จ ํ์ฐฌ ๊ฒ์๊ธ ํฌ๋กค๋ง ๐๐ปโ๏ธ
- ๋ฐ์ดํฐ ์์ง ๊ธฐ์ค: ๊ฒ์๊ธ ๋ด 'ํ ๋ผ', 'ํ์ฐฌ' ๋ฑ์ ๋จ์ด๊ฐ ํฌํจ๋ ๊ฒ์๊ธ
- ์ด์: ๊ฒ์๊ธ์ ์ํํ๋ฉฐ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ค๋ ๋ฐฉ์์ ๊ตฌ์กฐ์ ๋ฌธ์ ๊ฐ ์์.
- ๋ฐฉ๋ฒ1) ํ ํฐ ๋ฐ๊ธ๋ฐ์์ ๋ฐ์ดํฐ ๊ฐ์ ธ์ค๊ธฐ → ๋ณธ์ธ ์์ ๊ณ์ ์์๋ง ๊ฐ๋ฅํจ.
→ ํ ๋ผ์์ ํ์ฐฌ ๋ฐ์์ ๊ฒ์๊ธ ์์ฑํ ์ธํ๋ฃจ์ธ์ ๊ณ์ ์ ์ ๊ทผ ๋ถ๊ฐ.
๋ฐฉ๋ฒ2) "ํ ๋ผ ๊ด๊ณ " ํฌํจ๋ ๊ณ์ ๋ฆฌ์คํธ๋ฅผ ์๊ธฐ๋ก ๋ชจ์, ํด๋น ๊ณ์ ๋ค์ ์ํํ๋ฉฐ ํผ๋ ํ์ด์ง์์ ๊ฐ์ ธ์ค๊ธฐ
→ ์ต์ ํผ๋๊ธ ์ต๋ 20๊ฐ๊น์ง๋ง ํ์ธ ๊ฐ๋ฅํจ์ ํ์ธ. ์ต์ 20๊ฐ์ ๊ณ์ ์ ๊ณ ๋ฅด๋ ํํฐ๋ง ์์ ์ ๋ถ๊ฐ. ์๋ฏธ์๋ ๊ฒ์๊ธ ์ ๋ณด๋ง ๋ชจ์ ์ ์์. - ๋ณด๋ฅ: ๊ฒ์๊ธ ์ ๊ทผ ๋ถ๊ฐ ์ด์๋ก ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ์๊ธฐ๋ก ๋ชจ์์ผ ํจ. ๋นํจ์จ์ ์ด๊ณ ์ป์ ์ ์๋ ๋ฐ์ดํฐ์์ ๋ฌผ๋ฆฌ์ ํ๊ณ๊ฐ ์์ด์ ์ธ์คํ๊ทธ๋จ ๊ด๊ณ ๋ฐ์ดํฐ๋ ์ทจ๊ธํ์ง ์๊ธฐ๋ก ํจ.
- ๋ฐฉ๋ฒ1) ํ ํฐ ๋ฐ๊ธ๋ฐ์์ ๋ฐ์ดํฐ ๊ฐ์ ธ์ค๊ธฐ → ๋ณธ์ธ ์์ ๊ณ์ ์์๋ง ๊ฐ๋ฅํจ.
- ๋ค์ด๋ฒ ํจ์
์ปค๋ฎค๋ํฐ ๐๐ปโ๏ธ
โถ๏ธ ๋์ ค๋งค๋์, ๋์ดํค๋งค๋์, ๋ธ๋๋๋, ๊ณ ์์บ๋, ์งฑ๊ตฌ๋๋๋, ํ๋์ฌ์ด์ฆ- ๋ฐ์ดํฐ ์์ง ๊ธฐ์ค: ์นดํ ํน์ฑ ์ '๊ด๊ณ ๋ช ์ ๊ท์น'์ด ์์ด์ ์ผ๋ฐ๊ธ๊ณผ ๊ฒ์๊ธ์ ๋ถ๋ณํ๊ธฐ์ ํ๊ณ๊ฐ ์์. ๊ด๊ณ ์ฑ ๊ธ ๊ฐ๋ฆฌ์ง ์๊ณ 'ํ ๋ผ' ํฌํจ๋ ๋ชจ๋ ๊ฒ์๊ธ ๋ฐ์ดํฐ๋ฅผ ์์ง. / ์์ง ๊ธฐ๊ฐ: 2020๋ ~ ํ์ฌ
- ์ด์: ์ ๋ขฐ๋ ์๋ ํ
์คํธ ๋ถ์์ ํ ์ ์๋ ์์ง์ ๋ฐ์ดํฐ ์ป์ง ๋ชปํจ
- ๋ค์ด๋ฒ ์นดํ ์ปค๋ฎค๋ํฐ ํน์ฑ ์ ๊ฐ๋ตํ๊ฒ ์ ์ ๊ธ๋ค์ด ๋ง๊ณ , ํ๊ธฐ๊ฐ ์๋ ์นดํ ๊ฐ์ ์๋ค์ ์๊ฒฌ์ ๋ฌป๋ ๊ธ์ ์์ด ํจ์ฌ ๋ง์์ ํ ๋ผ์ ๋ํ ์ธ์์ ์กฐ์ฌํ ์ ์์. (ex. ์ฌ๋ฌ ์ ๋ฐ ํฌํ, ๋จ์ ์ง๋ฌธ ๋ฑ)
- ๋ณธ๋ฌธ ๋ฐ์ดํฐ๊ฐ ์๋ ๊ฒฐ์ธก ๋ฐ์ดํฐ ์ ์ธ, ์ด 357๊ฐ๋ก ๋ถ์์ ์งํํ๊ธฐ์๋ ๋ฐ์ดํฐ์์ด ๋งค์ฐ ์ ์.
- 357๊ฐ ๋ฐ์ดํฐ๋ก BERTopic ์งํํ์ ๋, ๋
ธ์ด์ฆ๊ฐ ๋๋ฌด ๋ง๊ณ ๋
ธ์ด์ฆ๋ฅผ ์ ๊ฑฐํ๋ฉด ๋ฐ์ดํฐ์์ด ์ฝ 200๊ฐ๋ก ์ค์ด๋ฆ.
→ '-1(์ค๋ฆฝ ํ ํฝ)'์ผ๋ก ๋ถ๋ฅ๋ ๋ฐ์ดํฐ์์ด ์ ์ฒด ๋ฐ์ดํฐ์ ์ฝ 25% ์ ๋๋ก ๋งค์ฐ ๋์ ์์น.
→ 5์ฐจ ๋ถ์ ์ ๋์ถ๋ ํ ํฝ: [๋๊ตฌ_๋จ์ฑ_์ซ์ดํ๋ค_์ธ์], [์๊ฐ_์๋๋ค_์นดํ_์๋๋ค] ๋ฑ ์ฃผ์ ๊ฐ ๋งค์ฐ ํผ์ฌ๋จ.
- ๊ทธ ์ธ ๊ฐ ๋ธ๋๋ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ, ์ํ ๋ฐ์ดํฐ ํฌ๋กค๋ง.
- ํ ๋ผ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ โถ๏ธ ์์ฌ๋ชฐ, ๋ฌด์ ์ฌ, ๋ค์ด๋ฒ์คํ ์ด
- ์๋ค๋ฅด, ์ ์๋ฏน์ค, ๋ฃฐ๋ฃจ๋ ๋ชฌ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ โถ๏ธ ์์ฌ๋ชฐ, ๋ฌด์ ์ฌ
- ์ธ์คํ๊ทธ๋จ ํ์ฐฌ ๊ฒ์๊ธ ํฌ๋กค๋ง ๐๐ปโ๏ธ
- ๋ฐ์ดํฐ ์์งํ๋ฉฐ ๋ฐ์ดํฐ ๋ถ์ ๋ฐฉ๋ฒ๋ก ๊ณต๋ถ (BERTopic, ABSA)
[4/22(์)~29์ผ(์) 11~16์ผ์ฐจ]
<์งํ ๊ฐ์>
- ์ํ ๋ฐ์ดํฐ, ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ์งํ
<์์ธ ์งํ ๋ด์ฉ>
- ์ ์ฒ๋ฆฌ ๋์ ๋ฐ์ดํฐ์
(์ด 13๊ฐ)
- ํ ๋ผ: ์ํ ๋ฐ์ดํฐ(์์ฌ๋ชฐ ๊ธฐ์ค) / ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ(์์ฌ๋ชฐ, ๋ฌด์ ์ฌ, ๋ค์ด๋ฒ์คํ ์ด) → ์ด 4๊ฐ
- ์๋ค๋ฅด: ์ํ ๋ฐ์ดํฐ(์์ฌ๋ชฐ ๊ธฐ์ค) / ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ(์์ฌ๋ชฐ, ๋ฌด์ ์ฌ) → ์ด 3๊ฐ
- ์ ์๋ฏน์ค: ์ํ ๋ฐ์ดํฐ(์์ฌ๋ชฐ ๊ธฐ์ค) / ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ(์์ฌ๋ชฐ, ๋ฌด์ ์ฌ) → ์ด 3๊ฐ
- ๋ฃฐ๋ฃจ๋ ๋ชฌ: ์ํ ๋ฐ์ดํฐ(์์ฌ๋ชฐ ๊ธฐ์ค) / ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ(์์ฌ๋ชฐ, ๋ฌด์ ์ฌ) → ์ด 3๊ฐ
- ์ ์ฒ๋ฆฌ
- ์ํ ๋ฐ์ดํฐ
- ์ค๋ณต ์ ๊ฑฐ
- product_id, product_name, option, price ๋ฑ ์ ๋ณด๋์ด ๊ฐ์ฅ ๋ง์ ํ ๋จ๊ธฐ๊ณ ๋๋จธ์ง ์ ์ธ.
- ์ ํ ์นดํ
๊ณ ๋ฆฌ ๋ถ๋ฅ ๊ณ์ธต’ ์๋ฆฝ(๋ค ๋ธ๋๋ ๊ณตํต ์ ์ฉ ๊ฐ๋ฅ)
- ๋๋ถ๋ฅ(cat1): ์์, ํ์, ์์ฐํฐ, ์ด๋์จ์ด, ์ค์์จ์ด ๋ฑ
- ์ค๋ถ๋ฅ(cat2): ๊ธด๋ฐ์ง, ๋ฐํํฐ์ ์ธ , ์ค์ปคํธ, ๋ ๊น ์ค ๋ฑ
- ์๋ถ๋ฅ(cat3): ๋ฌ๋, ๊ณจํ, ์์, ์ผ๋ฐ ๋ฑ
- ์ ํ ์ฌ์ด์ฆ ํ๊ธฐ๋ฒ ํต์ผ
- 44 (S): 85
55 (M): 90
66 (L): 95
77 (XL): 100
88 (XXL): 105
- 44 (S): 85
- ๊ฒฐ์ธก์น ์ฒ๋ฆฌ
- ๊ฒ์ํค์๋(search_keyword) ๋ฑ ๊ฒฐ์ธก์น 100% ์ด๊ฑฐ๋ ๋ถ์์ ์ฌ์ฉํ์ง ์๋ ์ปฌ๋ผ ์ ์ธ
- ์ ํ๋ช
์ ์
- <NEW>, <์์ธ๋ > ๋ฑ์ ํ๊ทธ๊ฐ ์๋ ๋ฐ์ดํฐ๋ฅผ ๊ฒํ ํ์ฌ ๋์ผ ์ด๋ฆ์ผ๋ก ์ผ๊ด ์ ์ ํด ๋์ผ ์ํ ํผ๋ ์ด์๋ฅผ ํด๊ฒฐํจ.
- ๋ฐ์ดํฐ ์คํค๋ง ํต์ผ
- ์ค๋ณต ์ ๊ฑฐ
- ์ํ ๋ฐ์ดํฐ

- ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ
- ์ค๋ณต ์ ๊ฑฐ
- ์ค๋ณต ํ๋จ ๊ธฐ์ค: product_id ๋ด review_date + purchase_option + content ์ธ ์ปฌ๋ผ ๋ชจ๋ ๋์ผํ ๊ฒฝ์ฐ
- ์ ๊ฑฐ: ๋ณด์กฐ์งํ ์ ๋ณด๋์ด ๊ฐ์ฅ ๋ง์ ํ ๋ณด์กดํ๊ณ ๋๋จธ์ง ํ ์ ๊ฑฐ
- ํ
์คํธ ์ ์
- ๋ฆฌ๋ทฐ๋ณธ๋ฌธ(content)
→ ๊ฒฐ์ธก์น ๋ฐ ํ ์คํธ ๋ณํฉ: NaN ๊ฐ์ ๊ณต๋ฐฑ(' ')์ผ๋ก ๋์ฒดํ๋ฉฐ, ๋ฆฌ๋ทฐ ์ ๋ชฉ(title)๊ณผ ๋ณธ๋ฌธ(review_text)์ ๊ฒฐํฉํ์ฌ ํ๋์ ํ ์คํธ(content)๋ก ์์ ์ฑ ํ๋ณด.
→ ์น ํ๊ทธ ๋ฐ ๋ ธ์ด์ฆ ์ ๊ฑฐ: HTML ํ๊ทธ(<div>, <br> ๋ฑ), URL ์ฃผ์, ์ด๋ฉ์ผ ์ฃผ์ ์ ๊ฑฐ.
→ ํน์๋ฌธ์ ์ ์ : ์๋ฌธ, ์ซ์, ํ๊ธ(์์ฑํ ๋ฐ ์๋ชจ์), ๊ณต๋ฐฑ์ ์ ์ธํ ๋ชจ๋ ํน์๋ฌธ์, ์ด๋ชจ์ง, ์ด๋ชจํฐ์ฝ ์ ๊ฑฐ.
→ ๋ฐ๋ณต ๋ฌธ์ ์ถ์ฝ: 'ใ ใ ใ ', 'ใ ใ ใ ', '~~~' ๋ฑ 3ํ ์ด์ ๋ฐ๋ณต๋๋ ๋ฌธ์๋ 1๊ฐ๋ก ์ถ์ฝ (2๋ฒ ๋ฐ๋ณต์ ์์ฐ์ค๋ฌ์ด ๊ตฌ์ด์ฒด ํํ์ผ๋ก ๊ฐ์ฃผํ์ฌ ์ ์ง).
→ ๊ณต๋ฐฑ ๋ฐ ์ค๋ฐ๊ฟ ํต์ผ: ์ค๋ฐ๊ฟ, ํญ ๋ฌธ์ ๋ฑ์ ๊ณต๋ฐฑ์ผ๋ก ๋ณํ ํ, ์ฐ์๋ ๋ค์ค ๊ณต๋ฐฑ์ 1๊ฐ์ ๊ณต๋ฐฑ์ผ๋ก ์์ถ.
→ ๋์๋ฌธ์ ํตํฉ: ์๋ฌธ ํ ์คํธ๋ ๋ชจ๋ ์๋ฌธ์๋ก ์ผ๊ด ๋ณํ. - ๊ตฌ๋งค์ต์
(purchase_option)
→ ์๋ฌธ ์๋ฌธ์๋ก ์ผ๊ด ํต์ผ, ์๋ค ๊ณต๋ฐฑ ์ ๊ฑฐ
→ ์์ ์๋ฌธํ๊ธฐ๋ฅผ ํ๊ธ๋ก ๋ณํ (dark navy → ๋คํฌ๋ค์ด๋น)
→ ์ฌ์ด์ฆ ํ๊ธฐ๋ฅผ ์ํ๋ฐ์ดํฐ์์ ์ฌ์ฉ๋ ๊ณตํต ๊ธฐ์ค์ผ๋ก ๋ณํ
- ๋ฆฌ๋ทฐ๋ณธ๋ฌธ(content)
- ๊ฒฐ์ธก์น ์ฒ๋ฆฌ ๋ฐ 5๊ธ์ ์ดํ ์ด๋จ๋ฌธ ๋ฐ์ดํฐ ์ญ์
- ๊ณ ๊ฐ ์ ์ฒด ์ ๋ณด ์ปฌ๋ผ(user_height, user_weight):
→ ๊ฒฐ์ธก์น๊ฐ ๋ง์์ ๋ฐ์ดํฐ๋์ด ์ ๊ธฐ ๋๋ฌธ์ ์ต๋น๊ฐ์ ๋ํ ์ ๋ขฐ๋๊ฐ ๋ฎ๋ค๊ณ ํ๋จํ์ฌ, ๊ฒฐ์ธก์น ๊ทธ๋๋ก ์ ์งํ๋ ์ฒ ์ ํ ๋ณด์กฐ ์งํ๋ก๋ง ์ฌ์ฉํจ. - ๊ตฌ๋งค์ต์
(purchase_option):
→ ์ ํ ID ๋๋ URL ๊ธฐ์ค์ผ๋ก ์ต์ ์ด ๋จ์ผํ๊ฒ ๋งค์นญ๋๋ ๊ฒฝ์ฐ์๋ ์ง์ ๊ฐ์ ๋ณด์.
→ ๋ฐ๋ฉด, ์ต์ ์กฐํฉ์ด ๋ค์ํ ์ํ์ ๊ฒฝ์ฐ ๊ณ ๊ฐ์ ์ค์ ๊ตฌ๋งค ์ต์ ์ ํน์ ๊ฐ์ผ๋ก ์ผ๋ฐํํ๊ธฐ ์ด๋ ต๋ค๊ณ ํ๋จ. ํนํ ์ต๋น๊ฐ ๊ธฐ๋ฐ ๋์ฒด๋ ์ค์ ๊ตฌ๋งค ํจํด์ ์๊ณกํ ๊ฐ๋ฅ์ฑ์ด ์์ด ์ ์ฉํ์ง ์์์ผ๋ฉฐ, ๋ฐ์ดํฐ์ ์ ๋ขฐ์ฑ์ ์ ์งํ๊ธฐ ์ํด ๊ฒฐ์ธก์น๋ Null๋ก ์ ์งํ์๋ค.โจ(๋ฐ์ดํฐ ์๊ณก ๋ฐฉ์ง๋ฅผ ์ํด ๊ฒฐ์ธก์น๋ฅผ Null๋ก ์ ์งํ์๋ค.) - 5๊ธ์ ์ดํ ๋ฐ์ดํฐ ์ญ์ :
→ ๋ฌธ๋งฅ ํ์ ์ด ๋ถ๊ฐ๋ฅํ ์ด๋จ๋ฌธ ๋ฐ ๋ฌด์๋ฏธํ ๋จ์ ๋ฐ๋ณต ๋ฆฌ๋ทฐ๋ ์ ์ธํ์ฌ ๋ฐ์ดํฐ์ ์๋๋ฅผ ํ๋ณด|
→ ํ ๋ผ ๋ค์ด๋ฒ, ์๋ค๋ฅด ๋ฌด์ ์ฌ ๋ฆฌ๋ทฐ์์ ์งง์ ๋ฆฌ๋ทฐ์ ๋น์ค์ด ๋์
→ ํนํ ์ ์๋ฏน์ค ์์ฌ๋ชฐ์ ๊ฒฝ์ฐ ‘5์ ์ดํ ๋จ๋ฌธ ๋ฆฌ๋ทฐ'๊ฐ 11,450๊ฑด(์ ์ฒด์ ์ฝ 2.3%)
- ๊ณ ๊ฐ ์ ์ฒด ์ ๋ณด ์ปฌ๋ผ(user_height, user_weight):
- ๋ฐ์ดํฐ ์คํค๋ง ํต์ผ
- ์ค๋ณต ์ ๊ฑฐ

- ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ ๋ธ๋๋๋ณ master.csv ๊ตฌ์ถ
- product_id(์ ํ ID)๋ฅผ ๊ธฐ์ค์ผ๋ก ์ํ ๋ฐ์ดํฐ์ ๋งค์นญ
- ‘brand’, ‘cat1’, ‘cat2’, ‘cat3’, ‘gender’, ‘original_price’, ‘discount_price’, ‘color_count’, ‘is_new’, ‘is_best’ → ์ํ ๋ฐ์ดํฐ์ 10๊ฐ ์ปฌ๋ผ ๊ฒฐํฉ
- ๋งค์นญ ์ ํ๋ 3๋จ๊ณ
- exact: ์์ ์ผ์น (์ ๋ขฐ๋ 1์์)
- prefix: ์ ํ๋ช ์ ์ผ๋ถ๊ฐ ์ํ ๋ฐ์ดํฐ์ ์ ํ๋ช (product_name)๊ณผ ์ผ์น
- fuzzy: ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ์ ์ํ ๋ฐ์ดํฐ์ ์ ํ๋ช ์ ์ ์ฌ๋๋ฅผ ํ๋จํด ๋งค์นญ
- ๋งค์นญ ๊ฒฐ๊ณผ
- prefix, fuzzy: 702๊ฑด(master ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ ๋๋น ์ฝ 0.059% ์์ค)
[4/30(๋ชฉ)~5/5(ํ) 17~20์ผ์ฐจ]
<์งํ ๊ฐ์>
- ๋ธ๋๋๋ณ ์ํ/๋ฆฌ๋ทฐ ๋ฐ์ดํฐ
- ๊ธฐ์ด ํต๊ณ
- ์ฌํ EDA ๋ฐ ์ ํ์ ๋ฆฌ๋ทฐ ๋ถ์ ํค์๋ ๋ถ์
- ๋ชจ๋ธ๋ง ์ , ์ฌ์ฉ์ ์ฌ์ ๊ตฌ์ถ ๋ฐ ํํ์ ๋ถ์ (๋ถ์๊ธฐ: Kiwi)
- ๊ธฐ์ด ํต๊ณ ๋ถ์ ๊ธฐ๋ฐ ๊ฐ์ค์ค์
<์์ธ ์งํ ๋ด์ฉ>
- ๊ธฐ์ด ํต๊ณ
- (๋ธ๋๋๋ณ*์นดํ ๊ณ ๋ฆฌ๋ณ*ํ๋ซํผ๋ณ) ํ๊ท ๋ฆฌ๋ทฐ ๊ธธ์ด, ์ ํจ ๋ฆฌ๋ทฐ ๋น์จ(๋์ ์ ๋ณด์ ), ์๋ณ ๋ฆฌ๋ทฐ ์, ํ๊ท ํ์ , ํ๊ท ํ ์ธ์จ ๋ฑ ๋ฆฌ๋ทฐ/์ํ ๋ฐ์ดํฐ์ ์ ๋ํ ๊ธฐ์ด ํต๊ณ ์งํ
- ๋ฆฌ๋ทฐ ๊ธธ์ด, ๋ฆฌ๋ทฐ ๋์ ์ ๋ถํฌ, ๋ฑ ์ ์ฒด์ ์ธ ๋ฆฌ๋ทฐ ์ง ์ธก๋ฉด์์ ๋ชจ๋ ๋ฃฐ๋ฃจ๋ ๋ชฌ์ ์์น๊ฐ ์๋์ ์ผ๋ก ๋์. ๊ทธ๋ฌ๋ ๋ฆฌ๋ทฐ ๊ฐ์๋ ์ ์๋ฏน์ค, ์๋ค๋ฅด๊ฐ ์ ์ฒด ์์ฅ์ 97%๋ฅผ ์ฐจ์งํ์ฌ ์๋์ ์ผ๋ก ๋ง์.
→ ๊ณ ๊ฐ ํ๋ฆฌ๋ฏธ์ ๋ธ๋๋์ผ์๋ก ๊ธด ๊ธ๋ก ๋ธ๋๋ ๊ฒฝํ ํ๊ธฐ๋ฅผ ๊ณต์ ํ๋ ํน์ฑ์ด ์์์ ์ ์ ์์. ๋ฆฌ๋ทฐ ์ ์ ์ ์จ์ด ๋ฎ์์๋ ๋ฆฌ๋ทฐ์ ์ง์ด ๊ฐ์ฅ ๋๋ค๋ ๊ฒ์ ํ ๊ฑด์ ๋ฆฌ๋ทฐ์์ ์ป์ ์ ์๋ ์ ๋ณด์ ๋ฐ๋๊ฐ ๋๋ค๋ ๊ฒ์ ๋ํ๋. - ์์ฌ๋ชฐ, ๋ฌด์ ์ฌ, ๋ค์ด๋ฒ์คํ ์ด ์ธ ํ๋ซํผ ์ค ์์ฌ๋ชฐ์ ๋ฑ๋ก๋ ๋ฆฌ๋ทฐ ์๋ ๊ฑฐ์ ๋๋ถ๋ถ์ด ์์ฌ๋ชฐ์ ๋ชฐ๋ ค ์์.
- ํ๊ท ๊ฐ๊ฒฉ์ด ๋ฃฐ๋ฃจ๋ ๋ชฌ์ 13๋ง 4์ฒ ์,์๋ค๋ฅด·์ ์๋ฏน์ค·ํ ๋ผ๋ 5๋ง 5์ฒ ์์์ 7๋ง ์ ์ฌ์ด์ ๋ชฐ๋ ค ์์. ๊ทธ๋ฐ๋ฐ ์ ํ๋น ํ๊ท ์์ ์ต์
๊ฐ์๊ฐ ์๋ค๋ฅด๋ ํ๊ท 9.4๊ฐ์ธ ๋ฐ๋ฉด ํ ๋ผ๋ ํ๊ท 1.1๊ฐ๋ก ๋งค์ฐ ์ ์.
→ ์ค๊ฐ ์์ฅ์์ ๊ณ ๊ฐ์๊ฒ ์ฃผ๋ '์ ํ์ ํญ'์ ๊ฐ์ฅ ์ ์ ์ํ. ๋น์ทํ ์ํ์ผ๋ก ๊ณ ๊ฐ์๊ฒ ์ค ์ ์๋ ๋ง์กฑ๋์์ ๋ค์ณ์ง ์ ์์.
- ์ ํ์ ๋ฆฌ๋ทฐ(1~3์ ) ๋ถ์ ํค์๋ ๋ถ์
- ๋ถ์ ํ์ดํ๋ผ์ธ
- ๋ฐ์ดํฐ ํํฐ๋ง
- ์ ์ฒด ๋ฆฌ๋ทฐ ์ค ํ์ (rating)์ด 1~3์ ์ธ ๋ฐ์ดํฐ ํํฐ๋ง ํ ํค์๋ ๋ถ์ ์งํ.
- ๋ฆฌ๋ทฐ ๋ณธ๋ฌธ(content) ๊ฒฐ์ธก์น ์ ์ธ - ํํ์ ๋ถ์ ๋ฐ ํค์๋ ์ถ์ถ(todenize) - Kiwi ํํ์ ๋ถ์๊ธฐ ์ฌ์ฉ
- ์ถ์ถ ํ์ฌ: ๋ช ์ฌ(NNG, NNP) + ํ์ฉ์ฌ(VA)
- ์ํ(lemma) ์ฌ์ฉ: 'ํธํ๊ณ ', 'ํธํด์' → 'ํธํ๋ค'๋ก ํต์ผ
- ๋ถ์ฉ์ด ์ ๊ฑฐ: ์กฐ์ฌ, ๋ถ์ฌ, ์ ํ๋ช ๊ณ ์ ๋ช ์ฌ ๋ฑ ํค์๋๋ถ์์ ์๋ฏธ์๋ ๋จ์ด๋ค๋ก ์ค์ - ํค์๋ ๋น๋ ์ง๊ณ(counter)
- ์ ์ฒด ๋ถ์ ๋ฆฌ๋ทฐ ํค์๋ ์ง๊ณ → ๋๋ถ๋ฅ(cat1)๋ณ ํค์๋ ์ง๊ณ - ์๊ฐํ
- Fig1 ๋ธ๋๋ ์ ์ฒด ๋ถ์ ๋ฆฌ๋ทฐ ์์ 20 ํค์๋ ๊ฐ๋ก ๋ง๋๊ทธ๋ํ (x์ถ: ๋ฑ์ฅ ํ์, ๋ง๋ ์์ ๊ฑด์์ ๋ถ์ ๋ฆฌ๋ทฐ ๋๋น ๋น์จ(%) ํ์)
- Fig2 cat1๋ณ ๋ถ์ ๋ฆฌ๋ทฐ ์์ 10 ํค์๋ ๊ฐ๋ก ๋ง๋๊ทธ๋ํ (์นดํ ๊ณ ๋ฆฌ๋ณ๋ก subplot ๊ตฌ์ฑ / ๋ถ์ ๋ฆฌ๋ทฐ 5๊ฑด ๋ฏธ๋ง ์นดํ ๊ณ ๋ฆฌ ์ ์ธ → ์ดํ 1๊ฑด์ผ๋ก ์ํํด์ ์ ์ฒด ์นดํ ๊ณ ๋ฆฌ ํฌํจ)
- Fig3 ํค์๋ × cat1 ํํธ๋งต (์ ์ฒด ์์ 20 ํค์๋๊ฐ ๊ฐ ์นดํ ๊ณ ๋ฆฌ ๋ถ์ ๋ฆฌ๋ทฐ์์ ์ฐจ์งํ๋ ๋น์จ(%) / seaborn heatmap ์ฌ์ฉ)
- ๋ฐ์ดํฐ ํํฐ๋ง
- ์๋ค๋ฅด Insight
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- [ํ·์ฌ์ด์ฆ] ์ ์ฒด ์นดํ ๊ณ ๋ฆฌ ๊ณตํต → ์ฌ์ด์ฆ, ํ์ดํธ, ๊ธธ์ด, ๊ธฐ์ฅ, ์๋ค, ํฌ๋ค
- [์์ฌ·๋ด๊ตฌ์ฑ] ํ์/์ ์ → ๋ณดํ, ์ธํ, ๋์ด๋, ๋จ์ด์ ธ, ๋ณํ
- [์ฐฉ์ฉ๊ฐ] ์์/ํ์/์์ฐํฐ/์ธ๋์จ์ด → ๋ถํธ, ๋ต๋ต, ์๋ฐ, ํ๋ฌ๋ด๋ฆผ
- ํ ๋ผ ์นจํฌ ์ ๋ต
- ์ฒดํ ๋์ ๊ฐํ ์ ๋ต: “์ฒดํ ๋ง์ถคํ ํ ๋ธ๋๋”
- ์/๋กฑ ๊ธฐ์ฅ ์ธ๋ถํ
- ๋ชจ๋ธ ์ฒดํ ๋ค์ํ ๋ฐ ์ฒดํ๋ณ ํ ๋ผ์ธ ์ด์
- ์์ธ ์ฌ์ด์ฆ ์ ๋ณด ๊ฐํ - ์์ฌ ๋ด๊ตฌ์ฑ ๊ฐํ ์ ๋ต: “์ธํ/์ด๋ ํ์๋ ๋ณํ ์ ์ ๋ด๊ตฌ์ฑ”
- ํนํ ๋ง์ฐฐ์ด ๋ง์ ‘ํ์, ์ ์ '์ ๋ณดํ ์ ํญ ์์ฌ ๊ฐ์กฐ
- ์ธํ ์์ ์ฑ ํ ์คํธ ๊ณต๊ฐ
- ์ด๋ ์ํฉ ๊ธฐ๋ฐ ํผํฌ๋จผ์ค ์ฐ์ถ ๊ฐํ
- ์ฒดํ ๋์ ๊ฐํ ์ ๋ต: “์ฒดํ ๋ง์ถคํ ํ ๋ธ๋๋”
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- ์ ์๋ฏน์ค Insight
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- [ํ·์ฌ์ด์ฆ] ์ ์ฒด ์นดํ ๊ณ ๋ฆฌ ๊ณตํต → ์ฌ์ด์ฆ, ํ๋ฆฌ, ํ๋ฌ๋ด๋ฆผ, ์ฐฉ์ฉ, ๊ธธ์ด
- [์ฐฉ์ฉ๊ฐ·ํ๋์ฑ] ์์/์ธํธ์ํ/์ค์์จ์ด → ์ด๋, ์ฐฉ์ฉ, ๋ถํธ
- [์์ฌ·ํ์ง] ์์/์ธํธ์ํ/์ธ๋์จ์ด→ ์์ฌ, ์ฌ์ง, ์๋จ, ์ธํ
- ํ ๋ผ ์นจํฌ ์ ๋ต
- ์ฒดํ ๋์ ๊ฐํ ์ ๋ต: “์ฒดํ ๋ง์ถคํ ํ ๋ธ๋๋”
- ์/๋กฑ ๊ธฐ์ฅ ์ธ๋ถํ
- ๋ชจ๋ธ ์ฒดํ ๋ค์ํ ๋ฐ ์ฒดํ๋ณ ํ ๋ผ์ธ ์ด์
- ์์ธ ์ฌ์ด์ฆ ์ ๋ณด ๊ฐํ - ์ค์ฌ์ฉ ๊ธฐ๋ฐ ๊ธฐ๋ฅ ์ ๋ขฐ๋ ๊ฐํ: “์คํฌ์ธ ์ ์ฌ๋ ์ ๋ธ๋๋ ์ ๋ขฐ ์ฐ์ ํ๋ณด”
- ์ด๋ ์ํฉ ๊ธฐ๋ฐ ํผํฌ๋จผ์ค ์ฐ์ถ ๊ฐํ
- ํผํฌ๋จผ์ค ํ ์คํธ ๊ฐ์กฐ
- ํ๋์ฑ·๊ณ ์ ๋ ฅ ๋ฉ์์ง ๊ฐํ
- ์ฒดํ ๋์ ๊ฐํ ์ ๋ต: “์ฒดํ ๋ง์ถคํ ํ ๋ธ๋๋”
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- ๋ฃฐ๋ฃจ๋ ๋ชฌ Insight
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- [ํ·์ฌ์ด์ฆ] ์์/ํ์/์ธ๋์จ์ด/์์ฐํฐ → ์ฌ์ด์ฆ, ํ๋ฆฌ, ๊ธธ์ด, ์๋ค, ํ, ๋ ๊น ์ค
- [์์ฌ·๋ด๊ตฌ์ฑ] ์์/ํ์/์์ฐํฐ → ์ธํ, ๋ณดํ, ์์ฌ, ์ฌ์ง, ์๋จ
- [๊ตฌ๋งค·์ฌ์ฉ ๊ฒฝํ] ์์/์ธํธ์ํ/์ธ๋์จ์ด → ๊ตฌ๋งค, ๋ฐํ, ๊ตํ, ๋ถํธ, ์ด๋, ํธํ๋ค
- ํ ๋ผ ์นจํฌ ์ ๋ต
- ์ฒดํ ๋์ ๊ฐํ ์ ๋ต: ํ๋ฆฌ๋ฏธ์ ๋ธ๋๋ ๋๋น ๊ตฌ๋งค ๋ถ์ ๊ฐ์
- ๋ชจ๋ธ ์ฒดํ ๋ค์ํ ๋ฐ ์ฒดํ๋ณ ํ ๋ผ์ธ ์ด์
- ์์ธ ์ฌ์ด์ฆ ๊ฐ์ด๋ ๋ฐ ์ค์ฐฉ ๋ฆฌ๋ทฐ ๊ฐํ
- ํ์ ํ๋ฆฌ ์์ ๊ฐ ๋ฐ ํ๋์ฑ ์ค๊ณ ๊ฐ์กฐ - ์ค์ฌ์ฉ ๊ธฐ๋ฐ ๊ธฐ๋ฅ ์ ๋ขฐ๋ ๊ฐํ: “์คํฌ์ธ ์ ์ฌ๋ ์ ๋ธ๋๋ ์ ๋ขฐ ์ฐ์ ํ๋ณด”
- ์ด๋ ์ํฉ ๊ธฐ๋ฐ ํผํฌ๋จผ์ค ์ฐ์ถ ๊ฐํ
- ํผํฌ๋จผ์ค ํ ์คํธ ๊ฐ์กฐ
- ์คํฌ์ธ ๋ธ๋๋ ์ ๋ฌธ์ฑ ํ์ฉ
- ์ฒดํ ๋์ ๊ฐํ ์ ๋ต: ํ๋ฆฌ๋ฏธ์ ๋ธ๋๋ ๋๋น ๊ตฌ๋งค ๋ถ์ ๊ฐ์
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- ํ ๋ผ Insight
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- ์ ๋ฐ: [์ฐฉํ๊ฐ] ํธํ๋ค, ๋ถํธ, ๋ฐ๋ฑ, ์ฟ ์ , ์ํ๋ค
- ์ธ๋์จ์ด: [ํจ๋ ์์ ์ฑ] ํจ๋, ์ฌ์ง, ๋ผ์ธ
- ์ํ์, ์์ฐํฐ, ์ฉํ: [์ฌ์ด์ฆ·์์ฌ] ์ฌ์ด์ฆ, ์ธํ, ๋ณดํ, ์์ฌ
- ํ ๋ผ ๋์ ์ ๋ต
- ์ ๋ฐ
- ๋ฐ๋ณผ·๋ฐ๋ฑ ๊ณ ๋ ค ํ ์ค๊ณ ๊ฐํ - ์ธ๋์จ์ด
- ํจ๋ ๊ณ ์ ๋ ฅ ๋ฐ ๋ฐ์ฐฉ๊ฐ ๊ฐ์ ๊ฐ์กฐ
- ์ค์ฐฉ ๋ฆฌ๋ทฐ ๋ฐ ์์ง์ ํ ์คํธ ์ฝํ ์ธ ํ์ฉ - ์์/์์ฐํฐ/์ฉํ
- ์์ธ ์ฌ์ด์ฆ ๊ฐ์ด๋ ๋ฐ ์ฒดํ๋ณ ์ถ์ฒ ๊ฐํ
- ์ธํ ์์ ์ฑ·๋ณดํ ์ ํญ ๊ธฐ๋ฅ ๊ฐ์กฐ
- ์ ๋ฐ
- ๋ํ ๋ถ์ ํค์๋ ๊ทธ๋ฃน
- ๋ถ์ ํ์ดํ๋ผ์ธ
- ์ฌ์ฉ์ ์ฌ์ ๊ตฌ์ถ ๋ฐ ํํ์ ๋ถ์ (๋ถ์๊ธฐ: Kiwi)
- ๋ถ์ ํ์ดํ๋ผ์ธ
- ์ฌ์ฉ์ ์ฌ์ ๊ตฌ์ถ
: ํํ์ ๋ถ์๊ธฐ๊ฐ ๊ณ ์ ๋ช ์ฌ๋ฅผ ์ ๋๋ก ์ธ์ํ์ง ๋ชปํด์ ์๋ชป ๋ถ๋ฆฌ๋๋ ํ์์ ๋ฐฉ์งํ๊ธฐ ์ํ ์ฌ์ ๋ฑ๋ก ๊ณผ์
- ์๋ ํด๋ผ์ฐ๋ ํ์ฉํ์ฌ ์ฃผ์ ํค์๋ ์ถ์ถ
- ์ ๊ทํ ์ฌ์ ๊ตฌ์ถ
: ํํ์ ๋ถ์ ์ , ํํ๋ ๋ค๋ฅด์ง๋ง ์๋ฏธ๋ ์ ์ฌํ ๋จ์ด๋ฅผ ํ๋์ ์ํ์ผ๋ก ํตํฉํ๋ ๊ณผ์ - ํํ์ ๋ถ์
- ํ ํฐํ ๊ณผ์ : ๋ฌธ์ฅ์ ๋ถ์ ๊ฐ๋ฅํ ๋จ์(ํ ํฐ)๋ก ์๊ฒ ๋๋๋ ๊ณผ์
- ํ์ฌ ํ๊น ๋ฐ ํํฐ๋ง: ์ฌ์ฉ์ ์ฌ์ ์ ๊ธฐ๋ฐ์ผ๋ก ๋ถ๋ฆฌํ ๋จ์ด๋ค์ ํ์ฌ ์ ๋ณด๋ฅผ ๋ถ์ฌํ๊ณ , ๋ถ์ ๋ชฉ์ ์ ๋ง๋ ํ์ฌ๋ง ์ ํ์ ์ผ๋ก ์ถ์ถํ๋ ๊ณผ์
- ๋ถ์ฉ์ด ์ ๊ฑฐ: ๋ถ๋ฆฌ๋ ๋จ์ด๋ค ์ค ๋ถ์์ ์๋ฏธ๊ฐ ์ ์ ๋จ์ด(์: ์ง์ง, ๋๋ฌด, ๊ทธ๋ฅ ๋ฑ)๋ฅผ ์ ๊ฑฐํ๋ ๊ณผ์
- ๋๋ค ์ํ๋ง & ๋ถ๋ ํ ํฐ ์ค์บ๋
→ ์ํ์ ์ง์ ๋์ผ๋ก ํ์ธํ๋ฉฐ ํ ๊ทผํ๊ฐ ์๋๋๋ก ๋์๋์ง, ๋์น ๋ถ์ฉ์ด๋ ์๋ฑํ ๋ ธ์ด์ฆ๊ฐ ์๋์ง ํฌ๋ก์ค์ฒดํฌํ๋ ๊ณผ์ ์ด ์์ด์ผ ๋ํ ์ผํ ์์ ์ ํ ์ ์์. ๋งค์ฐ ์ค์ํ ์์ .
1) 1์ฐจ ์ฌ์ฉ์ ์ฌ์ ๊ตฌ์ถ ํ, ๋๋ค ์ํ๋ง ํตํด์ ์ผ๋ถ ๋ฐ์ดํฐ๋ก ์ฐ์ ๋ถ์
2) ์ํ๋ก ๋ฝํ ๋ฐ์ดํฐ์ ์๋ณธ ๋ฆฌ๋ทฐ์ ํ ํฐํ ๊ฒฐ๊ณผ ๋น๊ตํ์ฌ ๋ถ๋ ํ ํฐ ์ค์บ๋
3) ์ฌ์ฉ์ ์ฌ์ ๋ฐ ๋ถ์ฉ์ด ๋ณด์
4) ์ํ ๋ฐ์ดํฐ ํํ์ ๋ถ์ ๋ฐ๋ณต ์งํํ๋ฉฐ ๋ถ์ ์ฑ๋ฅ ๊ฐ์ ํ ์ ์ฒด ๋ฐ์ดํฐ ๋ถ์ ์คํ.
- ์ฌ์ฉ์ ์ฌ์ ๊ตฌ์ถ
- ์์
๊ด๋ฆฌ
- ์ํ๋ง: ์๋ณธ ๋ฐ์ดํฐ์ ๋ธ๋๋๋ณ ๋น์จ์ ๊ณ ๋ คํ์ฌ ์ํ ๋ฐ์ดํฐ ์ถ์ถ. (ํ ๋ผ, ๋ฃฐ๋ฃจ๋ ๋ชฌ: 20% / ์๋ค๋ฅด, ์ ์๋ฏน์ค: 30%) → ์ํ ๋ฐ์ดํฐ 100๊ฑด, 500๊ฑด, 1000๊ฑด, 1๋ง ๊ฑด, 9๋ง ๊ฑด, 23๋ง ๊ฑด ๊ฐ 10ํ์ฉ ์์ฐจ์ ์ผ๋ก ์งํ.
- ์ด์ํ๋ ๊ฒ์ ํ๊ฒฝ: `.py` ๋ชจ๋์์ ๊ฒ์ ์๋ํ ๋ก์ง์ ์ผ๊ด ์ฒ๋ฆฌํ๊ณ , `.ipynb` ํ๊ฒฝ์์ ๊ฒฐ๊ด๊ฐ์ ์ฆ๊ฐ ์ถ์ถ ๋ฐ ๋ชจ๋ํฐ๋งํ๋ ํจ์จ์ ์ธ ์ํฌํ๋ก์ฐ ๊ตฌ์ถ.
- ์๊ฒฉํ ๋ฑ์ฌ ๊ธฐ์ค: ์๋ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ 1์ฐจ ํค์๋ ์ถ์ถ ํ, ๋ถ๋ฅ ๊ธฐ์ค์ด ํ์คํ๊ฒ ๊ฒ์ฆ๋ ๋จ์ด๋ง ์ฌ์ ์ ๋ฑ๋กํ์ฌ ํํ์ ๋ถ์๊ธฐ์ ์ฌ์ ์ค์ผ ๋ฐฉ์ง.
- ์ฌ์ ์ ์ ์ฐํ ์ด๋: ์ด๊ธฐ ๋ถ์ฉ์ด๋ก ์ง์ ๋์์ผ๋ ๋ฐ์ดํฐ ๋ณผ๋ฅจ์ด ์ปค์ง์ ๋ฐ๋ผ ๋น๋์๊ฐ ๊ธ์ฆํ ๋จ์ด๋ ์ฃผ์ ์์ฑ์ผ๋ก ํ๋จ, ๋ถ์ฉ์ด ์ฌ์ ์์ ์ฌ์ฉ์ ์ฌ์ ์ผ๋ก ๋์ ์ด๋.
- ์๋ฏธ ๋ฐ์ (Sentiment Inversion) ์ ์ด: ๋ฌธ๋งฅ์ ๋ฐ๋ผ ์๋ฏธ๊ฐ ๋ฐ์ ๋๋ ๋ฆฌ๋ทฐ ํนํ ํํ๋ค์ ์๋ ๊ฒ์๋ฅผ ๋ณํํ์ฌ ํฅํ ์งํ๋ ๊ฐ์ฑ ๋ถ์(ABSA)์ ์ ๋ขฐ๋ ํ๋ณด.
- ์์ฌ ์์ธ ์ผ์ด์ค ์ด๊ด: ๊ท์น ๊ธฐ๋ฐ์ผ๋ก ๋ถ๋ฅ๋์ง ์๋ ๋ํดํ ํ ํฐ ๋ฐ ์๋ฌธ ๋ฑ์ ๋ณ๋ ์ถ์ถํ์ฌ ๋ฆฌ์คํธ์
ํ ๋ค, ํ์ ์ ์ฒ๋ฆฌ ๋จ๊ณ๋ ๋ชจ๋ธ๋ง(BERTopic) ๋จ๊ณ๋ก ์ด๊ดํ์ฌ ๊ฐ์ ์ฒ๋ฆฌ ๋ฐ ํน๋ณ ๊ด๋ฆฌ.
- ์ต์ข
์ฑ๊ณผ ๋ฐ ์์ฌ์
- ํจ์จ์ฑ ํ๋ณด: ๊ฒ์ ๋ฐ ํ์ดํ๋ผ์ธ ์ต์ ํ๋ฅผ ํตํด 23๋ง ๊ฑด ํ ํฐํ ์ฒ๋ฆฌ ์๊ฐ์ 80๋ถ์์ 2.1๋ถ์ผ๋ก 97% ๋จ์ถ.
- ํ์ง ๊ฒ์ฆ: ์ธตํ์ถ์ถ๊ณผ ์ ์ง์ ์ค์ผ์ผ์ ๊ฒ์๋ฅผ ๊ฑฐ์ณ ์ต์ข ํ ํฐ ๋ฏธ์ ์ฉ๋ฅ 1.75%๋ฅผ ๋ฌ์ฑ, ๋ชฉํ ๊ธฐ์ค(2% ์ดํ) ์ถฉ์กฑ.
- ๋ชจ๋ธ๋ง ๊ธฐ๋ฐ ๋ง๋ จ: ๊ณผ์ ํฉ์ ๋ฐฉ์งํ๊ณ ์ ์ฐํ ๋์ ์ฌ์ (์ฌ์ฉ์/๋ถ์ฉ์ด) ๊ด๋ฆฌ ์ฒด๊ณ๋ฅผ ํ๋ณดํจ์ผ๋ก์จ, ํ์ ์งํ๋ ํ ํฝ ๋ชจ๋ธ๋ง์ ์ ํ๋๋ฅผ ๊ทน๋ํํ ์ ์๋ ๋ฐ์ดํฐ ์ ํฉ์ฑ ํ๋ณด.
- BERTopic์ฉ ๋ฐ์ดํฐ(์ด๋ฆ : preprocessed_bertopic.parquet)
ABSA์ฉ ๋ฐ์ดํฐ (์ด๋ฆ : preprocessed_absa.parquet)
- ๋ถ์ ํ์ดํ๋ผ์ธ
[5/6(์)~5/12(ํ) 21~25์ผ์ฐจ]
<์งํ ๊ฐ์>
- ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๋ถ์: BERTopic, ABSA
- EDA ๊ธฐ๋ฐ ํตํฉ ์ธ์ฌ์ดํธ ๋์ถ
- ๋ฐํ PPT ์ ์
- ์ฝ๋ํ์ผ ์ ๋ฆฌ
<์์ธ ์งํ ๋ด์ฉ>
- BERTopic
: ๋จ์ ํค์๋ ๋น๋์ ๋ค๋ฅด๊ฒ ์๋ฏธ ๊ธฐ๋ฐ ๊ตฐ์งํ๋ฅผ ํจ. "์ฌ์ด์ฆ๊ฐ ์๋ค"์ "ํ์ดํธํด์ ๋ถํธํ๋ค"๋ฅผ ๊ฐ์ ํ ํฝ์ผ๋ก ๋ฌถ์ ์ ์์.
→ ์๊ธฐ ํ๊น ์์ญ ์๊ฐ → ๋ถ ๋จ์๋ก ๋จ์ถ
→ ์ฌ์ ์ ์ ์ ๋ชป ํ ์จ์ ๋์ฆ๋ ๋ฐ๊ตด ๊ฐ๋ฅ
- ๋ฐ์ดํฐ ๊ฐ์ ๋ฐ ํ์ดํ๋ผ์ธ
- ๋ฐ์ดํฐ ๊ท๋ชจ → ์๋ค๋ฅด 63๋ง ๊ฑด / ์ ์๋ฏน์ค 47๋ง ๊ฑด / ํ ๋ผ 2๋ง ๊ฑด / ๋ฃฐ๋ฃจ๋ ๋ชฌ 1๋ง ๊ฑด = ์ด 110๋ง ๊ฑด
- ํ์ดํ๋ผ์ธ
- ์๋ฒ ๋ฉ: ko-sroberta-multitask (ํ๊ตญ์ด ํนํ ๋ชจ๋ธ)๋ก ์๋ฏธ๊ฐ ๋น์ทํ ๋ฌธ์ฅ์ ๋ฒกํฐ ๊ณต๊ฐ์ ๋ฐฐ์น
- ๋ชจ๋ธ๋ง: UMAP์ผ๋ก ์ฐจ์ ์ถ์ → HDBSCAN์ผ๋ก ๊ตฐ์งํ
- ์์ฑ ๋งคํ: 5๊ฐ ๋น์ฆ๋์ค ์์ฑ(์ฌ์ด์ฆ/์์ฌ/๊ธฐ๋ฅ์ฑ/๋์์ธ/๊ฐ๊ฒฉ)์ผ๋ก ๋ผ๋ฒจ๋ง
- ์ํ๋ง ์ ๋ต
- 1) 110๋ง ์ ์ฒด ํ์ต → ๋ฉ๋ชจ๋ฆฌ ํ๊ณ, ํ์ต ์๊ฐ ํญ์ฆ
2) ๊ท ๋ฑ ์ํ๋ง (1.1๋ง × 4 = 4.4๋ง) → ์์ฅ ๋ํ์ฑ ์์ค, ๋ฐ์ดํฐ 75% ๋ฒ๋ฆผ
3) ๋น๋ก ์ํ๋ง (22๋ง) → ์ฑํ โ - ์์ฅ์์ ์๋ค๋ฅด/์ ์๋ฏน์ค๊ฐ ์์ ์ผ๋ก ์ฐ์ธํ๋ค๋ ์ฌ์ค ์์ฒด๊ฐ ์ ๋ณด์ด๊ธฐ ๋๋ฌธ์ ์ธ์์ ์ผ๋ก ๊ท ๋ฑํ๊ฒ ๋ง๋ค์ง ์์.
์ ํ์ ๋ฆฌ๋ทฐ๋ ์ผ๋ฐ ๋ฆฌ๋ทฐ์ ์์ด๋ฉด ํ์ธํฌ์ธํธ ์๊ทธ๋์ด ์ฝํด์ง ์ ์๊ธฐ ๋๋ฌธ์ 1~2์ ๋ฆฌ๋ทฐ 9์ฒ ๊ฑด๋ง ๋ฐ๋ก ๋ ๋ฒ์งธ BERTopic ๋ชจ๋ธ๋ก ๋ถ์ํจ.
- 1) 110๋ง ์ ์ฒด ํ์ต → ๋ฉ๋ชจ๋ฆฌ ํ๊ณ, ํ์ต ์๊ฐ ํญ์ฆ
- ๋ชจ๋ธ๋ง ์ , ์ต์ข
์ ์ฒ๋ฆฌ
- ์ค๋ณต ์ ๊ฑฐ ํ ์ ์ฒด 111๋ง ๊ฑด
- BERTopic ๋ฉ์ธ ํ์ต: 22๋ง ๊ฑด (๋น๋ก ์ํ)
์ ํ์ BERTopic ํ์ต: ์๋ค๋ฅด 2,682๊ฑด + ์ ์๋ฏน์ค 6,766๊ฑด = 9,448๊ฑด
์ ํ์ ํค์๋ ๋ถ์: ํ ๋ผ 50๊ฑด + ๋ฃฐ๋ฃจ๋ ๋ชฌ 163๊ฑด = 213๊ฑด (ํ ๋ผ/๋ฃฐ๋ฃจ๋ ๋ชฌ ์ ํ์ ์ด 200๊ฑด๋์ธ๋ฐ ๋ ธ์ด์ฆ ๋ฐ์์ ํผํ๊ธฐ ์ํด BERTopic์ ๋ฌด๋ฆฌํ๊ฒ ๋๋ฆฌ์ง ์๊ณ , ๋ฐ์ดํฐ ์์ ๋ง์ถฐ ๋ฐฉ๋ฒ๋ก ์ ๋ถ๋ฆฌํ ๊ฒฐ์ / 1~3์ ์ผ๋ก ๋๋ ค๋ 400๊ฑด๋๋ก BERTopic ๋ฌด์๋ฏธ)
- ํ์ดํผํ๋ผ๋ฏธํฐ ํ๋
: ๋ชจ๋ธ์ด ํ์ตํ๊ธฐ ์ ์ ์ฌ๋์ด ์ง์ ์ค์ ํด์ค์ผ ํ๋ ๊ฐ (ex. ๊ตฐ์ง์ ์ผ๋ง๋ ํฌ๊ฒ ๋ง๋ค์ง", "๋ ธ์ด์ฆ๋ฅผ ์ผ๋ง๋ ํ์ฉํ ์ง" ๋ฑ)
- ์ต์ข
์ฑํ ํ๋ผ๋ฏธํฐ
- min_cluster_size (์ต์ ๊ตฐ์ง ํฌ๊ธฐ)
: ํ๋์ ํ ํฝ(๊ตฐ์ง)์ผ๋ก ์ธ์ ๋ฐ์ผ๋ ค๋ฉด ์ต์ ๋ช ๊ฐ์ ๋ฆฌ๋ทฐ๊ฐ ์์ด์ผ ํ๋์ง ์ค์ - min_cluster_size = 150์ผ๋ก ์ค์
→ 150๊ฐ ๋ฏธ๋ง ๋ฆฌ๋ทฐ๋ก ๊ตฌ์ฑ๋ ๊ตฐ์ง์ ํ ํฝ์ผ๋ก ์ธ์ ์ ํจ → ์ฒ์ 191๊ฐ์๋ ํ ํฝ์ด 48๊ฐ๋ก ์ค์ด๋ฆ.
- min_cluster_size = 150์ผ๋ก ์ค์
- min_samples (์ต์ ์ํ ์)
: ํ๋์ ๊ตฐ์ง(Cluster)์ ํ์ฑํ๊ธฐ ์ํด ํน์ ๋ฐ์ดํฐ(ํฌ์ธํธ) ์ฃผ๋ณ ๋ฐ๊ฒฝ(eps) ๋ด์ ํฌํจ๋์ด์ผ ํ๋ ์ต์ ๋ฐ์ดํฐ(์ํ)์ ์
→ ๋๋ฌด ํฌ๊ฒ ์ค์ ํ๋ฉด, ๊ตฐ์ง์ผ๋ก ์ธ์ ๋ฐ์ ์ ์๋ ๊ธฐ์ค์ด ๊น๋ค๋ก์์ ธ์ ๋ ธ์ด์ฆ๊ฐ ๋์ด๋จ.
→ ๋๋ฌด ์๊ฒ ์ค์ ํ๋ฉด, ๊ตฐ์ง์ผ๋ก ์ธ์ ๋ฐ๋ ์๊ฐ ๋๋ฌด ๋ง์์ ธ์ ์์ํ ๊ตฐ์ง์ด ๋ง์ด ์๊ธฐ๋ ๋์ ๋ ธ์ด์ฆ๊ฐ ์ค์ด๋ฆ.- min_samples = 10์ผ๋ก ์ค์
→ ์ฒ์์ 37.6%์๋ ๋ ธ์ด์ฆ๋ฅผ 0%๊น์ง ์ค์
→ ์๋ฒ ๋ฉ ๊ธฐ๋ฐ ์ฌ๋ฐฐ์ ์ผ๋ก ๋ ธ์ด์ฆ ๋ฆฌ๋ทฐ๋ ๊ฐ์ฅ ๊ฐ๊น์ด ํ ํฝ์ ํ ๋น
- min_samples = 10์ผ๋ก ์ค์
- min_df (์ต์ ๋ฌธ์ ๋น๋)
: ๋จ์ด๊ฐ ์ต์ ๋ช ๊ฐ์ ๋ฆฌ๋ทฐ์์ ๋ฑ์ฅํด์ผ ํค์๋๋ก ์ฌ์ฉํ ์ง ๊ฒฐ์
→ ๊ฐ์ด ๋๋ฌด ํฌ๋ฉด, ๋๋ฉ์ธ ํนํ ๋จ์ด๋ค์ด ์๋ ค๋๊ฐ ๋ถ์ ํ์ง์ด ๋จ์ด์ง- min_df = 5์ผ๋ก ์ค์
→ 5๊ฐ ์ด์์ ๋ฆฌ๋ทฐ์์ ๋ฑ์ฅํ ๋จ์ด๋ง ํค์๋๋ก ์ฌ์ฉ
→ "์์ด๋ํ", "์ฟจ๋ง" ๊ฐ์ด ์์ฃผ ์ฐ์ด์ง ์์ง๋ง ์๋ฏธ ์๋ ๋จ์ด๋ฅผ ์ด๋ ค์ค
- min_df = 5์ผ๋ก ์ค์
- min_cluster_size (์ต์ ๊ตฐ์ง ํฌ๊ธฐ)
- 2๋ง ๊ฑด ์๋ธ์ํ๋ก ๊ทธ๋ฆฌ๋ ์์น* ์ํํด๋ณด๊ณ , 22๋ง ๊ฑด์ ์ ์ฉ
*๊ทธ๋ฆฌ๋ ์์น: ์ฌ๋ฌ ํ๋ผ๋ฏธํฐ ์กฐํฉ์ ๋ชจ๋ ์๋ํด๋ณด๊ณ ๊ฐ์ฅ ์ข์ ์กฐํฉ์ ์ฐพ๋ ๋ฐฉ๋ฒ- ํ๊ฐ ์ ์ ๊ณต์
score = diversity − outlier_ratio − |n_topics − 40| × 0.01
- diversity: ํ ํฝ๋ผ๋ฆฌ ํค์๋๊ฐ ์ผ๋ง๋ ์ ๊ฒน์น๋์ง, ํ ํฝ์ ๋ค์์ฑ
- outlier_ratio: ๋ ธ์ด์ฆ ๋น์จ
- |n_topics − 40| × 0.01 (ํ ํฝ ์ ํ๋ํฐ): ํ ํฝ์ด 40๊ฐ์์ ๋ฉ์ด์ง์๋ก ์ ์๋ฅผ ๊น์. ๋๋ฌด ๋ง์ผ๋ฉด ํด์์ด ์ด๋ ต๊ณ , ๋๋ฌด ์ ์ผ๋ฉด ์ ๋ณด๊ฐ ๋ญ๊ฐ์ง๊ธฐ ๋๋ฌธ์ 40๊ฐ ๊ทผ์ฒ๋ก ์ ๋ํ ๊ฒ.
- | ์กฐํฉ | min_cluster_size | min_samples | min_df | ์ ์ |
-------------------------------------------------------------
| 1 | 100 | 5 | 3 | 0.71 |
| 2 | 100 | 10 | 5 | 0.74 |
| 3 | 150 | 10 | 5 | 0.76 | โ
| 4 | 200 | 15 | 5 | 0.68 | - ํ์ง ๊ฒ์ฆ
→ ๋ค์์ฑ: 0.678 (๊ธฐ์ค 0.7์ 0.022 ๋ฏธ๋ฌ)
→ ๋ ธ์ด์ฆ ๋น์จ: 23.6%
- ํ๊ฐ ์ ์ ๊ณต์
- ์ต์ข
์ฑํ ํ๋ผ๋ฏธํฐ
- ํ ํฝ-์์ฑ ๋งคํ ๊ฒฐ๊ณผ
- | ๋ธ๋๋ | 1์ ์์ฑ | 2์ ์์ฑ |
-----------------------------------------------
| ํ ๋ผ | ์ฌ์ด์ฆ(44.2%) | ์์ฌ(22.8%) |
| ์ ์๋ฏน์ค | ๊ธฐ๋ฅ์ฑ(33.9%) | ์์ฌ(25.3%) |
| ์๋ค๋ฅด | ์ฌ์ด์ฆ(55.6%) | ๊ธฐ๋ฅ์ฑ(27.2%) |
| ๋ฃฐ๋ฃจ๋ ๋ชฌ | ๊ธฐ๋ฅ์ฑ(46.7%) | - | - ์์ ์ฑ ๊ฒ์ฆ
- ๊ท ๋ฑ ์ํ(4.4๋ง) vs ๋น๋ก ์ํ(22๋ง): 1์ ์์ฑ ๋์ฒด๋ก ์ ์ง
- 22๋ง ํ์ต vs 110๋ง ์ ์ transform: ํ๊ท ์ฐจ์ด 1.86%p, ์ต๋ 9.1%p
- | ๋ธ๋๋ | 1์ ์์ฑ | 2์ ์์ฑ |
- ๋ธ๋๋๋ณ ํน์ง ์์ฝ
- ํ ๋ผ: "์์ฆ/์๋ง/์ญ์ค" 37.8% → ์ ๋ฐ ์นดํ ๊ณ ๋ฆฌ์ ๋ฆฌ๋ทฐ ์ง์ค, ์๋ฅ ํ์ฅ ํ์ ์๊ทธ๋
- ์๋ค๋ฅด: ์ฌ์ด์ฆ/ํ 50% ์ด์ → ๋ ๊น ์ค ํ์ด ๋ธ๋๋ ์ ์ฒด์ฑ๊ณผ ์ง๊ฒฐ
- ์ ์๋ฏน์ค: ์ด๋/๋ฌ๋ + ์ฐฉ์ฉ๊ฐ ๊ท ๋ฑ ๋ถํฌ → ํผํฌ๋จผ์ค ๋ธ๋๋ ์ด๋ฏธ์ง
- ๋ฃฐ๋ฃจ๋ ๋ชฌ: ๋ถ๋๋ฌ์ด ์์ฌ + ์ด๋ ๊ธฐ๋ฅ์ฑ → ํ๋ฆฌ๋ฏธ์ ๊ธฐ๋ฅ์ฑ ๋ธ๋๋
- ๋ฐ์ดํฐ ๊ฐ์ ๋ฐ ํ์ดํ๋ผ์ธ
- ABSA(Aspect-Based Sentiment Analysis)
: ๋ฆฌ๋ทฐ์์ ํน์ ์์ฑ(Aspect)์ ๋ํ ๊ฐ์ฑ(Sentiment)์ ๋ถ์ํ๋ ๊ธฐ๋ฒ- ๋ถ์ํ๋ ํญ๋ชฉ 8๊ฐ์ง
→ BERTopic์์ ์ ์ํ 5๊ฐ ์์ฑ์ ์ถ๊ฐ ํญ๋ชฉ์ ๋ํจ.
- ์ฌ์ด์ฆ/ํ: ์ท์ ํฌ๊ธฐ, ํ๊ฐ
- ์์ฌ: ์๋จ ์ง๊ฐ, ์ด๊ฐ
- ๊ธฐ๋ฅ์ฑ: ์ด๋ ์ฑ๋ฅ, ํต๊ธฐ์ฑ, ์ฟจ๋ง ๋ฑ
- ๋์์ธ: ์์, ์คํ์ผ
- ๊ฐ๊ฒฉ: ๊ฐ์ฑ๋น, ๋น์ฉ
- ํ์ง: ๋ด๊ตฌ์ฑ, ๋ถ๋, ๋ณดํ ๋ฑ
- ์ฐฉ์ฉ๊ฐ: ์ ์์ ๋ ํธ์ํจ
- ๋ธ๋๋: ๋ธ๋๋ ์ด๋ฏธ์ง, ์ถฉ์ฑ๋
- ๋ถ์์ AI(LLM) ์ฌ์ฉ ์ด์ ?
→ ์ ํต์ ์ธ ๊ฐ์ฑ ๋ถ์์ ์ฌ์ ์ ์๋ ํค์๋ ๋งค์นญ ๋ฐฉ์์ด๋ผ ๋ฌธ๋งฅ์ ์ดํด ๋ชป ํจ.
→ LLM(๋ํ ์ธ์ด ๋ชจ๋ธ)์ ๋ฌธ๋งฅ์ ์ดํดํ๊ธฐ ๋๋ฌธ์ ๋ ์ ํํ ์์ฑ๋ณ ๊ฐ์ฑ ์ถ์ถ์ด ๊ฐ๋ฅ. - ๋จ๊ณ๋ณ ์งํ์ฌํญ
- ๋ฐ์ดํฐ ์์ง ๋ฐ ์ค๋น
→ AI ๋ชจ๋ธ ํ์ต ์ ๊ณจ๋ ์ (์ ๋ต ๋ฐ์ดํฐ) 1,000๊ฑด์ ๊ตฌ์ถ.- 4๊ฐ ๋ธ๋๋ ๋ฆฌ๋ทฐ ์์ง ๋ฐ ์ ์ฒ๋ฆฌ ์๋ฃ
- ๋ธ๋๋ ๊ท ํ: ์ ์๋ฏน์ค/์๋ค๋ฅด/FILA/๋ฃฐ๋ฃจ๋ ๋ชฌ ๊ฐ 250๊ฑด
- ๋ณ์ ํธํฅ ๋ณด์ : 1~3์ (๋ถ์ ) 50%, 4~5์ (๊ธ์ ) 50%๋ก ๋ง์ถค
- ๋ฆฌ๋ทฐ ๊ธธ์ด: 20์ ๋ฏธ๋ง ์ ์ธ, ํ๊ท 73์
- ์นดํ ๊ณ ๋ฆฌ ๋ถํฌ: ํ์(233๊ฑด) > ์ ๋ฐ(216๊ฑด) > ์์(175๊ฑด) > ์ธํธ์ํ(141๊ฑด)
- ๋ผ๋ฒจ๋ง ํ์ง ๊ฒ์ฆ [Cohen's Kappa(κ)]
: ๋ ์ฌ๋์ด ๊ฐ์ ๋ฆฌ๋ทฐ๋ฅผ ๋ ๋ฆฝ์ ์ผ๋ก ๋ถ๋ฅํ์ ๋, ๊ณจ๋ ์ ์ ๋ผ๋ฒจ๋ง ์ผ๊ด์ฑ์ ์์นํํ ๊ฒ.
- ํ๋จ ๊ธฐ์ค
0.0: ์์ ๋ฌด์์
0.65 ์ด์: "๋ฏฟ์ ์ ์๋ค" ๊ธฐ์ค
1.0: ์์ ์ผ์น - 3์ฐจ๋ก์ ๋ผ๋ฒจ๋ง ๊ฐ์ ์์
๊ฑฐ์น๋ฉฐ ํต๊ณผ ๊ธฐ์ค ๋๋ฌ.
→ IAA κ 0.95, 86.1% (IAA: ์์ ์ ๊ฐ ์ผ์น๋)
| ์์ฑ | κ | ํด์ | ๊ฑด์ |
-------------------------------------------------------
| ํ/์ฌ์ด์ฆ | 0.7407 | Substantial | 48๊ฑด |
| ์์ฌ/๋ด๊ตฌ์ฑ | 0.5965 | Moderate | 35๊ฑด |
| ๊ธฐ๋ฅ์ฑ | 0.6573 | Moderate | 44๊ฑด |
| ๋์์ธ | 0.4569 | Moderate | 42๊ฑด |
| ๋ธ๋๋/ํค๋ฆฌํฐ์ง | 0.4587 | Moderate | 33๊ฑด |
| ๊ฐ๊ฒฉ/๊ฐ์น | 0.3043 | Fair | 8๊ฑด |
| Macro ํ๊ท | 0.5580 | Moderate | - |
- ํ๋จ ๊ธฐ์ค
- Few-shot ๊ตฌ์ฑ ๋ฐ ๊ณจ๋ ์
๋ถํ (๊ณจ๋ ์
1,000๊ฑด์ ๋ ๊ฐ์ง ์ฉ๋๋ก ๋ถํ )
- Few-shot์ฉ 27๊ฑด: LLM ํ๋กฌํํธ ์์๋ก ์ฌ์ฉ
→ LLM์๊ฒ ์ ๋ต ์์๋ฅผ ๋ฏธ๋ฆฌ ๋ณด์ฌ์ฃผ์ด, LLM์ด ํ๋จ ๊ธฐ์ค์ ๋ ์ ์ดํดํ๋๋ก ํ๋ ๊ฒ.
→ Few-shot์ผ๋ก ์ด 27๊ฑด์ ๊ฒ์ฆ์ ์๋ ํฌํจํ๋ฉด ๋ฐ์ดํฐ ๋์(data leakage)๊ฐ ๋ฐ์. - ๊ฒ์ฆ์ 973๊ฑด: ๋ชจ๋ธ ์ฑ๋ฅ ์ธก์ ์ฉ (์ ๋ต ๋ชจ๋ฅด๋ ์ํ๋ก ์์ธก)
- Few-shot์ฉ 27๊ฑด: LLM ํ๋กฌํํธ ์์๋ก ์ฌ์ฉ
- Gate 2: ๋ชจ๋ธ ์ฑ๋ฅ ๊ฒ์ฆ (Macro F1)
: 973๊ฑด์ ๊ฒ์ฆ ๋ฐ์ดํฐ๋ก AI ๋ชจ๋ธ์ ์ ํ๋๋ฅผ ์ธก์
→ ๋ชฉํ: Macro F1 ≥ 0.70 (100์ ๋ง์ ์ 70์ ์ด์)
→ ํ๋กฌํํธ(AIํํ ์ฃผ๋ ์ง์๋ฌธ)๋ฅผ ๊ณ์ ์์
- v9 ์ต์ข
์์ฑ๋ณ F1 ์ ์
| ์์ฑ | F1 |
---------------------------
| ํ/์ฌ์ด์ฆ | 0.6107 |
| ์์ฌ/๋ด๊ตฌ์ฑ | 0.7831 |
| ๊ธฐ๋ฅ์ฑ | 0.7322 |
| ๋์์ธ | 0.7432 |
| ๋ธ๋๋/ํค๋ฆฌํฐ์ง | 0.6019 |
| ๊ฐ๊ฒฉ/๊ฐ์น | 0.7478 |
| Macro ํ๊ท | 0.7032 |
- v9 ์ต์ข
์์ฑ๋ณ F1 ์ ์
- v9 ๋ชจ๋ธ๋ก ๋ถ์ ์งํ
- ์ ์ฒด 117๋ง ๊ฑด์ ๋ํ์ฌ v9 ABSA ์ ์ฉํ์ฌ ๋ถ์.
- ์ดํ ๊ฒฐ๊ณผ๋ฅผ ํ์ธํ๊ธฐ ์ํด ๋ธ๋๋๋ณ ๋น์จ ๋์ผํ๊ฒ ์ถ์ถํ์ฌ ๊ฒฐ๊ณผ ๋น๊ต.
→ ๋ธ๋๋๋ณ ๋ถ์ ๋ฆฌ๋ทฐ ์ฝ 274๊ฑด, ๊ธ์ ๋ฆฌ๋ทฐ ์ฝ 2,700๊ฑด, ์ด 3,000๊ฑด ์ถ์ถ.
→ ํ ๋ผ, ๋ฃฐ๋ฃจ๋ ๋ชฌ์ ๋ฆฌ๋ทฐ ๊ฐ์๊ฐ ์ ์ด์ ๊ทธ๋๋ก ์ฌ์ฉ, ๋๋จธ์ง ๋ธ๋๋ ์ํ ์ถ์ถ ์ ๋ ๋ธ๋๋์ ๋ฆฌ๋ทฐ ๊ฐ์์ ๋น์ทํ๊ฒ ์ถ์ถํ์ฌ ํธํฅ๋์ง ์๋๋ก ํจ.- FILA: ๊ธ์ ๋ฆฌ๋ทฐ์์ ๋์์ธ(42%), ๋ธ๋๋(41%) ์ธ๊ธ์ด ๋ง๊ณ , ๋ถ์ ์์๋ ๋ธ๋๋(41%) ์ธ๊ธ์ด ๋์. ๋ธ๋๋ ์ด๋ฏธ์ง์ ๋ํ ๋ฐ์์ด ๊ทน๋ช ํ๊ฒ ๊ฐ๋ฆฌ๋ ๊ตฌ์กฐ
- ๋ฃฐ๋ฃจ๋ ๋ชฌ: ๊ธ์ ์์ ๋ธ๋๋(51%) ์ธ๊ธ์ด ์๋์ ์ด๊ณ , ๋ถ์ ์์๋ ์์ฌ(43%)๊ฐ ๊ฐ์ฅ ๋์. ํ๋ฆฌ๋ฏธ์ ๋ธ๋๋์ธ ๋งํผ ์์ฌ ํ์ง์ ๋ํ ๊ธฐ๋์น๊ฐ ๋๋ค๋ ์ ํธ.
- ์๋ค๋ฅด/์ ์๋ฏน์ค: ๋ถ์ ์์ ๋ธ๋๋ ์ธ๊ธ(31~32%)์ด ๋์๋ฐ, ์ด๋ ์ฌ๊ตฌ๋งค ์์ฌ ์ฒ ํ๋ ์ค๋ง๊ฐ ํํ์ด ๋ง๋ค๋ ์๋ฏธ.
- ๋ฐ์ดํฐ ์์ง ๋ฐ ์ค๋น
- ๋ถ์ํ๋ ํญ๋ชฉ 8๊ฐ์ง

- <FILA ์ ์ฌ๋ ์ ์์ฅ ์ง์
์ ๋ต ๋์๋ณด๋> ๊ตฌ์ถ [Streamlit]
- ํ์ด์ง ์ค๋ช
- Main
- ์ ์ฒด ์์ฅ ์์ฝ(์ ์ฒด ๋ฆฌ๋ทฐ ์, ๋ฐ์ดํฐ ๊ฐ๊ฐ, ํ ๋ผ ๋ฆฌ๋ทฐ ๋น์ค, ๋ธ๋๋๋ณ ๋งค์ถ ํํฉ ๋ฑ)
- ๋ธ๋๋๋ณ ๊ธฐ์ดํต๊ณ ์๋ฃ(์ฐ๋๋ณ ๋งค์ถ์ก, ๋ฆฌ๋ทฐ ์ถ์ด, ์นดํ ๊ณ ๋ฆฌ๋ณ ๋ฆฌ๋ทฐ ๋ถํฌ, ๋ฆฌ๋ทฐ ์ฃผ์ ํค์๋(Kiwi ํํ์ ๋ถ์) ๋ฑ)
- ์ํ ๋ฐ ๊ณ ๊ฐ ์ ๋ต
- ์ ํ ํญ๋ชฉ์ ๋ฐ๋ฅธ ๊ณ ๊ฐ ๋ง์กฑ๋ ๋ถ์(์ฒดํ๋ณ ๋ง์กฑ๋, SKU ๋ณต์ก๋์ ๋ฐ๋ฅธ ๊ณ ๊ฐ ๋ฐ์ ๋ฑ)
- ๊ณ ๊ด์ฌ ๊ณ ๊ฐ ์ธ๊ฒ์ด์ง๋จผํธ(ํฌํ ๋ฆฌ๋ทฐ ๋น์จ(has_image), '๋์์ด ๋ผ์' ์(helpful_count) ๋ฑ ๊ณ ๊ฐ ๊ด์ฌ ๊ด๋ จ ์ปฌ๋ผ ๋ถ์์ผ๋ก ๋ธ๋๋๋ณ ํฌ๋ค ํ๋ ฅ ๋ฐ UGC(User Generated Conten)์ง ๋น๊ต)
- ํ ์ธ์จ๋ณ ํ์ ๋ถํฌ
- BERTopic
- ๋ถ์ ์ค์ฝํ: ๋ถ์์ ์ฌ์ฉํ ๋ฐ์ดํฐ ๋ฒ์(scope)๋ฅผ ์ค์ ํ์ฌ ๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ํ์ธํ ์ ์๋๋ก ํจ.
- ์์ฑ ๊ทธ๋ฃน๋ณ ํ ํฝ ๋ถํฌ: ๋ฆฌ๋ทฐ๊ฐ ์ด๋ ์์ฑ์ ๋ง์ด ์๋์ง ํ์ธํ์ฌ ๊ณ ๊ฐ์ ์ฃผ์ ๊ด์ฌ ์์ฑ์ ํ์
ํจ.
→ ๋ง๋๊ทธ๋ํ, ํธ๋ฆฌ๋งต, ๋๋๊ทธ๋ํ, TopN ์๊ฐํ๋ก ๋ค์ํ๊ฒ ํ์ธ ๊ฐ๋ฅํ๋๋ก ํจ. - ํ ํฝ ์ ํ + ํ์ ํํฐ ์ค์ ํ์ฌ, ํด๋น ํํฐ์ ์ด๋ค ๋ฆฌ๋ทฐ๊ฐ ์๋์ง ์ค์ ๋ฐ์ดํฐ ํ์ธ ๊ฐ๋ฅํ๋๋ก ํจ.
- ABSA
- ๋งจ ์๋จ์ ์งํ ์๋ฏธ๋ฅผ ํ์ ํ ์ ์๋๋ก ์ค๋ช ๋ ์ถ๊ฐ. ๊ฐ๋ ์ฑ ๋์.
- ๊ฐ์ฑ์ ์ ๊ณ์ฐ (+0.5์ : ๊ฐํ ๊ธ์ ์ฐ์ธ ~ -0.5: ๊ฐํ ๋ถ์ ์ฐ์ธ)ํ์ฌ '๋ธ๋๋๋ณ ์์ฑ ๊ฐ์ฑ ์ ์'๋ฅผ ํํธ๋งต์ผ๋ก ์๊ฐํ.
→ ๋ธ๋๋๋ณ ์ด๋ค ์์ฑ์์ ๊ธ๋ถ์ ๋น์จ์ด ๋๊ฒ ๋์ค๋์ง ํ๋์ ํ์ธ ๊ฐ๋ฅํจ. - ์๊ณ์ด ๋ถ์ ํธ๋ ๋ ๋ฑ ๋ค์ํ ์๊ฐํ.
- ์ ๋ต ํฌ์ง์
๋
- ํ ๋ผ ๊ถ์ฅ ํฌ์ง์
๋ ์๋ฎฌ๋ ์ดํฐ
- ์ถ์ค์ : x์ถ: '๊ธฐ๋ฅ์ฑ' / y์ถ: ํค๋ฆฌํฐ์ง
→ ABSA ๋ถ์ ๊ฒฐ๊ณผ 'ํ ๋ผ'์ ์์ฑ ์ค 'ํค๋ฆฌํฐ์ง, ๋ธ๋๋'์ ๋ํ ์ ์๊ฐ ๊ฐ์ฅ ๋์๊ณ '๊ธฐ๋ฅ์ฑ'์ ๋ํ ์ ์๊ฐ ๋ฎ์์. ํ ๋ผ๋ง์ ํค๋ฆฌํฐ์ง๋ฅผ ์ ์งํ๋ฉด์ ๊ธฐ๋ฅ์ฑ ํผํฌ๋จผ์ค๋ฅผ ๋์ด์ฌ๋ฆฐ๋ค๋ฉด ๊ฒฝ์์ฌ๊ฐ ์ ์ ํ์ง ๋ชปํ White Space๋ฅผ ๋ฐ๊ฒฌํ ์ ์์ ๊ฒ์ผ๋ก ๊ธฐ๋ํจ. - FILA ์ ๋ฐ → ์๋ฅ ์ฐ๊ฒฐ ๋ถ์ (PMI ๊ธฐ๋ฐ ํค์๋ ๋คํธ์ํฌ)
→ FILA๋ ์ ๋ฐ ๋ธ๋๋ ์ด๋ฏธ์ง๊ฐ ๊ฐํ๋ฐ, ์๋ฅ๋ก ํ์ฅํ๋ ค๋ฉด ์ด๋ค ํค์๋๊ฐ ์ฐ๊ฒฐ๊ณ ๋ฆฌ๊ฐ ๋ ์ ์๋์ง ์ฐพ๋ ๋ถ์
→ FILA ํ ํฐ ํ์์ ์ ๋ฐ ์๋ ๋์ ๋น๋ 10,946๊ฑด vs ์๋ฅ ์๋ ๋์ ๋น๋ 1,946๊ฑด = 5.6 : 1
์ ๋ฐ์ ๋ํ ์ธ๊ธ๋์ด ์ฝ 5๋ฐฐ ์ด์ ๋ง์.
(ํ ํฐ ํ = ํํ์ ๋ถ์ > tokenizing ๊ณผ์ ์์ ์ถ์ถ๋ ๋จ์ด ๋ชฉ๋ก)- PMI(์ ๋ณ ์ํธ์ ๋ณด๋) ๋ ๋ ๋จ์ด๊ฐ ์ผ๋ง๋ ์์ฃผ ๊ฐ์ด ๋ฑ์ฅํ๋์ง๋ฅผ ์ธก์ ํ๋ ์งํ
(ex. '์ข๋ค'๋ ์ด๋ ๋ฆฌ๋ทฐ์์๋ ๋์ฌ ์ ์์ผ๋ฏ๋ก ๋จ๋ ์ถํ ๋น๋๋ ๋ฌด์๋ฏธํ์ง๋ง, "์ด๋ํ + ์ฟ ์ " ์ด ์์ฃผ ํจ๊ป ๋์จ๋ค๋ฉด ์๋ฏธ ์๋ ์ฐ๊ด์ฑ์ด ์๋ค๊ณ ๋ณผ ์ ์์.) - ์ธ์ฌ์ดํธ
์ ๋ฐ์์ ์์ ๊ฐ์ : ํธํ๋ค, ์์๋ค, ๋์์ธ, ์๋ง๋ค
↓
์ด ํค์๋๋ค์ด ์๋ฅ์์๋ ํตํ ์ ์๋ ์ฐ๊ฒฐ๊ณ ๋ฆฌ
↓
๋ง์ผํ ๋ฉ์์ง, ์ฝ๋ผ๋ณด, PDP ๋์์ธ์์
์ ๋ฐ ํค์๋ ์์ฐ์ ์๋ฅ๋ก ์ฐ๊ฒฐํ๋ ๊ฒ ํต์ฌ ๊ณผ์
- PMI(์ ๋ณ ์ํธ์ ๋ณด๋) ๋ ๋ ๋จ์ด๊ฐ ์ผ๋ง๋ ์์ฃผ ๊ฐ์ด ๋ฑ์ฅํ๋์ง๋ฅผ ์ธก์ ํ๋ ์งํ
- ์ถ์ค์ : x์ถ: '๊ธฐ๋ฅ์ฑ' / y์ถ: ํค๋ฆฌํฐ์ง
- ํ ๋ผ ๊ถ์ฅ ํฌ์ง์
๋ ์๋ฎฌ๋ ์ดํฐ
- ๐ค AI ๊ธฐ๋ฐ ์ค์๊ฐ ํธ๋ ๋ ํตํฉ ์ ๋ต ๋ฆฌํฌํธ
: ๋ด๋ถ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ์ ํฉํธ์ ์ธ๋ถ ์ธ์คํ๊ทธ๋จ ์ค์๊ฐ ํธ๋ ๋๋ฅผ ์ ์ฒด์ ์ผ๋ก ๋น๊ต·๋ถ์
โถ๏ธ 17๋ง ๊ฑด์ ๋ฐ์ดํฐ ํ์ต์ ๋ง์น AI๊ฐ ํ ๋ผ์ ๋ค์ ์คํ ์ ์ ์ํด ์ฃผ๋ ๊ฒ
- ๋ด๋ถ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํด '๊ณ ๊ฐ์ ์ง์ง ๋ถ๋ง'์ ํฌ์ฐฉ
- ๋์์ ์ธ์คํ๊ทธ๋จ ๊ฐ์ ์ธ๋ถ ์์ ํธ๋ ๋๋ฅผ ํฌ๋ก์ค์ฒดํฌ
- AI๊ฐ ์ด ๋๋ฐ์ดํฐ๋ฅผ ํตํฉํด์ ๋ง์ผํ ํน์ ์ ํ ๊ธฐํํ์ด ์ฆ์ ์คํํด์ผ ํ๋ ์ก์ ํ๋์ ๋์ถํจ.
- Main
- ํ์ด์ง ์ค๋ช
- ํตํฉ ์ธ์ฌ์ดํธ ๋์ถ
- ํ ๋ผ๋ 'ํ์ง ์ ๋ขฐ + ์ ๋ฐ ์นดํ ๊ณ ๋ฆฌ์์ ์คํฌ์ธ ํค๋ฆฌํฐ์ง'๋ฅผ ์ด๋ฏธ ๋ณด์ ํ ๋ธ๋๋
- ์ ๊ฐ์ ์ '๊ธฐ๋ฅ์ฑ'์ผ๋ก ์ฐ๊ฒฐํ๋ ์๊ฐ, ํ ๋ผ๋ ํ์ดํธ์คํ์ด์ค๋ฅผ ์ฐ์ ์ ์ ํ์ฌ ๋ ๋ณด์ ํฌ์ง์ ์ ๊ฐ์ง ์ ์์.
- '๊ฒ์ฆ๋ ๋์์ธ ์์ ํผํฌ๋จผ์ค๋ฅผ ์น์ ์ค๊ฐ ๊ฐ๊ฒฉ๋ ๋ธ๋๋' ๊ณต๋ต
- ํ์
ํ ์ก์
ํ๋
- ์ํ๊ธฐํํ: "๋ณดํ ์ ํญ ์์ฌ์ ์ฒดํ๋ณ ํ ๋ผ์ธ ๊ฐํ"
- MDํ: "์ ๋ฐ๊ณผ ์ฐ๊ณํ ์ ์ฌ๋ ์ ๋ฃฉ ๊ตฌ์ฑ"
- ๋ธ๋๋/๋ง์ผํ ํ: "๊ฐ์ฑ ์ค์ฌ์์ ๊ธฐ๋ฅ์ฑ ์ฆ๋ช ์ค์ฌ์ผ๋ก ์ปค๋ฎค๋์ผ์ด์ ์ ํ"