← ํ๋ก์ ํธ ๋ชฉ๋ก์ผ๋ก
LDA ํ ํฝ ๋ชจ๋ธ๋ง ์ ์ฐจ
ํ ํฝ ์์ ๋ฐ๋ฅธ Coherence Score
iterations์ ๋ฐ๋ฅธ Coherence Score
passes์ ๋ฐ๋ฅธ Coherence Score
eta์ ๋ฐ๋ฅธ Coherence Score
ํ ํฝ ํค์๋ ๋คํธ์ํฌ ๊ทธ๋ํ
TF ๊ธฐ๋ฐ ์๋ํด๋ผ์ฐ๋
TF-IDF ๊ธฐ๋ฐ ์๋ํด๋ผ์ฐ๋
๐ ๋จ๋ ์ 1์ ์ ๋ ผ๋ฌธ ๊ฒ์ฌ (ํ๊ตญ๋ ธ์ธ์ธ๋ ฅ๊ฐ๋ฐ์ ์ฐ๊ตฌ์กฐ์ฌ๋ถ ๊ณต๋์ฐ๊ตฌ)
ํ ํฝ ๋ชจ๋ธ๋ง์ ํ์ฉํ ๋ ธ์ธ ์ผ์๋ฆฌ ์ ์ฑ ์ธ๋ก ๋ด๋ก ๋ถ์
2024/02/14 โ 2025/03/12
Step1. ๋ฐ์ดํฐ ์์ง
- ๋ค์ด๋ฒ ๋ด์ค ํ๋ซํผ ํ์ฉ โ ๋จ์ผ ํค์๋๋ก โ๋ ธ์ธ์ผ์๋ฆฌโ ์ ๋ ฅํ์ฌ ๊ฒ์
- Web Crawling ๊ธฐ๋ฒ ํ์ฉ (Selenium, requests, BeautifulSoup ๋ฑ)
- ๊ธฐ์ฌ ๋งํฌ, ์ ๋ชฉ, ๋ณธ๋ฌธ ๋ด์ฉ, ๊ธฐ์ ์ด๋ฆ, ์์ฑ์ผ, ์ธ๋ก ์ฌ ์ ๋ณด ์ถ์ถ
Step2. ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ
- ๊ฒฐ์ธก์น ์ฒ๋ฆฌ, ์๋ฃํ ๋ณํ, ์ค๋ณต ์ฒ๋ฆฌ ๋ฑ
- ์์ฐ์ด ์ฒ๋ฆฌ: ๋ถ์ฉ์ด ์ ๊ฑฐ, KoNLPy ๊ธฐ๋ฐ ํํ์ ๋ถ์
Step3. LDA ํ ํฝ ๋ชจ๋ธ๋ง
- LDA(Latent Dirichlet Allocation)๋ฅผ ํตํด ๋ฌธ์์ ๋จ์ด ์ฌ์ฉ ํจํด ๋ถ์ (gensim ํ์ฉ) โ ์จ๊ฒจ์ง ํ ํฝ ์๋ณ ๋ฐ ํ ํฝ๋ณ ํต์ฌ ํค์๋ ์ถ์ถ
- Coherence score(์ผ๊ด์ฑ ์ ์)๋ฅผ ๋ชจ๋ธ ํ๊ฐ ์งํ๋ก ์ ์ ํ๊ณ ๋ชจ๋ธ ์ต์ ํ ์งํ
- tuning ๋์: num_topics, iterations, passes, eta ๋ฑ
Step4. ์๊ฐํ | ๋คํธ์ํฌ ๋ถ์, ๋น๋ ๋ถ์
- ํ ํฝ๋ณ๋ก ์ถ์ถ๋ ํค์๋์ ๊ฐ์ค์น๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋คํธ์ํฌ ๊ทธ๋ํ ๊ตฌ์ถ (networkx, matplotlib, Kamada-Kawai ๋ฑ ํ์ฉ)
- ๋น๋ ๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์๋ ํด๋ผ์ฐ๋๋ก ์๊ฐํ, ๋จ์ด๋ค์ TF ๋ฐ TF-IDF ๊ฐ ๊ณ์ฐ โ ์ค์๋๊ฐ ๋์ ์์ ๋จ์ด ์ถ์ถ
Step5. ํ ํฝ๋ณ ๋ด์ฉ ๋ถ์
LDA ๋ชจ๋ธ์ ํตํด ๋์ถ๋ ๊ฐ ํ ํฝ์ ํค์๋๋ฅผ ๊ฐ์ค์น ์์ผ๋ก ์ ๋ฆฌ โ ๊ฐ ํ ํฝ์ ์ฃผ์ ์ฃผ์ ์ ๋ ผ์ ํ์
| ํ ํฝ | ์ฃผ์ | ๊ฐ์ค์น ์ ์ค์ ํค์๋ |
|---|---|---|
| 1 | ์ด๊ณ ๋ น ์ฌํ์ ์ ์ฑ ๋์์ผ๋ก์ ๋ ธ์ธ ์ผ์๋ฆฌ | ์ธ๊ตฌ, ํ์, ๋ฌธ์ , ์ธ๋, ๊ณ ๋ นํ, ์ฐ๊ธ, ์ ์ฑ , ์๋, ๋น๊ณค, ๋ ธ๋ |
| 2 | ๊ณ ์ฉ ์ ์ฑ ์ผ๋ก์ ๋ ธ์ธ ์ผ์๋ฆฌ | ๊ณ ์ฉ, ์ทจ์ ์, ์ฆ๊ฐ, ๊ฐ์, ๊ฒฝ์ , ์ฝ๋ก๋, ํต๊ณ์ฒญ, ํต๊ณ, ์ง๋ํด |
| 3 | ์ ์น ๊ณต์ฝ ๋ฐ ์์ ์ผ๋ก์ ๋ ธ์ธ ์ผ์๋ฆฌ | ๋ํต๋ น, ๊ตญ๊ฐ, ์๊ฐ, ์ ๊ฑฐ, ์ ์น, ํ๋ณด |
| 4 | ์์ฐ์ ๊ด๋ จ ์์ ํ | ๊ตญํ, ์ฌ์ผ, ๊ตญ๋ฏผ, ์ญ๊ฐ, ๋ํ, ์์ฐ์, ๋ฏผ์, ์๋ด |
| 5 | ๋น๊ณค ์๋ฐฉ ์ ์ฑ ์ผ๋ก์ ๋ ธ์ธ ์ผ์๋ฆฌ | ํ์ง, ์กฐ์ฌ, ์ํ, ํ๋ฃจ, ์์ง, ํ๊ท , ์์ฅ |
| 6 | ๊ธ์ฌ ์ ์ ์ฑ์ ๊ดํ ๋ ผ์ | ์ ๋ถ, ์ฌํด, ์ง๊ธ, ๊ธ์ฌ, ๋ด๋ , ์ฌ์ , ์ทจ์ฝ, ๋์ |
| 7 | ESG(ํ๊ฒฝ, ์ฌํ, ์ง๋ฐฐ๊ตฌ์กฐ) | ์ด์, ์ผํฐ, ์ฐฝ์ถ, ํ์ฉ, ์ฐธ์ฌ, ํ๊ฒฝ, ์ ๋ฌด, ์๋น์ค, ๋ค์ |
| 8 | ๋ ธ์ธ ์ผ์๋ฆฌ ํ์ฅ๊ณผ ์ํ๊ธฐ๊ด | ๊ธฐ๊ด, ์๋์ดํด๋ฝ, ์ฐธ์ฌ์, ๊ณต์ต, ์ง์์ฌ์ , ์ํ |
| 9 | ์ง์ญ ๋ณต์ง ์ ์ฑ ์ผ๋ก์ ๋ ธ์ธ ์ผ์๋ฆฌ | ์ง์ญ, ์ถ์ง, ๋ณต์ง, ์กฐ์ฑ, ์์ฐ, ๊ณํ, ๊ณต๊ณต, ๋ถ์ผ, ๊ตฌ์ถ, ํ๋ |
- ํค์๋ ๊ฐ์ ์๋ฏธ์ ์ฐ๊ด์ฑ๊ณผ ๋งฅ๋ฝ์ ์ข ํฉ์ ์ผ๋ก ๊ณ ๋ ค โ ๊ฐ ํ ํฝ์ ์ฃผ์ ํด์ ๋ฐ ์ฃผ์ ๋ช ๋ถ์ฌ
- ํ ํฝ๋ณ ๋ํ ๊ธฐ์ฌ๋ฅผ ์ ์ ํ์ฌ ๋ด์ฉ ๋ถ์
โป ๋จ๋ ์ 1์ ์ ๋ ผ๋ฌธ ๊ฒ์ฌ๋ก ์ด์ด์ง ์ฐ๊ตฌ (ํ๊ตญ๋ ธ์ธ์ธ๋ ฅ๊ฐ๋ฐ์ ์ฐ๊ตฌ์กฐ์ฌ๋ถ ๊ณต๋์ฐ๊ตฌ)