← ํ”„๋กœ์ ํŠธ ๋ชฉ๋ก์œผ๋กœ

๐Ÿ… ๋‹จ๋… ์ œ1์ €์ž ๋…ผ๋ฌธ ๊ฒŒ์žฌ (ํ•œ๊ตญ๋…ธ์ธ์ธ๋ ฅ๊ฐœ๋ฐœ์› ์—ฐ๊ตฌ์กฐ์‚ฌ๋ถ€ ๊ณต๋™์—ฐ๊ตฌ)

ํ† ํ”ฝ ๋ชจ๋ธ๋ง์„ ํ™œ์šฉํ•œ ๋…ธ์ธ ์ผ์ž๋ฆฌ ์ •์ฑ… ์–ธ๋ก  ๋‹ด๋ก  ๋ถ„์„

2024/02/14 โ†’ 2025/03/12

์‚ฐ์—…/๋ถ„์•ผ
์‚ฌํšŒ์ •์ฑ…
์ง๋ฌด/๊ธฐ์ˆ 
PythonR๋น„์ •ํ˜•ํ…์ŠคํŠธ๋งˆ์ด๋‹ํ† ํ”ฝ๋ชจ๋ธ๋ง์ž์—ฐ์–ด์ฒ˜๋ฆฌ์›นํฌ๋กค๋ง
ํ† ํ”ฝ ๋ชจ๋ธ๋ง์„ ํ™œ์šฉํ•œ ๋…ธ์ธ ์ผ์ž๋ฆฌ ์ •์ฑ… ์–ธ๋ก  ๋‹ด๋ก  ๋ถ„์„ ์ปค๋ฒ„ ์ด๋ฏธ์ง€

Step1. ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘

  • ๋„ค์ด๋ฒ„ ๋‰ด์Šค ํ”Œ๋žซํผ ํ™œ์šฉ โ†’ ๋‹จ์ผ ํ‚ค์›Œ๋“œ๋กœ โ€˜๋…ธ์ธ์ผ์ž๋ฆฌโ€™ ์ž…๋ ฅํ•˜์—ฌ ๊ฒ€์ƒ‰
  • Web Crawling ๊ธฐ๋ฒ• ํ™œ์šฉ (Selenium, requests, BeautifulSoup ๋“ฑ)
  • ๊ธฐ์‚ฌ ๋งํฌ, ์ œ๋ชฉ, ๋ณธ๋ฌธ ๋‚ด์šฉ, ๊ธฐ์ž ์ด๋ฆ„, ์ž‘์„ฑ์ผ, ์–ธ๋ก ์‚ฌ ์ •๋ณด ์ถ”์ถœ

Step2. ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ

  • ๊ฒฐ์ธก์น˜ ์ฒ˜๋ฆฌ, ์ž๋ฃŒํ˜• ๋ณ€ํ™˜, ์ค‘๋ณต ์ฒ˜๋ฆฌ ๋“ฑ
  • ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ: ๋ถˆ์šฉ์–ด ์ œ๊ฑฐ, KoNLPy ๊ธฐ๋ฐ˜ ํ˜•ํƒœ์†Œ ๋ถ„์„

Step3. LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง

LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง ์ ˆ์ฐจ โ€” ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘/์ „์ฒ˜๋ฆฌ, ํ˜•ํƒœ์†Œ ๋ถ„์„, ๋งค๊ฐœ๋ณ€์ˆ˜ ์กฐ์ •, LDA ์ˆ˜ํ–‰, ๊ฒฐ๊ณผ ์‹œ๊ฐํ™”
LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง ์ ˆ์ฐจ
  • LDA(Latent Dirichlet Allocation)๋ฅผ ํ†ตํ•ด ๋ฌธ์„œ์˜ ๋‹จ์–ด ์‚ฌ์šฉ ํŒจํ„ด ๋ถ„์„ (gensim ํ™œ์šฉ) โ†’ ์ˆจ๊ฒจ์ง„ ํ† ํ”ฝ ์‹๋ณ„ ๋ฐ ํ† ํ”ฝ๋ณ„ ํ•ต์‹ฌ ํ‚ค์›Œ๋“œ ์ถ”์ถœ
  • Coherence score(์ผ๊ด€์„ฑ ์ ์ˆ˜)๋ฅผ ๋ชจ๋ธ ํ‰๊ฐ€ ์ง€ํ‘œ๋กœ ์„ ์ •ํ•˜๊ณ  ๋ชจ๋ธ ์ตœ์ ํ™” ์ง„ํ–‰
  • tuning ๋Œ€์ƒ: num_topics, iterations, passes, eta ๋“ฑ
ํ† ํ”ฝ ์ˆ˜(num_topics)์— ๋”ฐ๋ฅธ Coherence Score ๋ณ€ํ™”
ํ† ํ”ฝ ์ˆ˜์— ๋”ฐ๋ฅธ Coherence Score
iterations ๊ฐ’์— ๋”ฐ๋ฅธ Coherence Score ๋ณ€ํ™”
iterations์— ๋”ฐ๋ฅธ Coherence Score
passes ๊ฐ’์— ๋”ฐ๋ฅธ Coherence Score ๋ณ€ํ™”
passes์— ๋”ฐ๋ฅธ Coherence Score
eta ๊ฐ’์— ๋”ฐ๋ฅธ Coherence Score ๋ณ€ํ™”
eta์— ๋”ฐ๋ฅธ Coherence Score

Step4. ์‹œ๊ฐํ™” | ๋„คํŠธ์›Œํฌ ๋ถ„์„, ๋นˆ๋„ ๋ถ„์„

  • ํ† ํ”ฝ๋ณ„๋กœ ์ถ”์ถœ๋œ ํ‚ค์›Œ๋“œ์™€ ๊ฐ€์ค‘์น˜๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๋„คํŠธ์›Œํฌ ๊ทธ๋ž˜ํ”„ ๊ตฌ์ถ• (networkx, matplotlib, Kamada-Kawai ๋“ฑ ํ™œ์šฉ)
ํ† ํ”ฝ 9๊ฐœ ํ‚ค์›Œ๋“œ ๋„คํŠธ์›Œํฌ ๊ทธ๋ž˜ํ”„
ํ† ํ”ฝ ํ‚ค์›Œ๋“œ ๋„คํŠธ์›Œํฌ ๊ทธ๋ž˜ํ”„
  • ๋นˆ๋„ ๋ถ„์„ ๊ฒฐ๊ณผ๋ฅผ ์›Œ๋“œ ํด๋ผ์šฐ๋“œ๋กœ ์‹œ๊ฐํ™”, ๋‹จ์–ด๋“ค์˜ TF ๋ฐ TF-IDF ๊ฐ’ ๊ณ„์‚ฐ โ†’ ์ค‘์š”๋„๊ฐ€ ๋†’์€ ์ƒ์œ„ ๋‹จ์–ด ์ถ”์ถœ
TF ๊ธฐ๋ฐ˜ ์›Œ๋“œํด๋ผ์šฐ๋“œ
TF ๊ธฐ๋ฐ˜ ์›Œ๋“œํด๋ผ์šฐ๋“œ
TF-IDF ๊ธฐ๋ฐ˜ ์›Œ๋“œํด๋ผ์šฐ๋“œ
TF-IDF ๊ธฐ๋ฐ˜ ์›Œ๋“œํด๋ผ์šฐ๋“œ

Step5. ํ† ํ”ฝ๋ณ„ ๋‚ด์šฉ ๋ถ„์„

LDA ๋ชจ๋ธ์„ ํ†ตํ•ด ๋„์ถœ๋œ ๊ฐ ํ† ํ”ฝ์˜ ํ‚ค์›Œ๋“œ๋ฅผ ๊ฐ€์ค‘์น˜ ์ˆœ์œผ๋กœ ์ •๋ฆฌ โ†’ ๊ฐ ํ† ํ”ฝ์˜ ์ฃผ์š” ์ฃผ์ œ์™€ ๋…ผ์  ํŒŒ์•…

ํ† ํ”ฝ ์ฃผ์ œ ๊ฐ€์ค‘์น˜ ์ˆœ ์ค‘์š” ํ‚ค์›Œ๋“œ
1 ์ดˆ๊ณ ๋ น ์‚ฌํšŒ์˜ ์ •์ฑ… ๋Œ€์‘์œผ๋กœ์„œ ๋…ธ์ธ ์ผ์ž๋ฆฌ ์ธ๊ตฌ, ํ•„์š”, ๋ฌธ์ œ, ์„ธ๋Œ€, ๊ณ ๋ นํ™”, ์—ฐ๊ธˆ, ์ •์ฑ…, ์†Œ๋“, ๋นˆ๊ณค, ๋…ธ๋™
2 ๊ณ ์šฉ ์ •์ฑ…์œผ๋กœ์„œ ๋…ธ์ธ ์ผ์ž๋ฆฌ ๊ณ ์šฉ, ์ทจ์—…์ž, ์ฆ๊ฐ€, ๊ฐ์†Œ, ๊ฒฝ์ œ, ์ฝ”๋กœ๋‚˜, ํ†ต๊ณ„์ฒญ, ํ†ต๊ณ„, ์ง€๋‚œํ•ด
3 ์ •์น˜ ๊ณต์•ฝ ๋ฐ ์Ÿ์ ์œผ๋กœ์„œ ๋…ธ์ธ ์ผ์ž๋ฆฌ ๋Œ€ํ†ต๋ น, ๊ตญ๊ฐ€, ์ƒ๊ฐ, ์„ ๊ฑฐ, ์ •์น˜, ํ›„๋ณด
4 ์˜ˆ์‚ฐ์•ˆ ๊ด€๋ จ ์Ÿ์ ํ™” ๊ตญํšŒ, ์—ฌ์•ผ, ๊ตญ๋ฏผ, ์‚ญ๊ฐ, ๋Œ€ํ‘œ, ์˜ˆ์‚ฐ์•ˆ, ๋ฏผ์ƒ, ์›๋‚ด
5 ๋นˆ๊ณค ์˜ˆ๋ฐฉ ์ •์ฑ…์œผ๋กœ์„œ ๋…ธ์ธ ์ผ์ž๋ฆฌ ํ์ง€, ์กฐ์‚ฌ, ์ƒํ™œ, ํ•˜๋ฃจ, ์ˆ˜์ง‘, ํ‰๊ท , ์‹œ์žฅ
6 ๊ธ‰์—ฌ ์ ์ ˆ์„ฑ์— ๊ด€ํ•œ ๋…ผ์˜ ์ •๋ถ€, ์˜ฌํ•ด, ์ง€๊ธ‰, ๊ธ‰์—ฌ, ๋‚ด๋…„, ์žฌ์ •, ์ทจ์•ฝ, ๋Œ€์ƒ
7 ESG(ํ™˜๊ฒฝ, ์‚ฌํšŒ, ์ง€๋ฐฐ๊ตฌ์กฐ) ์šด์˜, ์„ผํ„ฐ, ์ฐฝ์ถœ, ํ™œ์šฉ, ์ฐธ์—ฌ, ํ™˜๊ฒฝ, ์—…๋ฌด, ์„œ๋น„์Šค, ๋‹ค์–‘
8 ๋…ธ์ธ ์ผ์ž๋ฆฌ ํ˜„์žฅ๊ณผ ์ˆ˜ํ–‰๊ธฐ๊ด€ ๊ธฐ๊ด€, ์‹œ๋‹ˆ์–ดํด๋Ÿฝ, ์ฐธ์—ฌ์ž, ๊ณต์ต, ์ง€์›์‚ฌ์—…, ์ˆ˜ํ–‰
9 ์ง€์—ญ ๋ณต์ง€ ์ •์ฑ…์œผ๋กœ์„œ ๋…ธ์ธ ์ผ์ž๋ฆฌ ์ง€์—ญ, ์ถ”์ง„, ๋ณต์ง€, ์กฐ์„ฑ, ์˜ˆ์‚ฐ, ๊ณ„ํš, ๊ณต๊ณต, ๋ถ„์•ผ, ๊ตฌ์ถ•, ํ™•๋Œ€
  • ํ‚ค์›Œ๋“œ ๊ฐ„์˜ ์˜๋ฏธ์  ์—ฐ๊ด€์„ฑ๊ณผ ๋งฅ๋ฝ์„ ์ข…ํ•ฉ์ ์œผ๋กœ ๊ณ ๋ ค โ†’ ๊ฐ ํ† ํ”ฝ์˜ ์ฃผ์ œ ํ•ด์„ ๋ฐ ์ฃผ์ œ ๋ช… ๋ถ€์—ฌ
  • ํ† ํ”ฝ๋ณ„ ๋Œ€ํ‘œ ๊ธฐ์‚ฌ๋ฅผ ์„ ์ •ํ•˜์—ฌ ๋‚ด์šฉ ๋ถ„์„

โ€ป ๋‹จ๋… ์ œ1์ €์ž ๋…ผ๋ฌธ ๊ฒŒ์žฌ๋กœ ์ด์–ด์ง„ ์—ฐ๊ตฌ (ํ•œ๊ตญ๋…ธ์ธ์ธ๋ ฅ๊ฐœ๋ฐœ์› ์—ฐ๊ตฌ์กฐ์‚ฌ๋ถ€ ๊ณต๋™์—ฐ๊ตฌ)