자연어 처리 (KoNLP)¶
- KoNLP : Korean Natural Language Processing 패키지
- 한국어를 분석할 수 있는 총 27개의 함수가 들어있다
- https://wikidocs.net/book/2155
설치 목록 (파이썬 버전에 따라 설치가 다르다)
- JDK (Java SE Downloads)
- JAVA_HOME 설정
- KoNLPy 설치 (Lucy Park님이 개발 https://pinkwink.kr/1025)
- Word Cloud 설치
한글 자연어 처리 기초 - KoNLPy 및 필요 모듈의 설치¶
- 콘다 콘솔에서 설치
- KoNLPy : pip install konlpy
- JPype1 : conda install -c conda-forge jpype1 - console에서 실행
- JPype1는 KoNLPy 0.5.x 버전 설치시 자동 설치됨(0.4.x 버전에서 필요) -> 이후 Jupyter Notebook 재실행 필요
- JDK 설치 : Java JDK로 검색해서 OS에 맞춰 설치
- pip install nltk
- pip install wordcloud
In [1]:
import nltk
In [2]:
import wordcloud
In [3]:
# nltk의 download 메소드 (학습용 데이터셋)
nltk.download()
Out[3]:
NLTK(Natural Language Toolkit) 자연어 처리패키지¶
- 교육용으로 개발된 자연어 처리 및 문서 분석용 파이썬 패키지
- 말뭉치 (corpus) : 자연어 분석 작업을 위해 만든 샘플 문서 집합
- 토큰생성 : 문자열을 토큰(token)단위로 나누는 작업
- 형태소 분석 : 단어로부터 어근, 접두사, 접미사, 품사 등 다양한 언어적 속성을 파악하고 이를 이용하여 형태소를 찾아내거나 처리하는 작업
- 품사 부착 : 품사(POS, part-of-speech)는 낱말을 문법적인 기능이나 형태, 뜻에 따라 구분한 것
꼬꼬마 모듈 사용¶
In [12]:
# 꼬꼬마 모듈
from konlpy.tag import Kkma
In [13]:
kkma = Kkma()
In [14]:
# 문장 분석 : 마침표가 없어도 구분
kkma.sentences('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[14]:
In [15]:
# 명사 분석
kkma.nouns('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[15]:
In [16]:
# 형태소 분석 : 형태소(최소한의 의미 단어)
kkma.pos('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[16]:
한나눔 모듈 사용¶
In [17]:
# 한나눔 사용
from konlpy.tag import Hannanum
In [18]:
hannanum = Hannanum()
In [19]:
# 명사 분석
hannanum.nouns('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[19]:
In [20]:
# 형태소 분석
hannanum.pos('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[20]:
In [22]:
# 형태소 분석 2 (품사 표시 X)
hannanum.morphs('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[22]:
트위터 분석 Okt¶
In [23]:
from konlpy.tag import Okt
# from konlpy.tag import Twitter 구 버전 명령어
# t = Twitter()
In [24]:
t=Okt()
In [25]:
# 명사 분석
t.nouns('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[25]:
In [26]:
# 형태소 분석
t.morphs('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[26]:
In [27]:
# 형태소 분석
t.pos('한국어 분석을 해보겠습니다. 과연 잘 나올지 두근두근')
Out[27]:
워드 클라우드¶
- WordCloud 설치 : pip install wordcloud
- 자주 나타나는 단어를 크게 보여주는 시각화
- https://amueller.github.io/word_cloud/index.html
- wordcloud 모듈 자체가 빈도를 계산하는 기능
In [28]:
# WordCloud
# stopwords 불용어 : 분석에 의미가 없는 단어 토큰 -> 제거 필요
from wordcloud import WordCloud, STOPWORDS
In [29]:
import numpy as np
from PIL import Image
# 이미지 관련 모듈 import
예시) 이상한 나라의 앨리스¶
In [142]:
# 텍스트 데이터 로드
text = open('DataScience_Ing/data/09. alice.txt').read()
# 이미지 데이터 로드
alice_mask = np.array(Image.open('DataScience_Ing/data/09. alice_mask.png'))
In [143]:
# 불용어 카운트하지 않도록 설정 -> 빈도수에 포함되지 않도록 함
stopwords = set(STOPWORDS)
stopwords.add('said') # said는 분석에 불필요해! 제거!
In [144]:
# 그림그리는 모듈 import
import matplotlib.pyplot as plt
In [145]:
# 현재 사용하는 시스템 환경에 대한 모듈
import platform
# 폰트 경로 설정
path = 'c:/Windows/Fonts/malgun.ttf'
# 폰트 설정 (시스템 환경별로)
from matplotlib import font_manager, rc
if platform.system() == 'Darwin':
rc('font', family = 'AppleGothic')
elif platform.system() == 'Windows':
font_name = font_manager.FontProperties(fname=path).get_name()
rc('font', family = font_name)
else:
print('Unknown System :(')
%matplotlib inline
In [146]:
plt.figure(figsize=(8,8))
plt.imshow(alice_mask, cmap=plt.cm.gray, interpolation='bilinear')
# interpolation='bilinear' -> 보간 : 알려진 지점의 값 사이에 위치한 값을 알려진 값으로부터 추정하는 것
# -> 이미지 깨지지않게 보여줌
plt.axis('off')
plt.show()
In [147]:
# 앨리스에서 어떤 단어가 가장 많이 나왔는지 비율로 표현
wc = WordCloud(background_color='white', max_words=2000, mask=alice_mask,
stopwords=stopwords, collocations=False)
# collocations=False : 연어가 아니라고 설정해줘야 'said Alice가 걸러짐'! (default=True)
wc = wc.generate(text)
wc.words_
Out[147]:
In [148]:
# 단어 빈도수 분석결과, 그림으로 표현
plt.figure(figsize=(12,12))
plt.imshow(wc, interpolation='bilinear')
plt.axis('off')
plt.show()
In [141]:
# text
예제) 스타워즈 A New Hope¶
In [156]:
# 텍스트 데이터 로드
text = open('DataScience_Ing/data/09. a_new_hope.txt').read()
In [157]:
# 단어 대치
text = text.replace('HAN', 'Han')
text = text.replace("LUKE'S", 'Luke')
In [158]:
# 이미지 데이터 로드
mask = np.array(Image.open('DataScience_Ing/data/09. stormtrooper_mask.png'))
In [159]:
# 불용어 제거
stopwords = set(STOPWORDS)
stopwords.add('int')
stopwords.add('ext')
In [160]:
wc = WordCloud(max_words=1000, mask=mask, stopwords=stopwords, collocations=False,
margin=10, random_state=1).generate(text)
default_colors = wc.to_array()
In [161]:
# 글자색 바꾸는 함수 생성
import random
def grey_color_func(word, font_size, position, orientation, random_state=None, **kwards):
return 'hsl(0, 0%%, %d%%)' % random.randint(60,100)
# kwargs 정해지지 않은 수의 키워드 파라미터를 받음
In [162]:
plt.figure(figsize=(12,12))
plt.imshow(wc.recolor(color_func=grey_color_func, random_state=3), interpolation='bilinear')
plt.axis('off')
plt.show()
예제) 육아휴직관련 법안 : 대한민국 국회 제 1809890호 의안¶
In [116]:
import nltk
In [117]:
from konlpy.corpus import kobill
In [126]:
files_ko = kobill.fileids()
doc_ko = kobill.open('1809890.txt').read()
# konlpy 사이트에서 가져오는 말뭉치
In [127]:
doc_ko
Out[127]:
In [129]:
# 말뭉치 분석
from konlpy.tag import Okt
t = Okt()
In [130]:
# 명사 분석
tokens_ko = t.nouns(doc_ko)
tokens_ko
Out[130]:
In [131]:
# 빈도수 처리
ko = nltk.Text(tokens_ko, name='대한민국 국회 의안 제 1809890호')
In [132]:
# returns number of tokens (document length)
print(len(ko.tokens))
In [133]:
# returns number of unique tokens (중복값을 뺀 토큰 수)
# set : 중복이 없는 집합함수 뽑아주는 메서드
print(len(set(ko.tokens)))
In [134]:
# 빈도수로 정리
# returns frequency distribution
ko.vocab()
Out[134]:
In [135]:
plt.figure(figsize=(12,6))
ko.plot(50) # 상위 50개만 보여줘
plt.show()
In [136]:
# 불용어 처리
stop_words = ['.', '(', ')', ',', "'", '%', '-', 'X', ').', '×','의','자','에','안','번','호','을','이','다','만','로','가','를']
# 반복문으로 돌려서 불용어 모두 제거
ko = [each_word for each_word in ko if each_word not in stop_words]
ko
# 최종 결과는 리스트로 반환 됨
Out[136]:
In [137]:
# 불용어 제거 후 그래프로 확인
ko = nltk.Text(ko, name='대한민국 국회 의안 제 1809890호')
plt.figure(figsize=(12,6))
ko.plot(50) # Plot sorted frequency of top 50 tokens
plt.show()
In [163]:
ko.count('초등학교')
Out[163]:
In [164]:
plt.figure(figsize=(12,6))
# dispersion_plot : 텍스트 내 단어 사용 빈도와 위치를 분산 그래프로 그려줌
ko.dispersion_plot(['육아휴직', '초등학교', '공무원'])
In [165]:
# 단어주변부 확인
ko.concordance('초등학교')
In [166]:
# 연이어 사용된 단어 확인
ko.collocations()
In [168]:
# 시각화
data = ko.vocab().most_common(150)
# for winow : font_path='c:/Windows/Fonts/malgun.ttf'
# for mac : font_path='/Library/Fonts/AppleGothic.ttf'
wordcloud = WordCloud(font_path='c:/Windows/Fonts/malgun.ttf',
relative_scaling = 0.2,
background_color='white',
).generate_from_frequencies(dict(data))
plt.figure(figsize=(12,8))
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
