파이썬 토크나이저 - 어간 찾기 (nltk)

어간 찾기

from nltk.stem import PorterStemmer

text = """
Have you ever fallen head.
over heels for somebody.
"""

# 어간 찾기
words = word_tokenize(text)
for word in words:
  print(PorterStemmer().stem(word))

==결과==
have
you
ever
fallen
head
.
over
heel
for
somebodi
.

• PorterStemmer의 stem메소드로 단어의 어간을 찾을 수 있다.
• 문장을 단어별로 토크나이징 한 뒤에 각 단어들의 어간을 for문을 통해 출력했다.
• 사실 아직 기능이 완벽하지 못해 정확한 어간을 출력해주지는 않는다.