konltk / konlp Goto Github PK

View Code? Open in Web Editor NEW

18.0 18.0 13.0 70.94 MB

KoNLTK source

Home Page: https://www.konltk.org

License: Other

Makefile 6.10% Python 68.27% Batchfile 0.48% C++ 25.15%

konlp's People

Contributors

Stargazers

Watchers

Forkers

luaperl gitter-badger hyunyoung2 aei0109 choraeng konltk-knu-islab namangkim ho-lol dladmschd wlsxo1119 chris-eunkyoung-jo sonsunghwan fiesta0211

konlp's Issues

kmu automatic word spacing

자동 띄어쓰기 (automatic word spacing, word segmentation) 모듈 추가

JVM init problem

jvm 을 사용하는 형태소 분석기들을 동시에 사용할때,
각자 종속적인 라이브러리 파일을 가지고 초기화하므로
별도의 파일에서 jvm 초기화 함수를 선언하고 그것을 사용할 필요가 있음

Version checking

Auto spacing's static library version checking.

Index's performance and library version checking.

So, check the status of dynamic library two ways.

Knu word2vec docstring modify

doctest 부분 import 경로 수정

before

from konlp.embedding import knu_word2vec
test = knu_word2vec()

after

from konlp.embedding import KnuWord2Vec
test = KnuWord2Vec()

kconv test

scan() function update
utf16 LE <-> utf16 BE
file, scan test

Change docstring style : ReST -> google

아래의 목록들의 api.py docstring 형태 변경 (ReST -> google)

chunk
kma
stem
tag
tokenize

Using User Dictonary

How can we use user dictionary

KLT2000.ini File 에 UserDicName 에 euckr로 인코딩한 사용자사전 경로를 추가 했지만 동작하지 않습니다.
OutputLevel 에 1이 아닌 2를 할당 했을 때 분석결과가 2개나 오는것으로 보아 KLT2000.ini은 동작합니다.

Enconding error in authospacing

When you tested some string, you find encoding error.

That happened with iconv from utf8 to cp949.

We have to consider this .

비표준문자 분석이슈

'햇볓' 이라는 글자가 문장에 포함되어있으면 아예 분석결과가 나오지 않습니다.
'핱' 이라는 글자가 문장에 포함되어있으면 아예 분석결과가 나오지 않습니다.
k.analyze(simple_txt)

[]

reading sources... [100%] news                                                                                                                                                                
/home/hyunyoung2/KoNLTK/konlp/konlp/misc/kconv/kconv.py:docstring of konlp.misc.kconv.kconv:17: WARNING: Unexpected indentation.
/home/hyunyoung2/KoNLTK/konlp/konlp/misc/kconv/kconv.py:docstring of konlp.misc.kconv.kconv.convert:3: WARNING: Inline interpreted text or phrase reference start-string without end-string.
WARNING: autodoc: failed to import module 'konlp.test.test_kconv'; the following exception was raised:
No module named 'pytest'
WARNING: autodoc: failed to import module 'konlp.test.test_klt_kma'; the following exception was raised:
No module named 'pytest'
WARNING: autodoc: failed to import module 'konlp.test.test_tokenize_klt_autospacing'; the following exception was raised:
No module named 'pytest'
/home/hyunyoung2/KoNLTK/konlp/konlp/tokenize/klt/autospace.py:docstring of konlp.tokenize.klt.autospace.KltAsp.asp:12: WARNING: Inline interpreted text or phrase reference start-string without end-string.
looking for now-outdated files... none found
pickling environment... done
checking consistency... /home/hyunyoung2/KoNLTK/konlp/web/api/modules.rst: WARNING: document isn't included in any toctree

We got a error when we made website of Kontlk.

From now on we have to handle this error

We have to reduce the width of a line

konlp/konlp/kma/klt/klt.py

Lines 25 to 35 in fd40c7f

    
               >>> from konlp.kma.klt import klt 
        
               >>> k = klt.KltKma() 
        
               >>> simple_txt = "안녕하세요. 국민대학교 자연어처리 연구실입니다." 
        
               >>> k.analyze(simple_txt) 
        
               [('안녕하세요', [('안녕', 'N'), ('하', 't'), ('세요', 'e')]), ('.', [('.', 'q')]), 
        
               ('국민대학교', [('국민대학교', 'N')]), ('자연어처리', [('자연어처리', 'N')]), ('연구실입니다', 
        
               [('연구실', 'N'), ('이', 'c'), ('습니다', 'e')]), ('.', [('.', 'q')])] 
        
               >>> k.morphs(simple_txt) 
        
               ['안녕', '하', '세요', '.', '국민대학교', '자연어처리', '연구실', '이', '습니다', '.'] 
        
               >>> k.nouns(simple_txt) 
        
               ['안녕', '국민대학교', '자연어처리', '연구실']

Kconv test

Add the kconv test python file for pytest

Kma - seunjeon integration

seunjeon integration

	>>> from konlp.kma.klt import klt
	>>> k = klt.KltKma()
	>>> simple_txt = "안녕하세요. 국민대학교 자연어처리 연구실입니다."
	>>> k.analyze(simple_txt)
	[('안녕하세요', [('안녕', 'N'), ('하', 't'), ('세요', 'e')]), ('.', [('.', 'q')]),
	('국민대학교', [('국민대학교', 'N')]), ('자연어처리', [('자연어처리', 'N')]), ('연구실입니다',
	[('연구실', 'N'), ('이', 'c'), ('습니다', 'e')]), ('.', [('.', 'q')])]
	>>> k.morphs(simple_txt)
	['안녕', '하', '세요', '.', '국민대학교', '자연어처리', '연구실', '이', '습니다', '.']
	>>> k.nouns(simple_txt)
	['안녕', '국민대학교', '자연어처리', '연구실']