[Corpus] Common crawl ko about korpora HOT 3 OPEN

• cc-100 corpus 의 다운로드 속도가 빠른 편이 아닙니다. mirroring 이 가능한지 알아봅니다.

from korpora.

cc-100 데이터는 LANG.txt.xz 형식으로 제공되며, xz 파일을 unpack 하기 위해 lzma Python package 를 이용합니다. pyenv를 이용할 때 다음의 오류가 발생할 수 있습니다.

from _lzma import *

ModuleNotFoundError: No module named '_lzma' 

Python 이 아닌, pyenv 의 오류로, 다음처럼 해결하면 됩니다.

(MacOS)

pyenv uninstall x.y.z
brew install xz
pyenv install x.y.z

(Ubuntu)

pyenv uninstall x.y.z
sudo apt-get install lzma
pyenv install x.y.z

from korpora.

• 데이터 통계

from korpora.