dongdu's Introduction

DongDu

A Vietnamese word segmentation tool.

Giới thiệu

DongDu là phần mềm tách từ dành cho tiếng Việt.
Được viết trên ngôn ngữ C++, bởi Lưu Tuấn Anh dưới sự hướng dẫn của Yamamoto Kazuhide.
DongDu đạt được độ chính xác rất cao (>98%), nhanh và sử dụng ít RAM hơn so với những phần mềm khác.
DongDu bao gồm cả chương trình tách từ (predictor) và chương trình học máy (learner). Người dùng có thể tự tạo ra dữ liệu cho cá nhân một cách đơn giản.
Bài viết về thuật toán và phương pháp cụ thể có thể download ở đây (bản tiếng Việt).
Mọi liên hệ, góp ý hay báo lỗi của chương trình, xin gửi về địa chỉ : [email protected]

dongdu's People

Stargazers

Watchers

dongdu's Issues

Lỗi đối với những câu bắt đầu bởi các ký tự Đ, đ, các nguyên âm có dấu

Khi test Đông Du với những câu bắt đầu bởi các ký tự Việt như Đ, đ, các nguyên âm có dấu... kết quả trả về là xâu rỗng. @rockkhuya

create Makefile to build from source

Mình muốn build từ source mà ko có Makefile nên mày mò chưa ra.

Failed to open file VNsyl.txt

Em sử dụng bộ DongDu tokenizer này thì luôn báo lỗi "Failed to open file VNsyl.txt" trong khi luôn có file "data/VNsyl.txt" trong thư mục bin.
Tuy vẫn có kết quả nhưng kết quả thu được có vẻ không tốt lắm.

Ngoài ra, em dùng thử với 1 file to 250Mb thì chạy hơn 1 tiếng đồng hồ không thấy có kết quả. @rockkhuya kiểm tra lại giúp.

Build source Dong Du

Chào anh Tuấn Anh!
Em cố gắng build lại phần mềm nhưng không được
Em dùng ubuntu.
Khi build báo thiếu file learner.h và predictor.h
em mới nghiên cứu về xử lý ngôn ngữ nên có nhiều chỗ không hiểu ạ!
Cảm ơn anh!

Recommend Projects