For example this text: <div class="snippet-clipboard-content notranslate position-

Here is my code: <div class="snippet-clipboard-content notranslate position-relati

Word Segmentation do not responding for some special text about underthesea HOT 4 CLOSED

undertheseanlp commented on August 15, 2024 1

Word Segmentation do not responding for some special text

from underthesea.

Comments (4)

behitek commented on August 15, 2024 1

Here is my code:

def underthesea_tokenize(txt):
    return word_tokenize(txt, format="text")
...
// Call underthesea_tokenize func for each line of text read from file
line = underthesea_tokenize(line)
...

Do you have any solution to catch this issue?

from underthesea.

rain1024 commented on August 15, 2024 1

This error caused by incorrect url pattern in regex_tokenize module. It's already fixed.

You can retest by update latest version of underthesea

$ pip uninstall underthesea
$ pip install underthesea==1.1.8a0
$ python
>>> from underthesea import word_tokenize
>>> text = "https://www.facebook.com/photo.php?fbid=1627680357512432&set=a.1406713109609159.1073741826.100008114498358&type=1 mình muốn chia sẻ bài viết của một bác nói về thực trạng của bộ giáo dục bây giờ! mọi người vào đọc và chia sẻ để Phạm Vũ Luận BIẾT!"
>>> word_tokenize(text)
['https://www.facebook.com/photo.php?fbid=1627680357512432&set=a.1406713109609159.1073741826.100008114498358&type=1', 'mình', 'muốn', 'chia sẻ', 'bài', 'viết', 'của', 'một', 'bác', 'nói', 'về', 'thực trạng', 'của', 'bộ', 'giáo dục', 'bây giờ', '!', 'mọi', 'người', 'vào', 'đọc', 'và', 'chia sẻ', 'để', 'Phạm', 'Vũ', 'Luận', 'BIẾT', '!']

Close this issue here! Feel free to open it if you find this error is not fixed.

from underthesea.

rain1024 commented on August 15, 2024

@Hieunv1996 what is your code?

I think this error caused by some special characters in the text

from underthesea.

rain1024 commented on August 15, 2024

@Hieunv1996

Okay. I can reproduce this error with the following code

from underthesea import word_tokenize
text = "https://www.facebook.com/photo.php?fbid=1627680357512432&set=a.1406713109609159.1073741826.100008114498358&type=1 mình muốn chia sẻ bài viết của một bác nói về thực trạng của bộ giáo dục bây giờ! mọi người vào đọc và chia sẻ để Phạm Vũ Luận BIẾT!"
word_tokenize(text)

There are dot characters in url, which is so weird. I will debug and fix it soon.

Thanks for your reporting.

from underthesea.

Recommend Projects