libindic / payyans Goto Github PK

As reported on Telegram

പയ്യൻസ് ഉപയോഗിച്ച് ആസ്‌കിയിൽ നിന്നും യൂണികോഡിലേക്ക് കൺവേർട്ട് ചെയ്യുമ്പോൾ ഒരു ചെറിയ പ്രശ്നം. "ഡ്രൈ", "ട്രൈ", "സ്ത്രൈ", "ഫ്രൈ" തുടങ്ങിയവയുടെ കൺവെർഷൻ ശരിയാവുന്നില്ല. smc-യിൽ നിന്ന് ഡൗൺലോഡ് ചെയ്ത പഴയ പയ്യൻസ് ആണ് ഞാൻ ഉപയോഗിക്കുന്നത്. കാർത്തിക ഫോണ്ടിൽ ഉള്ള ഒരു ടെക്സ്റ്റ് ഫയൽ ആണ് മാറ്റാൻ ശ്രമിക്കുന്നത്. മാപ്പ് ഫയൽ മാറ്റിയും തിരുത്തിയും ഞാൻ കുറച്ച് നോക്കി. ഒന്നും ശരിയാകുന്നില്ല. അറിയുന്നവർ ഒന്ന് ഉപദേശിക്കാമോ? ഇതാണ് അവസ്ഥ.

From .map file,
ss=ൈ
{=്ര
U=ഡ
]=പ
S=ട
^=ഫ

Ascii input,
ss{U
ss{]
ss{S
ss{^

payyans returns,
ഡ്ര
പ്ര
ട്ര
ഫ്ര

Confirmed thus:

Python 2.7.17 (default, Apr 15 2020, 17:20:14) 
[GCC 7.5.0] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from libindic.payyans import Payyans
>>> instance = Payyans()
>>> result = instance.ASCII2Unicode('ss{U', 'karthika')
>>> result
u'\u0d21\u0d4d\u0d30'
>>> print(result)
ഡ്ര

There is a bug in ML-Karthika mapping file. It is not mapping മ്ല. The character is ¾.

Freaknz work perfect, use that as a reference too to improve payyans https://gitlab.com/kannanvm/freaknz-qt

I have a few suggestions.

• Include a metadata field for the data currently included in the comments section. This way that data will be preserved in conversion to other formats (ie https://github.com/indicjs/map-converter) The metadata files could be Name,Description,Copyright,License

• Host maps in a different git repo and integrate as a gitsubmodule. So other projects can directly pull data from that central repo.

Organise the maps folder by script and language for greater clarity for contributors. Ideally into sub directories.

A menu labled "Payyans" and URL http://silpa.org.in/Payyans is bit cryptic for a genral user. We should use a generic name like ASCII2Unicode or something like that. If possible retain the old URL so that links wont break

The link to docs in the Readme file is broken.

If more docs is available, can it be put up?

payyans was updated to use libindic.unicode_conversion_maps with this commit which points to libindic/unicode-conversion-maps. but, this repo doesn't contain all the maps that were previously supported by payyans. for eg: ambili which is used in the example from README.

• Shared library -> input = (map, text)
• WASMable and bundleable everywhere
• Go -> 2 build modes = c-shared, wasm

End product:

• Text file upload to convert ASCII
• Ability to customize map in the webapp itself

Roadmap

• Make Go library for conversion
• Make wasm working
• Make webapp
• One extra feature that python payyans don't have: ability to keep English words as it is. If input is C©n-\o-bÀ þ Engineer, the "engineer" shouldn't be converted because it's intention was an English word, not ascii malayalam
• Try replacing freaknz logic with the c-shared library https://gitlab.com/kannanvm/freaknz-qt

https://github.com/libindic/payyans/issues?q=is%3Aissue+is%3Aclosed
https://github.com/libindic/unicode-conversion-maps
https://gitlab.com/kannanvm/freaknz-qt/-/blob/master/asciitounicodeconverter.cpp?ref_type=heads
https://gitlab.com/icfoss/Malayalam-Computing/malayalam-ascii-unicode-converter

On macOS, following the instructions as README.

  Could not find a version that satisfies the requirement libindic>=normalizer (from libindic-payyans==0.0.1.dev32) (from versions: )
No matching distribution found for libindic>=normalizer (from libindic-payyans==0.0.1.dev32)

ഒരു എക്സിക്യൂട്ടബിൾ സ്ക്രിപ്റ്റ് കൂടി ഉൾപ്പെടുത്തുന്നത് പരിഗണിക്കാമോ? SMC വേർഷനിൽ ഉള്ളത് പോലെ? പ്രോഗ്രാമിങ് അവഗാഹം‌‌ ഇല്ലാത്തവർക്ക് ടെക്സ്റ്റ്‌ ഫയൽ പ്രോസസ്സ് ചെയ്യാൻ എളുപ്പമാകും.