akaza-im / akaza Goto Github PK

View Code? Open in Web Editor NEW

213.0 7.0 6.0 1.81 GB

Yet another Japanese IME for IBus/Linux

License: MIT License

Makefile 0.56% C++ 0.76% Rust 95.65% Shell 0.12% C 1.14% Perl 1.76%

ibus nlp ime rust

akaza's Introduction

ibus-akaza

Yet another kana-kanji-converter on IBus, written in Rust.

統計的かな漢字変換による日本語IMEです。 Rust で書いています。

現在、開発途中のプロダクトです。非互換の変更が予告なくはいります

モチベーション

いじりやすくて ある程度 UIが使いやすいかな漢字変換があったら面白いなと思ったので作ってみています。「いじりやすくて」というのはつまり、Hack-able であるという意味です。

モデルデータを自分で生成できて、特定の企業に依存しない自由なかな漢字変換エンジンを作りたい。

特徴

UI/Logic をすべて Rust で書いてあるので、拡張が容易です。
統計的かな漢字変換モデルを採用しています
- 言語モデルの生成元は日本語 Wikipedia と青空文庫です。
  - 形態素解析器 Vibrato で分析した結果をもとに 2gram 言語モデルを構築しています。
  - 利用者の環境で 1 から言語モデルを再生成することが可能です。
ユーザー環境で、利用者の変換結果を学習します(unigram, bigramの頻度を学習します)

Dependencies

Runtime dependencies

ibus 1.5+
marisa-trie
gtk4

Build time dependencies

rust

Supported environment

Linux 6.0 以上
ibus 1.5 以上
リトルエンディアン環境

Install 方法

モデルファイルをダウンロードして展開してください。

sudo mkdir -p /usr/share/akaza/model/default/
curl -L https://github.com/akaza-im/akaza-default-model/releases/download/<<VERSION>>/akaza-default-model.tar.gz | sudo tar xzv --strip-components=1 -C /usr/share/akaza/model/default/

ibus-akaza をインストールしてください。

rustup install stable
make
sudo make install
ibus restart
ibus engine akaza

設定方法

Keymap の設定

Akaza は典型的には以下の順番で探します。

~/.local/share/akaza/keymap/{KEYMAP_NAME}.yml
/usr/local/share/akaza/keymap/{KEYMAP_NAME}.yml
/usr/share/akaza/keymap/{KEYMAP_NAME}.yml

このパスは、XDG ユーザーディレクトリの仕様に基づいています。 Akaza は Keymap は XDG_DATA_HOME と XDG_DATA_DIRS からさがします。 XDG_DATA_HOME は設定していなければ ~/.local/share/ です。XDGA_DATA_DIR は設定していなければ /usr/local/share:/usr/share/ です。

RomKan の設定

ローマ字かなマップも同様のパスからさがします。

~/.local/share/akaza/romkan/{KEYMAP_NAME}.yml
/usr/local/share/akaza/romkan/{KEYMAP_NAME}.yml
/usr/share/akaza/romkan/{KEYMAP_NAME}.yml

model の設定

model は複数のファイルからなります。

unigram.model
bigram.model
SKK-JISYO.akaza

この切り替えは以下のようなところから読まれます。

~/.local/share/akaza/model/{MODEL_NAME}/unigram.model
~/.local/share/akaza/model/{MODEL_NAME}/bigram.model
~/.local/share/akaza/model/{MODEL_NAME}/SKK-JISYO.akaza

keymap, romkan と同様に、XDG_DATA_DIRS から読むこともできます。

FAQ

最近の言葉が変換できません/固有名詞が変換できません

流行り言葉が入力できない場合、jawiki-kana-kanji-dict の利用を検討してください。 Wikipedia から自動的に抽出されたデータを元に SKK 辞書を作成しています。 Github Actions で自動的に実行されているため、常に新鮮です。

一方で、自動抽出しているために変なワードも入っています。変なワードが登録されていることに気づいたら、github issues で報告してください。

人名が入力できません。など。

必要な SKK の辞書を読み込んでください。現時点では config.yml を手で編集する必要があります。

https://skk-dev.github.io/dict/

THANKS TO

ibus-uniemoji を参考に初期の実装を行いました。
日本語入力を支える技術を読み込んで実装しました。この本がなかったら実装しようと思わなかったと思います。

akaza's People

Contributors

Stargazers

Watchers

Forkers

isgasho mmizutani pklion ttys3 tkng mimaburao

akaza's Issues

「て」の変換候補がでない

「ご」でも word という意味のあの漢字が出ない。

ユーザー学習のコストが加算されてない

実装すればいいだけなので実装する

ibus の未実装部分

ユーザー言語モデルファイルの保存をメインスレッドでやらないようにする。

Dependency Dashboard

This issue lists Renovate updates and detected dependencies. Read the Dependency Dashboard docs to learn more.

This repository currently has no open or pending branches.

Detected dependencies

cargo

akaza-data/Cargo.toml

tempfile 3

anyhow 1.0.68

log 0.4.17

env_logger 0.10.0

clap 4.1.1

clap-verbosity-flag 2.0.0

encoding_rs 0.8.31

regex 1

kelp 0.4.0

lcs 0.2.0

chrono 0.4.23

vibrato 0.3.3

walkdir 2

rayon 1.6.1

ibus-akaza/Cargo.toml

tempfile 3

anyhow 1.0.68

log 0.4.17

env_logger 0.10.0

clap 4.1.1

clap-verbosity-flag 2.0.0

kelp 0.4.0

regex 1

cc 1.0.78

ibus-sys/Cargo.toml

log 0.4.17

libakaza/Cargo.toml

chrono 0.4.23

regex 1

log 0.4.17

env_logger 0.10.0

tempfile 3

anyhow 1.0.68

half 2.2.1

kelp 0.4.0

xdg 2.4.1

encoding_rs 0.8.31

cedarwood 0.4.6

serde 1.0.152

serde_yaml 0.9.16

marisa-sys/Cargo.toml

tempfile 3

anyhow 1.0.68

cc 1.0.78

github-actions

.github/workflows/ci-simple.yml

actions/checkout v3

actions/cache v3

.github/workflows/model.yml

actions/checkout v3

actions/cache v3

softprops/action-gh-release v1

Check this box to trigger a request for Renovate to run again on this repository

変な変換候補

い 胃/意/異/医/位/井/伊/委/衣/居/射/威/亥/夷/姨/洟/痍/維/帷/惟/唯/韋/違/偉/緯/幃/圍/囲/慰/尉/熨/蔚/萎/痿/逶/矮/謂/渭/椅/倚/猗/為/爲/彙/彝/彜/以/苡/詒/貽/怡/遺/依/易/畏/移/堰/莞/詑/胆/猪/鮪/揖/噫/已/恚/懿/矣/肄/頤/饐/鰄/醫/囗/五/ゐ/如/斐/鋳/鑄/忌/偽/僞/李/言い/良い/云い/可い/好い/善い/謂い/射い/居い/鋳い/将い/率い/鑄い/い/イ/云/往/快/煎/藺/行/言/逝

辞書に変な候補が入っている問題。
「好い」が登録されているのが謎。

WordNode.kanji を WordNode.surface に改名する

設定ファイルを格納するディレクトリの file mode を 0700 にする

due to security reason

ユーザー学習データが、保存フラグをちゃんと処理していない

データに変更がない場合も保存してしまう。

かなトライをモデルファイル生成時に作っておく

今は起動時によんでるから遅い。

out of bounds access

thread 'main' panicked at 'Out of bounds access', ibus-akaza/src/context.rs:495:24
stack backtrace:
   0: rust_begin_unwind
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/std/src/panicking.rs:575:5
   1: core::panicking::panic_fmt
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/core/src/panicking.rs:65:14
   2: core::panicking::panic_display
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/core/src/panicking.rs:139:5
   3: core::panicking::panic_str
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/core/src/panicking.rs:123:5
   4: core::option::expect_failed
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/core/src/option.rs:1879:5
   5: core::option::Option<T>::expect
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/core/src/option.rs:741:21
   6: <alloc::collections::vec_deque::VecDeque<T,A> as core::ops::index::Index<usize>>::index
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/alloc/src/collections/vec_deque/mod.rs:2939:9
   7: ibus_akaza::context::AkazaContext::build_string
             at ./dev/akaza/ibus-akaza/src/context.rs:495:24
   8: ibus_akaza::context::AkazaContext::refresh
             at ./dev/akaza/ibus-akaza/src/context.rs:568:24
   9: ibus_akaza::context::AkazaContext::_update_candidates
             at ./dev/akaza/ibus-akaza/src/context.rs:524:9
  10: ibus_akaza::context::AkazaContext::extend_clause_right
             at ./dev/akaza/ibus-akaza/src/context.rs:720:9
  11: ibus_akaza::commands::ibus_akaza_commands_map::{{closure}}
             at ./dev/akaza/ibus-akaza/src/commands.rs:52:9
  12: core::ops::function::FnOnce::call_once
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/core/src/ops/function.rs:251:5
  13: ibus_akaza::context::AkazaContext::run_callback_by_name
             at ./dev/akaza/ibus-akaza/src/context.rs:407:13
  14: ibus_akaza::context::AkazaContext::process_key_event
             at ./dev/akaza/ibus-akaza/src/context.rs:253:20
  15: ibus_akaza::process_key_event
             at ./dev/akaza/ibus-akaza/src/main.rs:34:5
  16: ibus_akaza_engine_process_key_event
             at ./dev/akaza/ibus-akaza/wrapper.c:64:10
  17: <unknown>
  18: g_closure_invoke
  19: <unknown>
  20: g_signal_emit_valist
  21: g_signal_emit
  22: <unknown>
  23: <unknown>
  24: g_main_context_dispatch
  25: <unknown>
  26: g_main_loop_run
  27: ibus_main
  28: ibus_akaza::main
             at ./dev/akaza/ibus-akaza/src/main.rs:127:9
  29: core::ops::function::FnOnce::call_once
             at /rustc/69f9c33d71c871fc16ac445211281c6e7a340943/library/core/src/ops/function.rs:251:5

自然言語テキストから言語モデルを学習できるようにする

python akaza-learn.py input.txt とかやると、ユーザー言語モデルが更新できる仕組みを考えてみる。

「メニュー」と入力してる途中の表示がおかしい

"meny" と入力したタイミングで「めんy」と表示されてしまう。
本来は「めny」と表示されてほしい。

IPCエンジン機能

外部コマンドを起動し、標準入出力経由でやりとりする、みたいな感じで実装できるといいかも。
プロトコルは行ベースのjsonプロトコルを想定

canna辞書対応

cannaの辞書も扱えると良いかも。

ibus-akaza で svg file が足りてない

各モードごとに svg ファイルが必要。

marisa 以外のなにかをつかうように変更する。

現在、モデルファイルを marisa で作成しているが、もはや別に TRIE ではなく KVS としてつかっているので他のなにかにしたい。

要件:

pure rust
- C/C++ ライブラリへの依存がない
エンディアンに依存しない

https://github.com/estebank/galvanize cdbのファイルとかもあるので、こういうの使うんでもいいかも。
CDBは32bit little endian 固定なので。

Originally posted by @tokuhirom in #70 (comment)

新語辞書などはあとから追加できるようにしたい

システム辞書からは分離して別パッケージで配布できるようになっているほうがよいのではないか?

「あつめましょう」が「集めま賞」になります

  「あつめましょう」が「集めま賞」になります

Originally posted by @tokuhirom in #74 (comment)

ダイナミック変換機能

jawiki-kana-kanji-dict に依存しないようにする

もはや、必要ないので消す。
システム辞書に登録しないようにしたので。

接頭辞の処理

ユーザーの入力結果を即座にトライに登録する

今は学習データが再起動しないと読み込まれていない。

更新可能な double array があればいいのだが。。

support gettext

モデルファイルの配布

github releases で配布できるようにしたい

ライブ変換モード

XML からインスタンスを作るのではなくプログラマティックに生成する

抑制単語機能

特定の単語が出ないように設定できるといいかも。

google input cgi api 対応

例えば、変換中に f1を押した場合に、google input cgi api を呼び出す、みたいな機能があったらいいかも。
設定でオンオフ切り換えられる感じで。
新語をそこから拾えればなにかと良いかも知れない。

リソースファイルの読み込み元を定義する

XDG_DATA_DIRS の各ディレクトリを参照する。
/usr/share/akaza/SKK-JISYO.akaza などを見つける。

という感じで実装し直す。

N文節最長一致エンジンを実装する

辞書のキャッシュ機構

辞書の読み込みオーバーヘッドがどうしてもあるので、キャッシュ機構を検討する。

Remove as_id_map

ユーザー定義辞書読み込み機能

今はない。skk 形式の辞書を読み込めるようにしておけば良さそう。

Dynamic word generation using Lisp(like SKK)

`<S>` とかが n-gram に入ってなさそう?

わたしのなまえはなかのです、が変換できなくなっている

私/の/名前/は/中/の/です

↑となっている。

↓wfreqにはちゃんと取れている。

~/dev/akaza/akaza-data/ grep '/なかの\s' work/vibrato-ipadic.wfreq
ナカノ/なかの   57
中ノ/なかの     146
中之/なかの     97
中埜/なかの     74
中野/なかの     7952
仲の/なかの     1
仲ノ/なかの     18
仲之/なかの     42
仲野/なかの     184
名香野/なかの   1

WordNode に surface とは別に、dynamic_conversion_identifier 的なものを入れるのが良いのだろうか？

カタカナ語をunidicから収集する

  アグリゲーション、は unidic にものっていたので良いかも。

unidic はライセンスが修正BSD 使えるので

Originally posted by @tokuhirom in #74 (reply in thread)

単語の追加削除
バージョン情報の表示
ローマ字テーブルの編集
ショートカットキーの編集

などなどができるようにしたい。Portable な GUI ライブラリが使えると良さそう。

起動時にどのメニューにも check が入っていない。

現在、ibus-akaza では「ひらがな」入力モードかどうかがラジオボックスで表示されている。
しかし、現在の実装では起動時にはどのモードにもチェックが入ってない。不便だ。