paithiov909 / audubon Goto Github PK

Prepare for release:

• Check current CRAN check results
• Polish NEWS
• devtools::build_readme()
• urlchecker::url_check()
• devtools::check(remote = TRUE, manual = TRUE)
• devtools::check_win_devel()
• rhub::check_for_cran()
• revdepcheck::revdep_check(num_workers = 4)
• Update cran-comments.md
• Review pkgdown reference index for, e.g., missing topics
• Draft blog post

Submit to CRAN:

• usethis::use_version('minor')
• devtools::submit_cran()
• Approve email

Wait for CRAN...

• Accepted 🎉
• usethis::use_github_release()
• usethis::use_dev_version()
• Finish blog post
• Tweet
• Add link to blog post in pkgdown news menu

微妙に間違ったことを書いている気がする。rewrites characters only specifiedではない。指定された文字列は強制的に指定先に書き換えて正規化する、が正しい。

See paithiov909/gibasa#33 (comment)

• strj_tokenizeにengine引数を設けたことでstrj_segmentとstrj_tokenizeを分けている意味がなくなったので、strj_tokenizeに一本化したい。
• engine = c("budoux", "tinyseg")はstrj_tokenizeに統合し、strj_segment関数はstrj_tokenizeのエイリアスにする。

stri_opts_brkiterでword区切りになってしまっているので、渡した要素そのままの区切りにかえたい

一度packしてしまえばquantedaに持ち込んでquanteda::tokens_ngramsでngram/skipgramにできるので、packの引数nの位置づけがよくわからないのはある

df <- data.frame(doc_id = c(1:3), text = audubon::polano[3:5], meta = c(4:6))
df |> 
    gibasa::tokenize() |> 
    gibasa::pack() |> 
    quanteda::corpus() |> quanteda::tokens(what = "fastestword") |> 
    quanteda::tokens_ngrams() |> 
    quanteda::dfm() |> 
    tidytext::tidy()
#> # A tibble: 24 × 3
#>    document term                    count
#>    <chr>    <chr>                   <dbl>
#>  1 1        前_十                       1
#>  2 1        十_七                       1
#>  3 1        七_等                       1
#>  4 1        等_官                       1
#>  5 1        官_レオーノ・キュースト     1
#>  6 1        レオーノ・キュースト_誌     1
#>  7 2        宮沢_賢治                   1
#>  8 2        賢治_訳述                   1
#>  9 3        その_ころ                   1
#> 10 3        ころ_わたくし               1
#> # … with 14 more rows

^{Created on 2022-04-10 by the reprex package (v2.0.1)}

budouxはICU 73.2からすでに組み込まれており、V8経由でモジュールを呼ばなくても、stringi (>=1.8.1, 2023-11-09) から同等の出力を得ることができるっぽい。

audubon::strj_segment("今日はいい天気です。")
#> $`1`
#> [1] "今日は"     "いい"       "天気です。"

stringi::stri_split_boundaries(
  "今日はいい天気です。",
  opts_brkiter = stringi::stri_opts_brkiter(
    locale = "ja@ld=auto;lw=phrase"
  )
)
#> [[1]]
#> [1] "今日は"     "いい"       "天気です。"

^{Created on 2023-12-21 with reprex v2.0.2}

参考

• ICU 73.2 maintenance release
• stringi 1.8.1, ICU 74.1 (Unicode 15.1, CLDR 44) bundled
• ICU で文節単位の改行をするための提案

アクセント分解の復元をするやつ

青空文庫テキストへの「アクセント分解」の適用

• pullにsymbolを渡せるようにする
• 引数の順番をpack(tbl, pull, n, sep, .collapse)にする

• #6
• documentation

• feature以外の任意の列名を指定できるようにする
• read_delimにして区切り文字を指定できるようにする

NAsが含まれるカラムをpackするとstringiからNAは空文字にcoerceしたというメッセージが出る。なんだかわかりにくいのでstringi::stri_remove_empty_na()を噛ませる