inuinu2022 / kuchipaku Goto Github PK

饅頭遣いさんがPSD処理の.NETライブラリをgithubで公開してるので、
もしかしたらいけるかも。

ただ、ymmpの中だとどのレイヤーが名前じゃなくて番号で指定されているので、ちゃんと再現できるかどうかわからない…。
UIを作るのが大変だけど、口パクの絵を指定するのはUIがないと難しい…。

YMMのプラグイン仕様が公開されたらソッチで実現したほうがいいかも？

• v.0.2.0-alpha では仕様です！
• 設定の読み込み、保存の仕組みを入れる際に一緒に対応予定です

※わかってるひとむけ

• FleuntCeVIOWrapper.Server.exe のオプションでdllのあるdir指定できます（--help もみてね
• ProcessStartInfoのところで指定してビルドすれば使えます

内部で利用しているCeVIO API接続用のライブラリ「Fluent CeVIO Wrapper」の公開。
何かあったときに再ビルドできないので。

ボイスアイテムをYMM4上でカットしているとき、カットされて発音されない部分の口パク用表情アイテムが作られてしまう。

長いセリフとかの一部分だけつかう、みたいな時に面倒。

VOICEVOX/SHAREVOXのAPIボイスに対応

• NodoAmeと同じでRESTで連携すればいける
• NodoAmeの処理はいちぶもってこれるかも!

微妙に発音から遅れて表示されるように見える…

実際にそうなのか、錯覚なのかは分からない…要調査

可能性

• 音程/再生速度や話速の対応でどこかにバグがある
• 音量口パク対応のパーツを指定すると良くない可能性

内部的に無限ループになっている…＞＜！

キャラクター設定はあるけど立ち絵がないボイスアイテムも口パク生成しようとしてエラー

実際に立ち絵アイテムがタイムラインにあるかどうかを見ないとダメそう…

ゆっくり（Aquestalk）とか古いボイスロイドとか、CoeFontとかCOEIROINKとかは口パク情報を取れない＞＜！
wav2labがあるけど、量が多いと大変であんまり現実的じゃない…。

音声認識エンジンを拡張して.lab形式で取得できるようにするのがいいかも。

候補：

• Julius
  • wav2labは多分これ
  • 精度があんまり良くないっぽい
• Vosk
  • 最近よく聞く
  • 日本語対応している
  • 音素情報が取れるforkがある
• Whisper
  • これも最近よく聞く
  • そもそも音素情報取れるの？調べてない…

• カスタムボイスのボイスアイテムの「音程 / 再生速度」設定は無視されます
• APIボイスの方で対応したので次で対応予定！

https://twitter.com/y_chan_dev/status/1599944232890150912

詳しく見てないので怪しいところ；

• 秒数の単位が違う（CeVIOのAPIとlabファイルで違うとかあった）
• ymmpのフォーマットの変更の影響（ちょくちょく新機能追加でjsonの形式が少し変わる）
• 判定処理ミス（カスタムボイスの判定がミスってるとかあった）

音声エフェクトに追加された「再生速度」に対応する

ボイスアイテム側の再生速度や、エフェクト2重3重にかけられたときとかどうなるんだろ…？