マルチバイト文字が文字化けする(?) about socket.io-client-java HOT 7 CLOSED

報告ありがとうございます。
マルチバイト文字列は完全に対応してるつもりなのですが、再現条件等わかったらおしえてもらえると助かります！

from socket.io-client-java.

検証用ファイルを用意してみました。
https://github.com/maimuzo/socket.io-client.java/tree/master/multibyte_test
上記のadb_log.txtを見てもらうのがわかりやすいと思います。

症状としては、
・ASCIIは化けない
・Androidの文字リテラルをサーバに送ると化ける
・サーバの文字リテラルをAndroidに送ると化ける
・Android->サーバ->Androidは化けない
のようです。

ただ、やはり再現性がわからないですが、正常に受信できる時もあります。(これは検証用のソースではなく、別アプリ側で確認しています)
マルチバイト文字を含むデータを何度か受信すると、ある時を境に正常に受信できて、またある時を境にできなくなります。
ソースを見てないですが、チャンクの関係でしょうか?

検証ファイルは用意してないですが、ブラウザ→サーバと、サーバ→ブラウザは大丈夫のようです。

from socket.io-client-java.

詳細な報告ありがとうございます！！
一点気になったのですが、古いバージョンを使っているようなので、最新(0.2.0)にアップデートしてみてもらえますか？
サーバ側のsocket.ioのバージョンも知りたいです。
socket.ioの1.0.xと1.1.0で、若干のプロトコル変更があったためその影響の可能性がありそうです。

from socket.io-client-java.

下記を参考に文字コード推定の検証してみました。
http://qiita.com/shoma2da/items/c77ec534dd36873d73c9

またファイルを更新しました。
https://github.com/maimuzo/socket.io-client.java/tree/master/multibyte_test
ここのcodec_check_node_log.txtがnode側のログですが、
node.js内の文字列リテラルがasciiと判定されていて、送られてきた文字列が(化けてますが)utf-8と判定されています。

もしかすると、node.jsの実行時にマルチバイトをasciiとして評価して実行するようなオプションがあるのかもしれないですが(調べても見つけられませんでした)、もしそんなオプションがなく、node.js内では文字列リテラルはUTF-8扱いされるのであれば、multibyteCharactorsがascii扱いされる理由がよくわからないですね。

一方Androidから受け取った文字がUTF-8なのは想定内なのですが、何故か文字化けしてしまっています。

自分はnode.jsに慣れてないので、このあたりがよくわかってないです。

dump ascii: abcABC123!"#
dump ascii2: abcABC123!#
dump multibyteCharactors: あいうえお
dump multibyteCharactors2: あいうえお
dump data: �����
detect ascii:
{ encoding: 'ascii', confidence: 1 }
detect ascii2:
{ encoding: 'ascii', confidence: 1 }
detect multibyteCharactors:
{ encoding: 'ascii', confidence: 1 }
detect multibyteCharactors2:
{ encoding: 'ascii', confidence: 1 }
detect data:
{ encoding: 'utf-8', confidence: 0.9690625 }

from socket.io-client-java.

「node.jsの実行時にマルチバイトをasciiとして評価して実行するようなオプション」が意味不明だと思いますが、
ruby -K[kcode]
のようなものが、node.jsにもあるのかなと想定していました。

from socket.io-client-java.

すいません。
compile 'com.github.nkzawa:socket.io-client:0.2.0'
これで直りました。orz
こんな初歩的な話だったとは…お手数掛けました。

ちなみに、
received ping, test_type: android json multibyte charactor, data: {"multibyteCharactors":"あいうえお"}
received ping, JSON.parse(data): [object Object]
dump ascii: abcABC123!"#
dump ascii2: abcABC123!#
dump multibyteCharactors: あいうえお
dump multibyteCharactors2: あいうえお
dump data: {"multibyteCharactors":"あいうえお"}
detect ascii:
{ encoding: 'ascii', confidence: 1 }
detect ascii2:
{ encoding: 'ascii', confidence: 1 }
detect multibyteCharactors:
{ encoding: 'ascii', confidence: 1 }
detect multibyteCharactors2:
{ encoding: 'ascii', confidence: 1 }
detect data:
{ encoding: 'ascii', confidence: 1 }
となって、やっぱりマルチバイト文字はasciiと推定されてしまいますね。
これは評価器側の問題な気もしますが。

お手数掛けました。ありがとうございました。

from socket.io-client-java.

一応履歴として。
$ node -v
v0.10.25
├─┬ [email protected]
│ ├── [email protected]
│ ├─┬ [email protected]
│ │ ├── [email protected]
│ │ ├─┬ [email protected]
│ │ │ └── [email protected]
│ │ ├─┬ [email protected]
│ │ │ ├── [email protected]
│ │ │ ├── [email protected]
│ │ │ ├── [email protected]
│ │ │ ├── [email protected]
│ │ │ └── [email protected]
│ │ └─┬ [email protected]
│ │ ├── [email protected]
│ │ ├── [email protected]
│ │ ├── [email protected]
│ │ └── [email protected]
│ ├─┬ [email protected]
│ │ └── [email protected]
│ ├─┬ [email protected]
│ │ └─┬ [email protected]
│ │ ├─┬ [email protected]
│ │ │ └── [email protected]
│ │ ├── [email protected]
│ │ └── [email protected]
│ ├─┬ [email protected]
│ │ ├── [email protected]
│ │ ├── [email protected]
│ │ ├─┬ [email protected]
│ │ │ ├── [email protected]
│ │ │ ├─┬ [email protected]
│ │ │ │ ├── [email protected]
│ │ │ │ ├── [email protected]
│ │ │ │ ├── [email protected]
│ │ │ │ ├── [email protected]
│ │ │ │ └── [email protected]
│ │ │ ├─┬ [email protected]
│ │ │ │ └── [email protected]
│ │ │ ├─┬ [email protected]
│ │ │ │ └─┬ [email protected]
│ │ │ │ └── [email protected]
│ │ │ ├─┬ [email protected]
│ │ │ │ └─┬ [email protected]
│ │ │ │ └── [email protected]
│ │ │ ├─┬ [email protected]
│ │ │ │ └─┬ [email protected]
│ │ │ │ └── [email protected]
│ │ │ ├─┬ [email protected]
│ │ │ │ ├── [email protected]
│ │ │ │ ├── [email protected]
│ │ │ │ ├── [email protected]
│ │ │ │ └── [email protected]
│ │ │ └── [email protected]
│ │ ├─┬ [email protected]
│ │ │ └── [email protected]
│ │ ├── [email protected]
│ │ ├── [email protected]
│ │ ├─┬ [email protected]
│ │ │ └─┬ [email protected]
│ │ │ └── [email protected]
│ │ ├─┬ [email protected]
│ │ │ ├── [email protected]
│ │ │ ├── [email protected]
│ │ │ └── [email protected]
│ │ └── [email protected]
│ └─┬ [email protected]
│ ├── [email protected]
│ ├── [email protected]
│ ├── [email protected]
│ └── [email protected]

from socket.io-client-java.