This project is an application for learning non-speech languages using MixedReality on HoloLens.

https://www.youtube.com/watch?v=Q14C8q2lllk&feature=youtu.be

This application currently allows you to learn Fingerspelling.

Currently, it supports Japanese and alphabet Fingerspelling, but I plan to introduce sign language functionality in the future.

I will implement the functionality in the future, targeting languages that can be learned using the user's own hands.

Like sign language, Fingerspelling is a finger-based communication language used mainly by people with hearing difficulties.

Sign language and Fingerspelling are similar, but their origins and uses are different.

In sign language, about 10,000 words (Japanese) can be expressed by movements using the hands (both hands), but the range of expression is small compared to that of Japanese.　

In Fingerspelling, one action corresponds to one character.　

By combining Fingerspelling, proper nouns and words that cannot be expressed in sign language can be conveyed to others.

The author (@HoloMoto) was thinking about the possibilities of HoloLens with various people under the theme of accessibility x HoloLens.

In the process, I became interested in sign language, but due to the pandemic of the new coronavirus, I was unable to attend classes and found the 2D materials on the Internet very difficult to understand.

So we came up with the idea of using HoloLens to learn by superimposing our own hands on a holographic animation.

　This project began development as the author's work at the Osaka HoloLens Hackathon 2022.

　・Unity 2020.3.23f1

・MixedRealityToolkit 2.7

・AzureSpeechSDK

・UMotionPro(*)

　These are paid assets used to create Fingerspelling animations. Not included in the repository.

　We are confident that this project can be used for technical assisted learning in schools and government, not to mention developers who own HoloLens.

The author is not fluent in fingerspelling or sign language. We are developing this project with the advice of people who can use Fingerspelling and sign language, but we need contributions from experts and all those who are interested in this project.

Just feedback from experiencing the application (which will be available in the Microsoft Store in the future) will be of great help.

Also, any input or feedback on the shape, animation, etc. of the core fingerprint holograms would be very helpful.

このプロジェクトでは非音声言語の学習と習得を目的としたMicrosoft HoloLens専用アプリケーションのプロジェクトです。

##　このアプリでできること

現在指文字を学ぶ機能があります。

日本語、アルファベットに対応しており、通常の２Dの学習よりもはるかにわかりやすく言語を覚えることができます。

指文字機能の充実後は手話を覚えることができるように機能を実装します。

指文字は手話同様聴覚的困難を持つ人々を中心に使用さえる指を使ったコミュニケーション言語です。

手話と指文字は似ていますが、成り立ちや使用用途は違います。

手話では手（両手）を用いた動作によって１万程度（日本語）の単語を表現することができますが、日本語の表現から見れば表現の幅が小さいです。　

指文字は一つの動作が一つの文字に対応しています。　

指文字を組み合わせることで固有名詞や手話で表現できない言葉も相手に伝えることができます。

##　開発動機

作者(@HoloMoto)はアクセシビリティ×HoloLensをテーマに様々な人とのHoloLensの可能性を考えていました。

その中で手話に興味を持ったものの新型コロナウィルスのパンデミックの影響で教室に通うことはできず、ネット上での２Dの教材はとても分かりにくく感じていました。

そこでHoloLensを使用してホログラムのアニメーションに自分の手を重ねながら覚えるアイデアを考案しました。

　本プロジェクトはOsaka HoloLens Hackathon 2022での筆者の作品として開発をスタートしました。

　・Unity 2020.3.23f1

・MixedRealityToolkit 2.7

・AzureSpeechSDK

・UMotionPro(※)

　※指文字アニメーション作成のために使用している有料アセットです。リポジトリには含まれていません。

##　貢献

　このプロジェクトはHoloLensを保有している開発者はもちろんですが、学校や行政における技術的支援学習に使用できると確信しています。

作者は指文字や手話に精通しているわけではありません。指文字や手話を使用できる人のアドバイスを受けながら開発していますが、専門家や本プロジェクトに興味を持っていただけたすべての方の貢献を必要としています。

アプリ(今後Microsoft Storeで公開予定)を体験してのフィードバックだけでも非常に助けになります。

また、コアとなる指文字のホログラムの形やアニメーション等での意見やフィードバックに関しても非常に助けになります。