シースルーキャプションズ: ろう・難聴者とのコミュニケーションのためのリアルタイム字幕を表示する透明ディスプレイ 音声認識を使ったリアルタイム文字起こしは,声を聞き取りづらい人の日常生活を支援する重要なツールとなりつつある。
より良いコミュニケーションを図るためには,表情や身振り手振りなどのボディーランゲージを用い,誤認識を防ぎながら快適に利用できるシステムが必要だ。
そこで,透明ディスプレイを利用したリアルタイム文字起こしのシステムを提案する。
このシステムでは,自動音声認識の誤認識を話し手が確認するために,文字起こしの結果がディスプレイの両側に向けて表示される。また,透明度の高いディスプレイにより,ボディーランゲージと文字の両方を確認しながら会話を行うことができる。

see-through-captions_front

see-through-captions_miraikan_openlab202106_web_01

https://digitalnature.slis.tsukuba.ac.jp/2021/02/see-through-captions/
スポンサーリンク



反応&感想

これはしゃべった内容をリアルタイムで表示するシステムだ。
未来だなあ。  https://twitter.com/DeafLinks_/status/1401701234763915266 
これは革命的では?!
片耳が聴こえなくなってから、補聴器いれてるとはいえ、聞き取りづらい時あるし!  https://twitter.com/DeafLinks_/status/1401701234763915266 
もし一般的なマスク着用で同じように文章が拾えるならマスクで話が聴き取りづらい/口の動きが見えない(聴覚障害者の人は手話等に加えて口の動きを見て補完している人が多い)という問題が解決できるのでコロナ禍の対策としても有用だと思う。  https://twitter.com/DeafLinks_/status/1401701234763915266 
視覚優位のASDのAPD(聴覚情報処理障害)の人にもいいと思う
耳は聞こえるんだけど、神経の回路の問題で聞こえないという人。  https://twitter.com/DeafLinks_/status/1401701234763915266 
これ俺みたいなAPDとかにも良いな。
技術が進んで聞き手側のアイウェアとかで相手の発言内容が表示されるようになればめっちゃ楽やな  https://twitter.com/DeafLinks_/status/1401701234763915266 
嗄声や場面緘黙など大きな声を出しづらい人でも、即時的に文字でも伝えられれば筆談よりも便利と思うし、きこえの力が弱い難聴の子にも、先生の言っていることが「見える」なら聞き逃しも減るだろうな、すごい!  https://twitter.com/DeafLinks_/status/1401701234763915266 
これすげええ
将来的にはサイズも大きくなっていくといいね
わたしも声とか耳に入ってこないこちあるからこうやってリアルでもログで出てくれるとありがてえー
後頭の上にも名前が出るようになれば完璧だわ。  https://twitter.com/DeafLinks_/status/1401701234763915266 
これはすごい。手話を学んだ身としては、こういうのを待っていた、という感じ。

あとは、表示速度だなぁ…
映画の字幕と同じで、読み飛ばしてしまうことがある。そこは、話者がゆっくり目に話せばいいのかな。
ツールが生活を大きく変えてくれる例の一つ。開発者さん、本当にありがとう。  https://twitter.com/deaflinks_/status/1401701234763915266 
これ見た目もカッコいいな✨
便利さはもちろんだけど何か使ってみたくなるワクワクする格好良さってええな。いつかこんな感じで同時字幕→同時通訳される日が来るのかなー。  https://twitter.com/DeafLinks_/status/1401701234763915266 
こちらの開発は今年の1月に始まったんですって。なんとスピーディ!!筑波大の皆さんありがとうございます👏🏻👏🏻👏🏻  https://twitter.com/DeafLinks_/status/1401701234763915266 
これは、、、もうちょっとしたら旅行者も首に下げて歩いてそうだな。。。  https://twitter.com/DeafLinks_/status/1401701234763915266 
TwitterのスペースでPCだと自動字幕が出るんだけど、外国にいる日本人が話すと英語に翻訳されて表示される。これで出来ると外国人とのコミュニケーションも容易になるね。  https://twitter.com/DeafLinks_/status/1401701234763915266 
スポンサーリンク

\他サイト様最新記事/
\新刊ランキング/