ゲーム内手話翻訳者がSony 特許の壁を打ち破る

ソニーの特許: ゲーム内手話翻訳機能により、聴覚障害者や口のきけないプレイヤーでもゲームをプレイできるようになります。ソニーは、聴覚障害のあるゲーマーにより良いゲーム体験を提供するために特許を申請しました。この特許は、ゲーム内で手話をリアルタイムに翻訳できる技術を実証しています。

VR機器とクラウドゲームを活用してリアルタイム手話翻訳を実現

「仮想環境における手話翻訳」と題されたソニーの特許には、アメリカ手話 (ASL) を日本手話 (JSL) にリアルタイムで翻訳できる技術が記載されており、日本のプレイヤーが ASL プレイヤーのコミュニケーションを使いやすくなります。 。

ソニーは、ゲーム内の手話会話をリアルタイムで翻訳することで、聴覚障害のあるプレイヤーを支援するシステムの構築を目指しています。この特許に記載されている技術により、画面上に表示される仮想インジケーターやアバターがリアルタイムで手話でコミュニケーションできるようになる。システムは、まず、ある言語のジェスチャをテキストに変換し、次にそのテキストを別の指定された言語に変換し、最後に受信したデータを別の言語のジェスチャに変換します。

「本開示の実施形態は、あるユーザー（例えば日本人）の手話を捕捉し、その手話を別のユーザー（例えば英語話者）に翻訳するための方法およびシステムに関する」とソニーは説明している。特許。 「手話は地域の出身地によって異なるため、手話は普遍的ではありません。これには、あるユーザーの手話を適切にキャプチャし、母国語を理解し、別のユーザーの出力として母国語手話を生成する必要があります。」

ソニーは、このシステムを実装する 1 つの方法は VR 機器またはヘッドマウント ディスプレイ (HMD) の助けを借りて行うことであると説明しました。 「いくつかの実施形態では、ＨＭＤは、有線または無線接続を介して、パーソナルコンピュータ、ゲームコンソール、または他のコンピューティングデバイスなどのユーザデバイスに接続する」とソニーは詳細に述べている。 「一部の実装では、ユーザー デバイスは HMD を通じて表示されるグラフィックスをレンダリングし、ユーザーに仮想環境の没入型の視聴体験を提供します。」

ソニーはさらに、あるユーザーデバイスがネットワークを介してゲームサーバー上の別のユーザーデバイスとシームレスに通信できることを提案しました。 「一部の実施形態では、ゲームサーバーはビデオゲームの共有セッションを実行し、ビデオゲームとその仮想環境の正規状態を維持する。そして、仮想環境に関するユーザーデバイスの状態は同期される。」とソニーは述べた。

この設定を使用すると、ユーザーは共有ネットワークまたはサーバー上の同じ仮想環境 (ゲームなど) を共有し、対話することができます。ソニーはまた、システムの一部の実装では、ゲームサーバーが各ユーザーデバイス間で「ビデオをレンダリングしてストリーミングする」クラウドゲームシステムの一部になる可能性があるとも述べた。