In-Game-Gebärdensprachübersetzer durchbricht Barrieren im Sony Patent

Sony-Patent: Gebärdensprachübersetzer im Spiel ermöglicht gehörlosen und stummen Spielern das Spielen! Sony hat einen Patentantrag eingereicht, um hörgeschädigten Spielern ein besseres Spielerlebnis zu bieten. Das Patent demonstriert eine Technologie, die Gebärdensprache in Spielen in Echtzeit übersetzen kann.

Verwendung von VR-Geräten und Cloud-Spielen, um eine Gebärdensprachübersetzung in Echtzeit zu erreichen

Sonys Patent mit dem Titel „Sign Language Translation in Virtual Environments“ beschreibt eine Technologie, die die amerikanische Gebärdensprache (ASL) in Echtzeit in die japanische Gebärdensprache (JSL) übersetzen kann, wodurch japanische Spieler die ASL-Spielerkommunikation einfacher nutzen können .

Sony möchte ein System entwickeln, das hörgeschädigten Spielern hilft, indem es Gebärdensprachdialoge im Spiel in Echtzeit übersetzt. Die im Patent beschriebene Technologie würde es virtuellen Indikatoren oder Avataren ermöglichen, die auf dem Bildschirm angezeigt werden, in Echtzeit in Gebärdensprache zu kommunizieren. Das System übersetzt zunächst Gesten in einer Sprache in Text, wandelt dann den Text in eine andere angegebene Sprache um und übersetzt schließlich die empfangenen Daten in Gesten in einer anderen Sprache.

„Ausführungsformen der vorliegenden Offenlegung beziehen sich auf Methoden und Systeme zum Erfassen der Gebärdensprache eines Benutzers (z. B. eines Japaners) und zum Übersetzen der Gebärdensprache an einen anderen Benutzer (z. B. einen Englisch sprechenden Benutzer)“, beschreibt Sony im Patent. „Da Gebärdensprachen je nach regionaler Herkunft variieren, sind Gebärdensprachen nicht universell. Dies erfordert die angemessene Erfassung der Gebärdensprache eines Benutzers, das Verstehen seiner Muttersprache und die Generierung seiner Muttersprache als Ausgabe für einen anderen Benutzer.“

Sony erklärte, dass eine Möglichkeit zur Implementierung dieses Systems die Verwendung von VR-Geräten oder Head-Mounted Displays (HMD) sei. „In einigen Ausführungsformen stellt das HMD über eine kabelgebundene oder kabellose Verbindung eine Verbindung zu einem Benutzergerät her, beispielsweise einem Personalcomputer, einer Spielekonsole oder einem anderen Computergerät“, erläutert Sony. „In einigen Implementierungen rendert das Benutzergerät die über das HMD angezeigten Grafiken und bietet dem Benutzer ein immersives Seherlebnis der virtuellen Umgebung.“

Sony schlug außerdem vor, dass ein Benutzergerät über das Netzwerk nahtlos mit einem anderen Benutzergerät auf dem Spieleserver kommunizieren kann. „In einigen Ausführungsformen führt der Spieleserver eine gemeinsame Sitzung des Videospiels durch, behält den kanonischen Status des Videospiels und seiner virtuellen Umgebung bei“, sagte Sony, „und der Status des Benutzergeräts in Bezug auf die virtuelle Umgebung wird synchronisiert.“

Mit diesem Setup können Benutzer in derselben virtuellen Umgebung (z. B. Spiel) in einem gemeinsam genutzten Netzwerk oder Server teilen und interagieren. Sony sagte außerdem, dass in einigen Implementierungen des Systems der Spieleserver Teil eines Cloud-Gaming-Systems sein könnte, das „Videos rendert und streamt“ zwischen jedem Benutzergerät.