Googleが、Android向けキーボードアプリ「Gboard」に、手話をテキストへ変換する新たな入力機能を準備している可能性が明らかになりました。
最新ベータ版アプリの解析から判明したもので、スマートフォンのカメラで手話を認識し、文字へ変換する「Sign-to-Text」と呼ばれる機能が開発中とみられています。実現すれば、Gboardにおけるアクセシビリティ機能としては過去最大級の進化となるかもしれません。
カメラで手話を認識し文字へ変換
Android Authorityによる最新のアプリ解析では、Gboard ベータ版「17.8.3.939743344-beta-arm64-v8a」に「Sign-to-Text」の準備が進められていることが確認されました。
この機能では、スマートフォンのカメラを利用してユーザーの手話を認識し、その内容を自動的にテキストへ変換するとみられています。
現在Gboardでは、通常のキーボード入力に加え、スワイプ入力や音声入力など複数の入力方法が用意されていますが、手話入力が加われば、アクセシビリティの幅がさらに広がることになります。
AIとオンデバイス処理を組み合わせた仕組み
今回の解析では、Googleがプライバシーにも配慮した仕組みを採用することが分かっています。
まず端末内でカメラ映像を解析し、手の動きやジェスチャーといった情報のみを抽出。その後、映像そのものではなく、抽出されたジェスチャーデータだけをGoogleのクラウドAIへ送信して文章へ変換する仕組みになるようです。
動画そのものをクラウドへ送信しないため、個人情報やプライバシー保護の観点でもメリットが期待されます。
Google DeepMindの研究成果を活用か
Googleは以前から、Google DeepMindを通じてAIによる手話認識技術の研究を進めてきました。
2025年には手話理解AI「SignGemma」を公開しており、今回見つかったSign-to-Text機能は、この技術を実際の製品へ応用する最初の例となる可能性があります。
現時点ではまだ機能は有効化されておらず、実際に動作を確認できる段階ではありませんが、アプリ内には初回案内画面や関連コードがすでに追加されています。
対応言語や対応機種は現時点では不明
アプリ内には「照明が暗すぎます。もっと明るい場所へ移動してください」といったメッセージも確認されており、カメラで手の動きを正確に認識するため、十分な明るさが必要になるとみられます。
一方で、対応する手話の種類については明らかになっていません。米国手話（ASL）への対応は有力視されていますが、日本手話を含む各国・地域の手話へどこまで対応するのかは現時点では不明です。
また、AI処理の一部をクラウドで実行することから、利用できる端末に一定の条件が設けられる可能性もあります。
今後の正式発表に期待
今回見つかったSign-to-Textは、まだ開発段階の未発表機能であり、正式に提供される時期は明らかになっていません。
それでも、スマートフォンのカメラとAIを活用して手話をリアルタイムで文字へ変換する仕組みが実現すれば、コミュニケーションの幅を大きく広げる画期的な機能となる可能性があります。
Googleは近年、AIを活用したアクセシビリティ機能の強化を積極的に進めており、Sign-to-Textもその取り組みを象徴する新機能として今後の動向に注目が集まりそうです。
