手足、目から舌で操作する時代へ！Microsoftの研究

米Microsoft社は今年10月、手足や目の動きに次ぐ新たなデバイス操作方法として「舌を使った操作」の研究を発表しました。もしこれが実用化されれば、新しいVRゴーグルの操作方法として一般に普及するかもしれません。ということで今回は「舌での操作」についてご紹介していきます！

舌で操作するヘッドセット
まとめ

舌で操作するヘッドセット

米ジョージア工科大学と米Microsoftの研究者らが発表したこちらの論文では、VR/ARのヘッドマウントディスプレイを装着した際に、口を閉じたまま舌を使って操作するためのインタフェースが紹介されています。この研究結果では口を閉じた状態の舌のジェスチャー8つを94％の精度で識別できたため、操作する人に依存せず誰でも舌のジェスチャー操作が可能であることが今回報告されました。

引用元：https://dl.acm.org/doi/pdf/10.1145/3577190.3614120

操作方法は以下の8通りが紹介されています。

ジェスチャーの名前	説明
シングルタップ	舌で上の前歯を一回タップ
ダブルタップ	舌で上の前歯を二回タップ
シェイク	舌を左右に何回か振る
左頬	舌で左頬をタップ
右頬	舌で右頬をタップ
口底	舌で下の歯の裏をタップ
カールバック	舌を上に巻き口の奥の方に向ける
バイト	舌を前歯で優しく噛む

何より気になるのは、舌で操作をするとなると外から見たら滑稽な感じになるのでは？という点ではないでしょうか。しかしその心配はご無用。このシステムではユーザーは口を閉じたまま、唇やあご、舌を最小限に動かすだけで様々な操作ができるのです。そのため公共の場でも気にせず使うことができますね。

また従来まで、舌の動きを認識するには口元もしくは口の中に特別な装置を設置する必要がありましたが、この研究では脳波や血流の変化、筋肉内の電流の流れ、脳や目の動きを基に感知します。そのため、ユーザーからすると異物感を気にすることなく操作することが可能となり、外から見ても普通のヘッドマウントディスプレイを装着しているのと何ら変わらない見た目で操作することが可能となりました。

舌に「食べ物を味わう」以外の役割ができた感じだね！

さらにこの研究では、舌操作研究用のヘッドマウントディスプレイを一から設計開発したのではなく、既存の市販のものに特別なセンサーを取り付けることで舌操作を可能にしました。このことから、新規に発売するヘッドマウントディスプレイだけでなく、既に販売されているものへの拡張機能としても実装される可能性があります。

また「今まで手でやってたんだから手による操作でいいじゃん」と思われる方もいるかもしれませんが、手で行っていた操作をすべて舌での操作に置き換えるわけではなく、一部の簡単な動作のみを舌で行ってその分手はより複雑な操作を担うことも考えられます。これにより今までよりも作業効率が上がるだけでなく、遠隔医療や遠隔ロボット操縦など複雑な操作を要する作業への貢献も期待されますね。