人間の意思をロボットや機械、コンピュータに伝えるヒューマンインターフェース（HI）。より使いやすく・小さく・軽く･･･と進化を続け、ついに家庭用ゲーム機では、コントローラを持たずに身ぶりで操作できるHIも登場した。ただし、まだ万能ではない。さらに進化したHIを目指し、研究開発が各所で進んでいる。研究者が次世代HIに求める機能では「おもてなし」「透明」「サクサク」がキーワードだ。
HIは過去、様々な形態のものが生み出されてきた。ゲーム機のコントローラやジョイスティック、パソコンのキーボード、マウス、最近では米Apple社の情報端末「iPad」やスマートフォンのタッチパネルなど様々。機器には必ず何らかのHIがある。
HIの進化を間近に見ることができるのはゲーム機器の分野。任天堂の家庭用テレビゲーム機「Wii」が、センサで手の動きを感じ取って操作することができるモーションキャプチャ的なコントローラを搭載し、体感型ゲーム分野を開拓した。これに続く技術が続々と登場している。
ソニー・コンピュータエンタテインメント（SCE）が今秋にも発売する「プレイステーション（PS）３」向けモーションコントローラ「PSムーブ」（写真左）は、手に持った球状マーカーの動きをカメラが追い、直感的な操作を再現する。身振りだけでは難しい操作を、サブコントローラが補う点が新しい。
また、米Microsoft社の「XBox360」向けの新システム「Kinect（キネクト）」（写真右）は、カメラやセンサによりユーザーの身振りや声を3次元で検知。画面内のキャラクターの動きに再現する。コントローラがないため何物にも拘束されず、自分の意志を直感的に機器へ伝える究極のHIと言える。
これら最新のHIは、カメラや加速度センサ、角度センサなど人の動きを精度良く捉える要素技術が高度化したのと同時に、小型・軽量化、低価格化を果たし、製品化に至った。特にセンサの小型化にはMEMS技術の発達が寄与した部分が大きい。低価格化は家庭用ゲーム機の普及によるカメラやセンサーなどの量産効果が追い風となった。
しかしながら、「Kinectは改善の余地がある」と指摘するのは、東京大学の石川正俊教授。「人間の本気のキックを捉えることができないはずだ」。
キネクトは1秒を60コマで捕捉するセンサで人の動きを追う。人間のキックは時速90km程度。これではキックするときの脚の方向を正確に捉えられないという。「250～300コマはないと、感覚のズレに敏感な“ゲーマー”に不満が出るかも知れない」（石川教授）。
これに対し、石川教授らは1秒間に1,000フレームで動きを検知する高速度カメラを使い、応用研究を進めている。ここまで高速のカメラがあれば、大抵の動きを捉えることができ、HIにリアルタイムでの応答が可能になる。
最近の成果では、あらかじめ取り込んだ脳内の3次元データから作る断面図を見る際、手に持った表示パネルを動かすだけで、切り口が自在に変わるシステム「ボリュームスライシングディスプレー」（写真左）を開発した。
外部カメラがパネルの位置と姿勢を把握し、それに応じて表示をリアルタイムに切り替える。医師が脳や体を画像診断する場合など、マウスやキーボードの操作では手間がかかるが、これだと直感的に見たい部分を見られる。
空中で指を動かすだけで文字入力できる携帯機器向けインターフェースも開発した（写真右）。小型カメラで指の動きを3次元的に検出。カーソルの動きに当てはめ、画面上のキーボードを操作する。画面に立体の線も描け、キーボードに代わるHIとしても注目される。
新技術を利用すれば、過去にない機能を付加できるかも知れない。多くの研究者が次世代HIに「おもてなし」の機能が搭載されると見ている。例えば、ある命令を出すため、タッチパネル画面に触ろうとすると「あなたがその命令を出すと、こういう影響が出ますよ」と注意が表示される。
旅館に宿泊したり、レストランで食事をしたりすると、スッと欲しいモノが出てきたり、してほしいことをしてくれたりする。その感覚を機器の操作でも味わえる。
不可欠なのが人の行動予測だ。現在の研究では対象となる人の行動履歴を蓄積することで、ある程度の予測が可能になっている。大阪大学の前田太郎教授らは、肘の角度や手の甲の姿勢などを把握するセンサ情報を利用。被験者にセンサを着けて数十回ジャンケンをしてもらい、各種情報を蓄積することで、ジャンケン動作が終わる0.3秒の間に、被験者が次に何を出すかをリアルタイムで予測することができた。当たる確率は、約0.1秒の段階で85％、0.2秒では95％になる。
ここで使われるのは、天気予報などに見られる短期的なシミュレーション技術。コンピュータの計算力を生かし、仮想上で時間を早回しして行動を先読みする。慶応義塾大学の稲見昌彦教授は「人間はほとんど予測外の行動はしない。また、データの蓄積があれば『予測外のことをする』ということも予測できる」と言う。
「知能がなくても眼だけで先読みが可能」という研究成果もある。広島大学の石井抱教授らは、１/1,000秒を捉えるカメラを用いて、人の指の動きをギリギリまで追い、100％勝つロボットシステムを開発。“究極の後出し”で、ずるをしているわけだが、人の行動を先読みする技術としては非常に有効だ。
慶大の稲見教授は、次世代HIには「使っている意識がまったくない『透明化』が必要になる」と訴える。その一例がペン。人間はペンで文字を書いているとき、ペンのことはまったく考えず体と同じ感覚で使っている。この没入感こそがHIを快適に使うための重要な要素だ。理化学研究所脳科学総合研究センターの入来篤史チームリーダーらも、ニホンザルの実験で道具を使いこなしているとき、脳が道具をあたかも体の一部のように捉えることを証明している。
透明化を実現するのに大事な要素が反応性だ。パソコンや携帯電話をいじっていて、不快に感じる瞬間がある。それは、タイプした文字がなかなか表示されなかったり、クリックした画面が次に移らなかったりといった、操作と実行の「タイムラグ」にあることが多い。中断なく進んでいくことを「サクサクいく」と言うが、これこそHIの使いやすさに欠かせない。
くすぐり実験という有名な脳機能実験がある。自分をくすぐってもくすぐったくないのはなぜかを探るものだ。レバーを動かすと、はけが手をくすぐる装置を利用し、自分でレバーを操作してもらう。その際、はけの動き出しにディレイ（遅れ）をつけていく。すると、同時に動きだすとくすぐったくないのに、数分の１秒動き出しが遅れるとくすぐったく感じるようになる。つまり、時間の遅れが体から道具の一体感を離してしまい、HIの透明性が失われてしまうのだ。
HIが進化すると、どのような姿になるか。研究者の間では「用途によって違う」との意見が多い。
脳の血流量の変化などから「何をしたい」かを探るブレイン・マシン・インターフェース（BMI）や、音声認識、眼の動きを見る装置など、人の意図を探る技術は多様化している。これらの技術を組み合わせ、目的の機器との相性をベストにするのが、今後のHI研究だ。
これは技術でなくデザイン力の勝負になる。米Appleの「iPhone」「iPad」でわかるように、日本は技術があっても、それをユーザー受けする製品にするデザイン力が足りないと指摘される。デザイン力を向上するため、デザイン性を正当に評価することが求められる。大学でもユーザー指向の開発を行う力を植え付ける教育が必要だが、「長嶋茂雄やイチローのプレーを教えただけで、同じような選手になれないのと同じで難しい」（大学教授）のが実情だ。
■関連サイト
2010.07.16 東大の石川教授、傾けると脳の3次元断面図の切り口を自在に変えられるシステム開発
http://robonable.typepad.jp/news/2010/07/16ishikawa.html#tp
2010.03.24 東大発ベンチャー・エクスビジョン、高速画像処理や応用システムの構築で事業化
http://robonable.typepad.jp/news/2010/03/24exvision.html#tp
2010.01.06 東大の石川教授ら､従来比10倍の高速画像処理チップ開発､1秒で1,000フレーム識別
http://robonable.typepad.jp/news/2010/01/06ishikawa.html#tp
2009.12.28 東大の石川教授ら、空中でタイピングできる携帯機器向け新型インターフェース開発
http://robonable.typepad.jp/news/2009/12/28ishikawa.html
2009.08.27 東大の石川教授、ピンセットを扱えるハンド開発、多能工ロボットの実現が期待
http://robonable.typepad.jp/news/2009/08/20090827-6115.html
2009.08.13 東大の石川教授ら、書籍を電子データ化できる連続スキャンシステム開発
http://robonable.typepad.jp/news/2009/08/20090813-bfbd.html
20090803 東大の石川教授、2台のロボットでボールを投げ打ち返すシステムを披露【動画付き】
http://robonable.typepad.jp/news/2009/08/20090803-0f3e.html
トレンドウォッチ
東大・石川研究室、3月10日に超高速マニピュレーションシステム披露
－SORSTシンポジウム ロボット新世代 感覚運動統合理論に基づく『手と脳』の工学的実現－
http://robonable.typepad.jp/trendwatch/2010/02/post-100224.html
