このシステムは触覚や力覚に関する錯覚を利用して触感や手応えを提示する技術を応用したものであり、錯触力覚インターフェースに位置検出用マーカーを装着してユーザーの動作を認識し、それに合わせて触覚や力覚の提示をリアルタイムで制御して立体映像に触力覚を与える。触覚や力覚の提示に加えて視・聴覚など複数の感覚を統合したインターフェースの3次元化により、手術シミュレーターや3次元CAD（Computer Aided Design）による設計デザインへの応用が期待される。
なお、この技術の詳細は、2010年8月31日（火）～9月2日（木）にパシフィコ横浜 会議センターで開催されるゲーム開発者向けカンファレンスCEDEC 2010で発表・展示される。
 |
 |
 |
図1 開発した高感度・非ベース型錯触力覚インターフェース（左）、触れる立体テレビ（中）、位置測定用マーカーを装着した錯触力覚インターフェース（右） |
||
従来、触覚や力覚の提示法は、ロボットアーム型のインターフェースが主流であったが、複数の指や両手で操作したときにアーム同士がぶつかってしまうなど装置自体がユーザーの動作の邪魔になってしまうことがあった。近年では、偏心モーターを用いて持ち運びできるような小型の機器が開発されているが、映像との接触を偏心モーターによる振動で示すため、力の方向を提示できず映像との違和感が生じていた。また、これらの触力覚インターフェースは、実体が存在しない3次元空間で、感触や手応えを与える十分な機能・性能が達成されていない。
リアルタイムVR空間生成システムは、コンピューター内のVR空間で、環境や物理モデルの動きをシミュレーションして、動きに合わせた反力や立体映像を生成するシステムである。ユーザーの動作や指の位置から物理モデルに働く力を計算し、この力による物理モデルの変形・動作がシミュレーションされて、ユーザーに働く力や立体映像が生成される。ユーザーの動作に対する応答を生成する一連の処理がリアルタイムで行われる。
マルチ・ポジション・トラッカーシステムは、ユーザーを複数のカメラで取り囲み、指先に装着したマーカーの位置を測定するシステムである。複数台のカメラを使用することで死角のない測定が可能である。
錯触力覚デバイスは産総研で開発した「GyroCubeSensuous」を採用している。
 |
図2 i3Spaceのシステム構成 |
① 立体映像の可触化（図3）
通常のタッチパネルは接触対象であるパネルが平面であるため、操作ポイントの選択や確認が容易である。しかし、立体映像に対するタッチ操作では、触ったという触力覚フィードバックがないと接触の確認のため、映像上の接触点を凝視しなければならず、また、立体映像からの反力がないために自然な操作性が得られにくい。そこで、このシステムでは、指先の位置を測定し、指と立体映像との接触および力の相互作用を計算し、その力を錯触力覚インターフェースで提示することで立体映像に指で触れた感覚を与えている。
指を押しつけるという動作に対して、抗力や摩擦力を再現することは、指の動きと力の方向が一致しない場合や実体が存在しない立体映像の場合は難しい。また、静止した指に対して力を感じさせ続けることはさらに難くなる。このシステムでは振動に対する錯覚を利用することで実体が存在しない立体映像でも触力覚の提示を可能としている。
また、立体視では、映像が手元に見えるように飛び出し感を強調し過ぎると眼精疲労の原因になりかねない。これは、右眼および左眼に入射する映像の分離が悪くなることと、ユーザーが感じる立体映像の位置と実際のディスプレー画面における画像の位置が一致しないことによる。そこで、このシステムでは立体像と指の位置を一致させずに、立体映像にかざした指先に手応えを提示する間接的可触化を行っている。
② 3次元マルチタッチ（図4）
タッチパネル上でのマルチタッチでは、複数の指とタッチパネルとの接触および接触点の移動により、移動・拡大・縮小・変形などの操作が直感的に行われている。これに対して、このシステムでは、マルチ・ポジション・トラッカーシステムによって6方向から同時に複数の指の動きを測定するので、指の動きが手のひらによって隠されることなく、指の位置から、指と立体映像との接触、立体映像をつまんだクリップ動作、クリップした後の拡大・縮小動作が検出できる。これをもとに、立体映像と指との間に働く感触や手応えを計算し錯触力覚インターフェースを制御することで、力を感じさせている。この技術により、複数の指先の動作で立体映像の移動・変形・回転操作を3次元で直感的に行うことが可能になっている。
 |
 |
図3 立体映像からの感触や手応えを得ている様子 |
図4 3次元マルチタッチ（変形） |
●応用：力覚フィードバックを用いた3次元CADによる設計デザインの支援（図5）
従来のCADによる設計デザインでは、形状情報の入力はマウスやキーボードによる数値入力によって行われてきた。最近ではデザイン性を重視した家電製品の人気が高く、コンセプトイメージを表した感性的なデザイン画をもとに設計を行うため、設計図作製者が形状情報をCAD用に数値化する必要がある。このとき、デザイナーの意図が数値データには十分に反映されないことが頻繁に発生している。今回開発したシステムを応用することで、立体映像の変形による反力を力覚で確認しながら変形具合を調整し、3次元形状をデザインすることが可能となり、同時にデザイン結果が数値データとして得られる。また、足元のバランスセンサーにより体重移動および姿勢をモニタリングすることで3次元空間内での視線の移動を補助できる。ろくろを用いた陶芸のように、立体映像を回転させ感触で確認しながら壺の立体造形を行うことができ、感性を刺激しながらの創作活動を支援することができる。
 |
 |
図5 力覚フィードバックによる3次元デザイン支援 |
|
 |
図6 今後想定される応用 |
◆触力覚インターフェース（接地型・身体内ベース型、非ベース型、非接触型）
触覚および力覚情報を提示するインターフェースで、主に「接地型・身体内ベース型」、「非ベース型」、「非接触型」の3つに分類できる。
接地型は、アームやワイヤーの抗力や張力によって人に力覚を提示するもので、反力を支えるベースが必要である。身体内ベース型では、反力を支えるベースがユーザー自身の身体内にあるため、物を押している感覚や外部から力を受けたという感覚に乏しいなどの問題点があった。
これに対して、非ベース型インターフェースは、フライホイールの回転反力や錘の反動を利用することで、ベースなしで人に働く力覚の提示が可能である。複数台を利用しても接地型のようなアーム・ワイヤーの衝突・干渉がない。
非接触型は、風圧や超音波の非線形効果によって発生する音響流や振動によって力覚を提示させる。非接触型はインターフェースを手に持ったり指に装着したりする必要がないが、接地された装置本体と手のひらの間に障害物があると風圧や音波が遮蔽されて使えず、複数の指や複数の人が存在する空間での利用が難しい。また、わずかな力覚（0.29重量グラム）を発生させるために必要な超音波の音圧レベルは120デシベルを超えてしまい、大きなエネルギーが必要となる。[戻る]
◆マルチタッチパネル
従来は1本の指のみの接触しか検出できなかったタッチパネルを、複数の指でも同時に検出できるようにしたタッチパネル。指間の距離や角度に応じた画像の拡大・縮小および回転操作が可能になり、マウスで行っていた拡大・縮小操作が1つの動作で直感的に行える。最近では、大型のPCディスプレーをはじめ、スマートフォンなどで用いられている。[戻る]
◆GyroCubeSensuous
産総研が開発した非ベース型錯触力覚インターフェース。振動に対する錯覚を利用することで、非ベース型でありながら任意の方向に連続的に力を感じさせるインターフェースを実現している。また、10グラムという「装着感が少ない日常サイズ」を実現しており、リモコン組込型、指先装着型、スタイラス型が可能である。
今回開発したシステムでは指先装着型を利用しており、立体映像に感触や手応えを与え、自然な操作性を実現している 。[戻る]
◆可触化
直接見ることができない現象などを見ることのできるものにすることを可視化と呼ぶのに対し、触力覚を用いて情報提示を行う手法を可触化と呼ぶ。ホログラムや立体ディスプレーの映像は目には見えるが直接触れることができないが、可触化技術を使い触力覚情報を付加すれば、触れるようになる。[戻る]
◆触力覚フィードバック
人がバーチャル物体に触ったときに適切な反力が返されると、そこにあたかも物体があるかのように感じられる。このとき、触った力に対する反力の提示が力覚フィードバックであり、反力の大きさを変えることによってバーチャル物体が柔らかく感じられたり、硬く感じられたりする。[戻る]
