名古屋大学工学部情報工学科 横井茂樹, 宮崎慎也
VRシステムでは、マウスやモニターなどの入出力装置の代わりにデータグローブやヘッドマウンテッドディスプレイなどのVRのための特別な入出力装置を用いる。データグローブやデータスーツは、人体の動きそのものを計測・入力することができ、人間が日常行っている自然な動作による入力を可能にする。また、ヘッドマウンテッドディスプレイは人間の頭の動きにあわせて目に見える映像が変化するので、モニターの映像を見る感覚ではなく、人間が日常外界のシーンを見ているのに近い感覚でものを見ることができる。このとき人間の動作に応じて、映像だけでなく音や体感など様々な感覚情報を合成して人間に伝えれば、人間はコンピュータの外にいるのにも関わらず、コンピュータ内に表現された世界にいる感覚を受けることになる。言い替えればコンピュータ内の仮想世界に入り込んだ体験ができることになる(図2)。
図1 CGシステム | 図2 VRシステム |
VRシステムの代表的な装置であるヘッドマウンテッドディスプレイとデータグローブをコンピュータに接続した装置である(図3)(1)(2)。
図3 ヘッドマウンテッドディスプレイとデータグローブ
[ヘッドマウンテッドディスプレイ(HMD)]: 頭部に搭載する立体表示装置で、頭の位置と動きを測定する3次元センサーが組み込まれている。ヘルメットのゴーグル部には2つの液晶表示装置を組み込んであり、コンピュータで計算された視差をもつ右目用と左目用のCG映像が表示されるので、体験者はCGの映像を立体感を持って観察できる。また、体験者が頭を動かすと、その動きは3次元センサーで測定され、コンピュータ側に伝えられる。コンピュータは体験者の現在の位置から見えるはずの映像を即時に計算して表示装置に与える。この結果、体験者はCGデータで与えられた仮想的な空間の中を観察し、自分の頭を動かすとその方向のシーンを見ることができる。CGの仮想空間の中にあたかも自分が存在しているように感じ、動き回ってあちこち見回すことができるようになるわけである。
[データグローブ]: データグローブは人間の手の動きを測定するための装置で、3次元位置を測定するセンサーや指の関節の曲げ角度などを計測するセンサーが組み込まれ、手袋の形をしている。これを手にはめることにより、手全体の空間位置と各々の指の曲げ状態を測定できる。この測定データをもとに、コンピュータ側では体験者の手の映像をCGのシーンの中に合成して表示する。仮想空間の中の手と他の物体との接触判定を行い、手の動きに合わせて物体も移動するようにあらかじめプログラミングしておけば、体験者はデータグローブをはめた手を動かしてCGの中の物体をつかんでうごかすことができる。また、ある位置で手を開くと物体が手から離れて下に落ちるようにしたり、物体を投げてある方向に飛んでいくようにすることも可能である。
結局、体験者はHMDを通じて観察されるCGのシーンの中を自由に動きまわり、データグローブ装置を通じてシーンのなかの物体を手で持ったり、動かしたりするような様々な操作を加えることが可能になる。体験者はまるでCGのシーンの中に自分が入り込んだような感覚で様々な体験をすることができる。
人間の手と指の動きに追随するマニピュレータをグラフィックスマシンと組合せ、手を動かすとそれに伴ってCG画面の中の手が連動して動く装置である。この装置はマニピュレータが手に反力を与えられるのが特徴で、仮想空間の中で手が物体に接触すると手に圧力を感じ、あたかも空間内の物体を触ったかのように感じるというものである(3)。この他にも、データグローブ装置の各指の部分に空気圧で触覚感を与える装置も開発されている。これらの装置は手の触感とCG映像を連動させることができるので、手を使った物体操作を疑似体験することが可能である。現在のところ手の動きや反力などの細かい制御はできていないが、将来性の高い装置である。
航空機の操縦室の複製をつくり、この中で操作を行う体験者に航空機の加速感や揺れなどの体感と、窓から見える外界のシーンのCG映像を与えることにより、航空機操縦の模擬体験ができるものである。すでに広く普及し、パイロットの訓練に欠かせないものになっている(4)。
従来の映画(実画像やCG)に組合せ、体感を与える装置を付加することにより、乗り物に乗って移動するシーンなどで実際に乗り物に乗っている様な感覚を与えるものである。最近博覧会などで人気を集めているが(5)、映像だけでなく体感も与えることにより疑似体験の感覚はよりレベルの高いものとなる。体感を与える機構は、フライトシミュレータを応用したもので部屋全体を動かす方式と、椅子だけ動かす方式がある。
テレイグジステンス(遠隔臨場感、遠隔存在感)という技術は、体験者が、自分の現在いるところではなく、遠く離れた世界で様々な体験をすることができるという意味で人工現実感の一種である(図4)(6)(7)。体験者が現在いるところで行った動作を測定し、遠隔地に送ってやり、そこにいるロボットに同じ動作をさせる。そしてロボットが受ける感覚情報をそのまま人間の方にフィードバックしてやると、体験者はあたかもロボットのいる場所に存在していて、見聞きしたり物に触れたりすることができる。原子力施設内の作業や体内に小さなロボットを入れて動作させることなどが考えられている。
図4 テレイグジステンス
人工現実感を実現する上でもう一つの重要な役割を示すのが、コンピュータ内に構築される仮想世界を記述するためのソフトウェアの技術である。仮想世界で人が見るシーンはコンピュータグラフィックスの映像であるが、このCG像は人が視線を変えたり、仮想環境の中の物体を操作したりすると、それらに従って変化してしまう。すなわち人工現実感では、刻々と変化していく仮想世界のCG像を高速に生成し、表示し続けることが必要となる。このため、今までに実現された仮想世界といえば、単一色のポリゴンを組み合わせた単調な映像の世界で、ブロックなどの単純な物体をつかんだり、移動したりする程度のものでしかなかった。
しかし、ここ数年の間に計算機の性能が急速に進歩したため、ソフトウェアにより記述され、しかも多大な計算時間が必要となるような、物体の本質的な性質を表す物理特性などの要素も仮想世界に取り入れることが可能となってきた。また、単一色のポリゴンも、仮想的に設定された光源により影をつけたり、物体に素材感を与える表面のテクスチャをポリゴンにマッピングすることがリアルタイムでできるようになり、映像の質も大きく向上した。
折り紙シミュレーションシステムはこのような、ある種の性質を与えられた仮想物体をリアルタイムで操作できるような仮想環境を、グラフィックワークステーション上でソフトウェア(C言語)により実現した例である。操作者はCG映像の中にある仮想の紙の頂点をマウスを使って直接移動することができ、仮想環境の中で実物の紙を折るのと同じように容易に折り紙を折ることができる(8)。操作者はマウスを移動するとき、自分の手の動きに合わせて変形する折り紙を見るため、実物の紙を扱っているような感覚を得ることができる。このシステムは、入力装置にマウス、映像出力にモニターを用いているのでどちらかといえばCGシステムに近いものであるが、ボタン入力により視点を自由に移動できるようにしてあるなどVRシステムへの移行を意識して作成してあるので、データグローブやヘッドマウントディスプレイを取り入れることにより、容易にVRシステムへ発展させることができる。
本文ではCGの現状について紹介し、CGの発展形態としての人工現実感の可能性について述べた。人工現実感の技術は、実際に現実感がどの程度まで実現できるかは今後の技術開発次第であるが、革新的な可能性を秘めている。
文献