Character as an Interface

まとめ

• 今回はピボットや取捨選択を経て、完成度はデバイスの制約も含めてまだまだながら、コンセプトとしては粘り強く本質的に価値のある部分にアプローチできたと感じている。特にNew Fingersは、次世代のスタンダードを取れる可能性のある、実はかなり野心的なプロジェクトとして実感を得ている。ぜひOSS公開を達成した際は、世界のあらゆる開発者に吟味してもらい、この可能性を伸ばしていってほしい。

おまけ1：最終的な形態以外の部分でコミットし、見えたこと

• 物理空間とのインタラクション：奇妙なことをしているプレーヤーのボディへの視線への配慮として、「Siriにボディを与える」というアイデアで、現実空間の中を動き回るキャラクターAIの作成にトライしたが、物理空間を動的に取得するのに過度な信用は難しいと感じた。具体的には、取得できていない場所にAIが差し掛かると床をすり抜けて落ちてしまったり、床に物が置いてあるだけで自動移動ができなかったり、狭い場所や座っている体制の時に壁にめり込まずに近くに来てもらうのが非常に難しいなど、現実のさまざまな変数に対応するのが非常に難しく、あえて挑戦すべきではないという結論になった。現実の物理空間との組み合わせは、壁や床や机を一時的に検知して何かを表示させる、など限定的な用法で変数の影響を抑える工夫が重要だと考えている。壁にバーチャルオブジェクトがめり込むことはあまりネガティブに捉える必要はなく、3次元の現実空間に、もう一つ違う次元の空間が張り付いていて、AR HMDからはそれを知覚することができる、そういった概念で扱えるといいのではないかと思う。
• それに関わり、現実空間とバーチャルオブジェクトはレンダリングというか、見え方が根本的に異なるため、現実空間のオブジェクトでバーチャルオブジェクトをオクルージョンすることが、全く効果的に見えない。ちょっとした輪郭のずれや、ワールドのバーチャルオブジェクトの存在を検知できなくなる問題と含め、課題が大きい。もしオクルージョンに拘るなら、壁に埋まると半透明になったりワイヤーフレーム表示するなどで、完全に消さない方法でビジュアライズできるといい効果が得られるかもしれない。総じて、デバイス側がカタログスペック的に「可能」であることが、本質的にその意義を発揮しているかはプロジェクトごとに精査していく必要がある。
• 音声入力：MLのマイク取得から、まずは文字起こしにトライしたが、API叩いてもなかなか難しかった。この次のステップに自然言語処理が待っていることを考慮し、Googleには勝てないという判断で今回はパスした。GoogleAssistantのAPIを使うなどでトライできると可能性はあると思う。

おまけ2：開発で見えたMagic Leapの課題(いくらかは愚痴)

• XR開発の現状は、やはりまだあらゆる意味でスタンダードが決まっておらず、新しいデバイスが出るたびに新しいことが可能になっているようであっても、実際に開発してみると実用レベルに達していないという部分が数多くあった。今回はその中でも将来性のある部分をプロジェクトとして開発していったと考えているが、その途中でピボットや、取捨選択した機能も多かった。今後もXRの開発には、そういった部分が必ずあることもスケジュールに入れる必要がある。以下は今回直面したMagic Leapの具体例。
• 安定感がない。開発時のイテレーションも通ったり通らなかったりし、再起動することで直ったり治らなかったりする。バージョンなど揃えても、デバイスを変えるとアイトラッキングが動かないといったような事態も頻発し、開発コストが高い。
• デバイスのハードデザインも悪く、装着しづらさや、ケーブルの取り回しの悪さも開発コストを上げている。
• 視野角が狭い
• 最短表示距離が長い。オブジェクトから目までの距離が40cmくらい以内で見えなくなってしまう。つまり、近くのものがほとんど見えない。
• ハンドトラッキングの精度が低い。MagicLeapのハンドトラッキングの精度はプロトタイプと言わざるを得ない。手が重なった状況や、少し複雑なジェスチャーをした時に使用に耐えるものでは無い。ちなみにハンドトラッキングの精度で言えば、Oculusの方はとてもよくできている。
• アイトラッキングの精度が低い。視野角の端の方ほど全然取れなくなる。また、デバイスでキャリブレーションをしないと個人差によってこれもまた精度低下の原因になる。