コンテンツ
ハードウェアおよびソフトウェア製品が市場に豊富にあり、革新に拍車をかけるためにリソースが注がれているため、最終的には革命に深く入り込んでいます。ただし、この分野で主要な製品が発売されてから1年以上が経過し、仮想現実を主流の成功に導くキラーアプリケーションを待っています。私たちが待つ間、新しい開発により仮想現実がより実行可能な商業オプションになり続けていますが、特にモバイルVRの分野では、克服すべき技術的障害がまだいくつかあります。
限られた電力バジェット
モバイルバーチャルリアリティアプリケーションが直面している最も明白でよく議論されている課題は、デスクトップPCと同等の場合と比較して、電力バジェットと熱の制約がはるかに制限されていることです。バッテリーから集中的なグラフィックアプリケーションを実行することは、バッテリーの寿命を維持するために、低電力コンポーネントとエネルギーの効率的な使用が必要であることを意味します。さらに、処理ハードウェアが着用者に近いため、サーマルバジェットをそれ以上高くすることはできません。比較のために、モバイルは通常4ワット未満の制限内で動作していますが、デスクトップVR GPUは150ワット以上を簡単に消費できます。
モバイルVRがデスクトップハードウェアに匹敵するものではないことは広く認識されていますが、それは消費者が鮮明な解像度で高フレームレートの没入型3Dエクスペリエンスを要求していないという意味ではありません。
モバイルVRはデスクトップハードウェアとは相性が良くないことは広く認識されていますが、消費者がより限られた電力にもかかわらず、鮮明な解像度で高フレームレートの没入型3Dエクスペリエンスを要求しないという意味ではありません予算。 3Dビデオの視聴、360度再現された場所の探索、さらにはゲームまで、モバイルVRに適したユースケースはまだたくさんあります。
一般的なモバイルSoCを振り返ると、これはあまり評価されない追加の問題を引き起こします。モバイルSoCはまともなオクタコアCPU配置といくつかの注目に値するGPU電力でパックできますが、前述の電力消費と熱的制約の両方のため、これらのチップを完全に傾けて実行することはできません。実際には、モバイルVRインスタンスのCPUは可能な限り短時間で実行したいため、GPUを解放して限られた電力バジェットの大部分を消費します。これにより、ゲームロジック、物理計算、バックグラウンドのモバイルプロセスに使用できるリソースが制限されるだけでなく、立体視レンダリングの描画呼び出しなどの重要なVRタスクにも負担がかかります。
業界は既にこのソリューションに取り組んでおり、モバイルに適用されるだけではありません。マルチビューレンダリングはOpenGL 3.0およびES 3.0でサポートされており、Oculus、Qualcomm、Nvidia、Google、Epic、ARM、Sonyの貢献者によって開発されました。マルチビューでは、ビューポイントごとではなく、1回の描画呼び出しで立体視レンダリングが可能になり、CPU要件が軽減され、GPU頂点ジョブも縮小されます。このテクノロジーにより、パフォーマンスが40〜50％向上します。モバイル分野では、Multiviewはすでに多くのARM MaliおよびQualcomm Adrenoデバイスでサポートされています。
今後のモバイルVR製品に登場すると予想されるもう1つのイノベーションは、中心窩レンダリングです。視線追跡技術と組み合わせて使用される中心窩レンダリングは、ユーザーの正確な焦点を最大解像度でレンダリングするだけで、周辺視野内のオブジェクトの解像度を下げることにより、GPUの負荷を軽減します。これは人間の視覚システムをうまく補完し、GPUの負荷を大幅に減らすことができるため、電力を節約したり、他のCPUまたはGPUタスクのためにより多くの電力を解放したりできます。
帯域幅と高解像度
モバイルVRの状況では処理能力が制限されますが、プラットフォームは、低遅延、高解像度のディスプレイパネルの要求を含む、他の仮想現実プラットフォームと同じ要件に依然として守られています。 QHD（2560 x 1440）解像度またはRiftヘッドセットの片目あたり1080 x 1200解像度を誇るVRディスプレイを見た人でさえ、おそらく画像の鮮明さに少し圧倒されているでしょう。目が画面に非常に近く、動きの際にエッジが特にざらついたりギザギザに見えたりする場合、エイリアシングは特に問題となります。
モバイルVRの状況では処理能力が制限されますが、プラットフォームは、低遅延、高解像度のディスプレイパネルの要求を含む、他の仮想現実プラットフォームと同じ要件に依然として守られています。
ブルートフォースの解決策はディスプレイの解像度を上げることで、4Kが次の論理的な進歩です。ただし、デバイスは解像度に関係なく高いリフレッシュレートを維持する必要があり、60Hzが最小と見なされますが、90Hzまたは120Hzがさらに望ましいです。これにより、現在のデバイスの2倍から8倍のシステムメモリに大きな負荷がかかります。モバイルVRのメモリ帯域幅は、共有プールではなく高速の専用グラフィックメモリを使用するデスクトップ製品よりも既に制限されています。
グラフィック帯域幅を節約するための可能なソリューションには、OpenGLおよびOpenGL ESの公式拡張であるARMおよびAMDのAdaptive Scalable Texture Compression（ASTC）標準またはロスレスEricsson Texture Compression形式などの圧縮技術の使用が含まれます。 ASTCは、ARMの最新のMali GPU、NvidiaのKeplerおよびMaxwell Tegra SoC、Intelの最新の統合GPUのハードウェアでもサポートされており、一部のシナリオでは非圧縮テクスチャの使用に比べて50％以上の帯域幅を節約できます。
テクスチャ圧縮を使用すると、3Dアプリケーションに必要な帯域幅、遅延、メモリを大幅に削減できます。ソース– ARM。
他の手法も実装できます。テッセレーションを使用すると、他のかなりのGPUリソースが必要になりますが、よりシンプルなオブジェクトからより詳細なジオメトリを作成できます。遅延レンダリングとピクセルフォワードキルは、オクルードピクセルのレンダリングを回避できますが、ビニング/タイルアーキテクチャを使用して、画像を小さなグリッドまたはタイルに分割し、それぞれを個別にレンダリングして、帯域幅を節約できます。
あるいは、または好ましくは、開発者は、システム帯域幅へのストレスを軽減するために、画質を犠牲にすることができます。ジオメトリ密度を犠牲にするか、負荷を軽減するためにより積極的なカリングを使用できます。また、頂点データの解像度は、従来使用されていた32ビット精度から16ビットに下げることができます。これらの手法の多くはすでにさまざまなモバイルパッケージで使用されており、これらを組み合わせることで帯域幅への負担を軽減できます。
メモリはモバイルVR空間での主要な制約であるだけでなく、かなり大きな電力消費者でもあり、多くの場合CPUまたはGPUの消費量に相当します。メモリ帯域幅と使用量を節約することにより、ポータブル仮想現実ソリューションはバッテリー寿命が長くなります。
低遅延および表示パネル
遅延の問題について言えば、これまでのところ、OLEDディスプレイパネルを搭載したVRヘッドセットのみを見てきましたが、これは主にミリ秒未満の高速ピクセルスイッチング時間によるものです。歴史的に、LCDは非常に高速のリフレッシュレートでゴーストの問題に関連付けられており、VRには適していない。ただし、非常に高解像度のLCDパネルは同等のOLEDよりも安価に製造できるため、この技術に切り替えるとVRヘッドセットの価格を手頃な価格に下げることができます。
モーションからフォトンのレイテンシは20ミリ秒未満である必要があります。これには、動きの登録と処理、グラフィックスと音声の処理、ディスプレイの更新が含まれます。
ディスプレイは、仮想現実システムの全体的なレイテンシーにおいて特に重要な部分であり、多くの場合、シームレスとサブパーエクスペリエンスの違いを生み出します。理想的なシステムでは、モーションからフォトンまでの待ち時間（頭を動かしてからディスプレイが応答するまでの時間）は20ミリ秒未満である必要があります。明らかに50msのディスプレイはここでは良くありません。センサーと処理のレイテンシーにも対応するために、パネルは5ミリ秒未満であることが理想的です。
現在、OLEDを優先するコストパフォーマンスのトレードオフがありますが、これはすぐに変わる可能性があります。バックライトの点滅などの最新技術を利用した、より高いリフレッシュレートと短い黒から白への応答時間をサポートするLCDパネルは、法案にうまく適合します。ジャパンディスプレイは昨年そのようなパネルを披露しましたが、他のメーカーも同様の技術を発表するかもしれません。
オーディオとセンサー
一般的な仮想現実のトピックの多くは画質を中心に展開しますが、没入型VRには高解像度で空間的に正確な3Dオーディオと低遅延センサーも必要です。モバイル分野では、これはすべて、CPU、GPU、およびメモリに影響する同じ制限された電力バジェット内で実行する必要があり、これはさらなる課題を提示します。
以前に、センサーのレイテンシの問題に触れました。この問題では、モーションからフォトンへの20ミリ秒未満のレイテンシ制限の一部として動きを登録および処理する必要があります。 VRヘッドセットが6度の動き（X、Y、Z軸のそれぞれでの回転とヨー）に加えて、アイトラッキングなどの新技術を使用することを考えると、収集および処理するかなりの量の一定のデータがすべて最小限に抑えられますレイテンシー。
このレイテンシを可能な限り低く抑えるためのソリューションには、ハードウェアとソフトウェアの両方がこれらのタスクを並行して実行できるエンドツーエンドのアプローチが必要です。幸いなことに、モバイルデバイスでは、専用の低電力センサープロセッサと常時接続テクノロジの使用が非常に一般的であり、これらはかなり低電力で実行されます。
オーディオの場合、3D位置はゲームなどで長い間使用されている手法ですが、現実的な音源のポジショニングに必要な頭部伝達関数（HRTF）と畳み込みリバーブ処理の使用は、プロセッサを集中的に使用するタスクです。これらはCPU上で実行できますが、専用のデジタルシグナルプロセッサ（DSD）を使用すると、処理時間と電力の両方の点で、これらのタイプのプロセスをより効率的に実行できます。
これらの機能と既に説明したグラフィックスおよびディスプレイの要件を組み合わせると、複数の専用プロセッサを使用することがこれらのニーズを満たす最も効率的な方法であることは明らかです。クアルコムは、その主力製品と最新の中間層Snapdragonモバイルプラットフォームの異種コンピューティング機能の多くを活用しており、さまざまな処理ユニットを単一のパッケージに組み合わせて、これらのモバイルVRニーズの多くを満たすのに適した機能を備えています。スタンドアロンのポータブルハードウェアを含む多くのモバイルVR製品で、パッケージのタイプが使用される可能性があります。
開発者とソフトウェア
最後に、これらのハードウェアの進歩はどれも、ソフトウェアスイート、ゲームエンジン、および開発者をサポートするSDKなしではあまり良いものではありません。結局のところ、すべての開発者がすべてのアプリケーションのホイールを再発明することはできません。幅広いアプリケーションを使用する場合は、開発コストを低く抑え、可能な限り高速に保つことが重要です。
特に、SDKは、非同期タイムワープ、レンズ歪み補正、立体視レンダリングなどの主要なVR処理タスクの実装に不可欠です。異種ハードウェアセットアップでの電力、熱、および処理の管理は言うまでもありません。
幸いなことに、主要なハードウェアプラットフォームメーカーはすべて、開発者にSDKを提供していますが、市場はかなり細分化されており、クロスプラットフォームサポートが不足しています。たとえば、GoogleにはAndroid用のVR SDKと人気のUnityエンジン専用のSDKがあり、OculusにはGear VR用にSamsungと連携して構築されたMobile SDKがあります。重要なこととして、Khronosグループは最近、クロスプラットフォーム開発を容易にするために、デバイスレベルとアプリケーションレベルの両方のレイヤーですべての主要なプラットフォームをカバーするAPIを提供することを目指したOpenXRイニシアチブを発表しました。 OpenXRは、2018年以前に最初の仮想現実デバイスでサポートされる可能性があります。
要約
いくつかの問題にも関わらず、技術は開発中であり、ある程度はすでにここにあるため、モバイルバーチャルリアリティは多くのアプリケーションで機能します。また、モバイルVRにはデスクトップ同等のものには適用されない多くの利点があり、投資や興味をそそる価値のあるプラットフォームであり続けます。ポータビリティの要因により、モバイルVRは、より強力なPCに接続されたワイヤを必要とせずに、マルチメディアエクスペリエンスや軽いゲームのための魅力的なプラットフォームになります。
さらに、バーチャルリアリティ機能を備えた市場に出回っている膨大な数のモバイルデバイスは、最大のターゲットオーディエンスにリーチするための最適なプラットフォームになっています。バーチャルリアリティが主流のプラットフォームになるにはユーザーが必要であり、モバイルは最大のユーザーベースです。
