Facebookがオープンソース化した「Deep Focus」って何？

Facebookがオープンソース化(無償公開)したVR用レンダリングライブラリ「Deep Focus」をご存知でしょうか？

近年、VRの普及により非日常的な映像世界を気軽に体感できるようになりました。

FacebookもVRの世界に参入することになり、ますます幅が広がっていくでしょう。

ところで、Deep Focusは、ほかのVRのソフトウェアとどう違うのでしょうか？

そこでこの記事では、まだ馴染みの浅い「Deep Focus」がどんな特徴を持っているのか、詳しくご紹介していきます。

Deep Focusとは？

Deep Focusは、「SIGGRAPH Asia 2018」でFacebookが発表したVRの新技術です。

従来のVR空間とは違い、VR映像を視線によってピントを合わせてみたり、かすませてみたりするなどの効果があるため、リアルな没入感が味わえ、より奥行きのあるリアルな体感を楽しめます。

Deep Focusの特徴

前述にもありましたが、Deep Focusは、近くのものや遠くのものに対して瞬時に焦点を合わせるという特徴があります。

肉眼で自分の近くや遠くの風景などを眺め、自然に視点を合わせる感覚をVRで再現しました。

従来のVRヘッドセットは光の位置が固定のため、焦点を変えられないことがデメリットでした。

そのため、VR体験中に視界の違和感が生じて不快に感じてしまうことがあったり、酷い場合だと「適合的眼球離反運動の不一致」と呼ばれる現象が起こしてしまったりすることもありました。

これは脳が立体視した結果の奥行きと目に見えている画像が一致しないことが原因で起こり、目が疲れてしまうというものです。

その不快感を解消したものがDeep Focusであり、瞬時に焦点を合わせられるという特徴です。

誰でも使用可能

Deep Focusは誰でも使用が可能となっています。

「DeepFocus」がオープンソースされると同時に、訓練用データも公開されています。

「DeepFocus」はハードウェアに依存せず、VRのヘッドマウントディスプレイ、ライトフィールドディスプレイを伴うARのヘッドセットでも使用することができます。

Facebookは、Deep Focusが、VRシステムを開発するエンジニアや画像処理や視覚に関する研究者たちの力になりたいとも語っています。

ただ、一般ユーザーが利用するにはアイトラッキングアイトラッキング機能が必要な上にPCの負荷が大きく、映像の質はあまり良くないということが難点です。

AIを駆使した高い技術

「DeepFocus」は、ディープラーニング（深層学習）ベースの画像分析を行っており、これまでのAIシステムとは少し違うようです。

AIとディープラーニングを利用することにより処理速度を上げることが可能になり、イベントでデモを実施できるまでの軽量化に成功しました。

カラー画像・デプス画像を用いて、リアルな映像のくっきり具合・ぼやけ具合の高技術を実現しています。

視線の先のベストな位置で高解像性を維持しながら、裏で画像処理プロセスを進行させて奥行きのある映像が楽しめます。

ネットワーク構成は、焦点の合わない位置に深度合成、多層レイヤーの分解、多視点イメージを正確に同期するよう仕組みとなっています。

まとめ

Facebookは、DeepFocusをオープンソース化したことにより、VR・AR業界の利益を向上させるといった狙いだけではなく、画像処理や視覚の研究者たちに貢献できればという思いが詰まっているようです。

しかし、一般の利用にはアイトラッキング機能が必要な上にPCの負荷がまだまだ大きく、快適なVR体験を楽しむためにはもう少し時間が必要なようです。