こんにちは、R4Dのikkouです。
すでに以前のメルカンでお伝えしたとおり、10月4日に開催された「Mercari Tech Conf 2018」（以下、MTC2018）では、オープニングと基調講演をVRライブ配信しました。メルカリ初の試みでしたが、Twitterでは 「一体感あるしおもしろい！」「リアルだ！」という感想が寄せられるなど、大変盛り上がっている様子でした。
では、どうやってVRライブ配信を決行したの？ ということで今回のメルカンでは、MTC2018のVRライブ配信の舞台裏をお伝えします。
3つのタイミングが重なり、VRライブ配信実施へ
まずは「なぜMTC2018でVRライブ配信をすることになったのか」についてです。
私がいるR4Dとは、メルカリの「新たな価値を生みだす世界的なマーケットプレイスを創る」というミッションをもとに設立した、社会実装を目的とした研究開発組織です。そのため、R4DのXRチームではVR・AR・MR領域の研究開発をしており、その一環としてVRChat（バーチャル空間内で音声ベースのコミュニケーションができるサービス）でメルカリ社内のMTGスペースを再現する計画を進めていました。
そんななか、バーチャルイベントサービス「cluster」でオリジナル会場のβテスターを募集中との情報をキャッチ。同時に、MTC2018の運営メンバーからも「なにか新しいことをできないか」という相談を受けていました。つまり今回のVRライブ配信は「もともとバーチャル空間でのメルカリMTGスペースをつくろうとしていた」「clusterでオリジナル会場のβテスター募集が始まった」「MTC2018で新しい試みをしたいという相談があった」という3つがタイミング良くそろい、実行することになったのです。
VR空間はcluster、全身3Dスキャン撮影はPsychic VR Labが協力
思い立ったが吉日です。さっそくclusterへ連絡し、MTC2018での実現に向けて話し合いをスタート。XRチームですでにMTGスペースのモデル自体を完成させていたので、そのままバーチャル空間に持ち込めるかを確認しながら、clusterに最適化したバーチャル会場データを完成させていきました。
メルカリのバーチャル会場作成と並行して進めていたのが、オープニングと基調講演に登壇する濱田と名村、Mok、曾川それぞれの3Dモデル作成です。ここでは全身3Dスキャン撮影をして作成しました。ご協力いただいたのは、株式会社Psychic VR Labの方々。しかし、撮影したデータをそのままcluster内に持ち込めないので、容量を小さくし、さらにVRMというフォーマットに変換。clusterに持ち込める適切なデータにしてから、動作などを確認しました。（しかし、曾川は撮影の時間をとれず……ロボットでの登場になってしまいました）
実はバーチャル会場の完成予定日、私を含むXRチームはアメリカ・サンノゼで開催されていたVR関連のカンファレンス「Oculus Connect 5」に参加していました。もしもの場合に備えて、サンノゼから修正対応ができるように開発機材一式を持って移動していましたが……完全に杞憂で終わりました。それほど、clusterとPsychic VR Labの方々が完璧なリードをしてくれていたということです。改めて、ありがとうございました。
こうして、無事にバーチャル会場が完成しました。バーチャル会場のデザインなどを担当したXRチームのインターン生・はいえろさんにこだわりを聞いてみたところ「MTGスペースにあるワゴンを、現実世界でのかわいらしい印象のまま再現することにこだわりました」「そのほか、現実世界をそのまま落とし込むのではなく、VRでも見やすく、動きやすいサイズを意識しました」とコメント。たしかに、ワゴンの再現性は高いです！
「登壇ごとにアバター入れ替え」を、たった2人で運用
今回のVRライブ配信は、現実世界とバーチャル空間の登壇が同時に行われる、いわばミラー配信のようなスタイルで実施していました。そうなると、現実世界でのスライド送りにあわせて、バーチャル空間でもスライドを送るオペレーションが発生します。また、用意できたアバターは2体。4名が登壇するVRライブ配信では、内容にあわせてアバターを入れ替える必要もありました。そのため、当日はXRチームの2名がPC2台で登壇するアバターを切り替えながら運用していました。
1：オープニングセッションに登壇する濱田のアバターとスライドをPC1で操作
2：次の基調講演で話す名村のアバターとスライドをPC2で設定し、待機
3：濱田のセッション終了後、現実世界にあわせてバーチャル空間でも登壇者を入れ替える
4：PC2で名村のアバターとスライドを操作
5：PC1は名村の次に基調講演を行うMokのアバターとスライドを用意して待機
6：名村の基調講演終了後、現実世界にあわせてバーチャル空間でも登壇者を入れ替える
7：PC1でMokのアバターとスライドを操作
8：PC2はMokの次に基調講演を行う曾川のアバターとスライドを用意して待機
綱渡りに近いオペレーションだったため、終始ヒヤヒヤ。しかし、周囲の協力もあり、当日は大きな事故もなくオープニングと基調講演のVRライブ配信を終えることができました。
課題になったのは臨場感と人力オペレーション
XRチームとしても、バーチャル空間を使った今回の試みは思っていた以上に成果のあるものになりました。一方で、課題に思うところもいくつかありました。
例えば、今回のVRライブ配信はHMD、いわゆるVRゴーグルを使わない状態で実施しています。そのため、本来は現実世界の登壇者と同じ動きをアバターで再現できるのですが、今回はスライド送りに同期しているだけの状態になっていました。当然ながら、現実空間とバーチャル空間を連動させたほうが臨場感は高まるというもの。もし次回も実施するならば、登壇者の身振り手振りをVRコントローラーで反映するなどしてもいいかもしれません。あるいは、登壇者の動きをセンサーなどでトレースし、バーチャル空間に持ち込むなどの解決策も考えられます。
先ほどもお話しさせていただいたように、当日はアバターを2体しか用意できず、登壇者が変わるごとに次の登壇者の3Dモデルに着替えさせていました。リスクの高い綱渡り状態での運用は「PC台数を増やせばオペレーションをもっと楽にできるのでは？」とも思いますが、それはそれで現実世界以上の面倒を強いることになりかねません。どちらにせよ、今後に向けて改善できる余地はじゅうぶんにあるので、次のトライにつなげたいと思っています。
「全セッションをVR配信したい！」
VRライブ配信を実施したことで、誰でも・どこからでもMTC2018の雰囲気に触れる機会をつくることができました。おかたく思われがちなカンファレンスを、身近に感じてもらえるきっかけにもなれたんじゃないかと思っていたりします。今回ご紹介したVRライブ配信は、基調講演パートのみYouTubeにアップしていますので、まだ見ていない人はぜひご覧ください。
今回はMTC2018のオープニングと基調講演のみでしたが、いずれは全セッションをVR配信する、あるいは完全にVR配信のみにできるような挑戦もしていきたい。それ以外でも、もしかするとAR配信のようなやり方も考えられるかもしれません。実現可能な妄想は、膨らむばかりです。
現在XRチームでは、遠方に住む候補者との「VR面接」を実施するほか、メルカリオフィスを体験できる「VRオフィスツアー」なども準備中です。今後もVR技術で世の中を驚かせる仕掛けをつくっているところなので、こちらも引き続きご期待ください！
プロフィール
諸星一行（Ikkou moroboshi）
XR Research Engineer。R4D発足に合わせて2017年9月より現職。日本バーチャルリアリティ学会認定VR技術者。XR技術者のためのコミュニティ”xR Tech Tokyo”の運営責任者。専門はVR/AR/MRといったXR領域。特にウェブブラウザにおけるXR技術であるWebXRの可能性を探っている。めぐるーまー。
「Mercari Tech Conf 2018」レポート記事
関連求人情報
Share
