メルカリグループでは創業まもないころから経営はもちろん、プロダクト開発でも多くのデータを活用してきました。その様子は、これまでのメルカンでもお伝えしていました。

…なのですが！メルカリには「どんなデータが集まっているのか」「プロダクト開発にどう活用されているのか」──知りたいのはそこんところです。

そこで今回のメルカンでは、アプリ内の商品推薦機能などを手掛けるレコメンデーションチームのプロダクトマネージャーである古澤智裕（@furufuru）と、データアナリストの柳沼慎哉（@yaginuuun）が登場。さっそく、データ活用に関する疑問をぶつけてみたところ…？

※撮影時のみ、マスクを外しています

メルカリならではの「データの特徴」は？

ーひとくちに「データ」と言えど、企業やサービス内容によって特徴はさまざまかと思います。メルカリの場合、どんな特徴がありそうですか？

@furufuru：前提として、メルカリは嬉しいことに多くのお客さまに使っていただいている＆細かなデータを丁寧に取得できるようになっています。そのため、大きな特徴として「メルカリはデータ量が多い」「細かな動きがわかるデータが揃っている」と言えますね。

もう1つ特徴を挙げるならば、メルカリでは「データをどのように取得するか」という設計段階から参加できるところでしょうか。そのため、データのライフサイクル全体を把握しながら新機能立案や改善に取り組めます。このあたりは組織や事業規模が大きくなると担当領域以外のデータを見られなくなったりするんですが、メルカリはそうじゃない。「このデータを蓄積しておけば、のちのち使えるんじゃないか」といった起点から考え、分析できる。ここは、データ関連の業務を行う人であれば面白みを感じるところかと思いますね。

古澤智裕（@furufuru）

@furufuru：そのなかで、僕らは「お客さまの行動ログ」「お客さまの声」を中心に見ながら、機能開発や改善をしています！

・ お客さまの行動ログ（アプリ内での動き）
・ お客さまの声（ユーザーインタビューやアンケートで得た声）

@yaginuuun：上記の2つはセットになるケースが増えてきています。機械的に得たお客さまの行動ログだけでは「なぜその行動をしたのか」がわからないことも多いです。そこで、開発サイドが能動的に問いを設定し、直接的に仮説を検証できるようなユーザーインタビューやアンケートなどの手法も組み合わせることで、より効果的に分析を行っていこうと言う取り組みが増えてきています。

ー行動ログの意味付けを探しにいくような？

@furufuru：ですね。例えば、お客さまがメルカリで5つほどアイテムを見ていて、なかでも3つ目のアイテムをすごく見ていたけれど「結局何も購入しなかった」とします。じっくり検討した結果やめたのかもしれないし、他ECで買うことにしたのかもしれない。仮説はいくらでも立てられるけれど、正解はわかりません。僕らとしては、仮説を洗い出したのちに「何が正解だったのか」をクリアにするため、ユーザーインタビューやアンケートを実施しています。

ーなるほど。定性・定量に関わらず、データをめちゃくちゃ活用しているんですね。

@furufuru：そうですね、データがないと我々は仕事ができませんね。個人的には、メルカリを使ってくださるお客さまが多く、その分データも多種多様なので飽きないところも魅力だと思っています。それこそ、データ好きな人であればヨダレが出るくらいには豊富にあるはず（笑）。

行動ログベースで改善点や新機能立案を話し合う

ー新機能開発や改善するときは、どういう見方になるんですか？

@furufuru：「どこに課題がありそうか」「どのくらいのインパクトがありそうか」をデータから見ています。前者は、仮に「エンタメ領域では他の領域と比較して、お客さまが目的の商品を見つけられていない」となった場合、それが本当かどうかを調べるイメージです。うまく課題を発見できれば、カバーするための開発や改善ができます。

@yaginuuun：「どのくらいのインパクトがありそうか」では、機能改善を行う前に「どれくらいのお客さまに使っていただけそうか」を見積もります。メルカリは多くのお客さまに使っていただいているため「全員が使うわけじゃない機能」もあったりするんです。

例えば、アプリ内の奥まったところにある機能は、メルカリをヘビーに活用するお客さまは使っているかもしれない。でも、インストールして3日目くらいのお客さまは知らなかったりします。また、使い始めて日が浅いお客さまは画面をあまりスクロールしない傾向があったりなど…。それぞれの行動ログで得たデータを見ながら、改善後にどれくらいのインパクトがありそうかを面で捉えられるようにしています。

柳沼慎哉（@yaginuuun）

ー行動ログベースで改善点や新機能立案の話し合いをしている？

@furufuru：そうです。データからどんな使われ方をしているのかもわかるので、それをもとに話し合いを進められます。新機能に関しても「どんなお客さまに受け入れてもらえるか」をシミュレーションできます。どんな機能を出せばいいのかをリリース前に判断していますね。

そもそも我々が所属するレコメンデーションチームは、お客さまの過去データをもとに「こういった商品が出品されていますよ」と伝える機能を開発しています。なので、AIがお客さま一人ひとりに合った商品を推薦するために必要なデータを活用もしているんです。レコメンデーション（推薦）機能の品質チェックでは定量・定性をうまく組み合わせています。定量面ではどんな商品が実際に推薦され、どのような効果を生むかは行動ログデータをもとに推定。定性面では、人間の目で実際の推薦を確認しています。

@yaginuuun：このあたりは、僕らレコメンデーションチーム特有の話でもありますね。機械学習モデルを組んでみていい感じのレコメンデーションができているかを定性的に確認するほか、その機械学習モデル自体の評価も定量的にします。実装時も、しっかりデータを使っているわけです。

大量のデータに触れられるから、深まるナゾと面白さ

ーリリース後の話も聞きたいです！

@yaginuuun：サービスに何かしらの変化を加えるとき、レコメンデーションチームではほとんど全てのケースでABテストを行います。その名のとおり「変化を加える・加えない」などでお客さまをグループごとに分け、その違いを比べるものです。ここでは購入数や出品数、訪問数などをチェックしています。

でも、メルカリでの「購入」っていろいろな経路があるんですよね。純粋にホーム画面のレコメンドをスクロールして購入するケースもあれば、検索結果から購入するケース、出品している人のプロフィールを見て購入するケースなど実にさまざま。そのなかで、何を以ってして「プロダクトが改善した」と言えるのかは、複雑な行動変化を読みとく必要があるのでかなり注意深く見る必要があります。そして、ABテストをしてみて意図通りの結果を得られることもそんなにないという…。

ーえっ！？

@yaginuuun：これはメルカリに限ったことではないと思うのですが、基本的には改善したいと思ってリリースしても、本当に改善という結果が得られることは少ない。逆にネガティブな結果となることだってあります。一時的には「違ったかぁ」となりますが、おかげでさらに「なぜ失敗したのか」の学びを得られる。それを次のABテストにつなげていくようなことを僕らはくり返しているんです。

@furufuru：僕らが目指したいのは、1人でも多くのお客さまがメルカリで快適に買い物ができる状態をつくること。だから「新機能や改善によって購入数が減る事態」は避けなければなりません。でも、施策によってはかえってそうなってしまうケースも今までにはありました。

具体例を挙げると、メルカリのアプリホーム画面改善に注力していたときの話です。当時の僕らには「ホーム画面に流行りのキーワードを出せば購入数が増えるのでは」という仮説がありました。しかし、結果的に購入するお客さまが爆下がりしまして…。わかったことは、流行りと言えどすべてのお客さまがそれを欲しているわけではなかったということ。そのため、多くのお客さまが表示された流行りのキーワードを自分ごとにできず、かつ以前の興味あるコンテンツが見えなくなったことでホーム画面を見なくなってしまったんです。

ホーム画面の変遷がわかる図

ーなんと…。

@furufuru：自分たちの仮説が間違っていたと気づいたできごとでしたね。お客さま一人ひとりにフィットしているものを出さないと興味を持ってもらえないこともわかりました。そこで我々はパーソナライゼーション（個々人に適したコンテンツを提供すること）は大事だということがより実感できたわけです。

@yaginuuun：同時に改善・悪化の解像度を上げることも重要です。今の@furufuruさんの例はとてもわかりやすいケースだと思いますが、購入数はお客さまとのタッチポイントの最後の部分を反映した指標であって、実際に変更を加える位置からはとても遠い指標です。なので、その指標を見ているだけでは気づくことのできない改善や悪化があります。そういった解像度を高めた改善、悪化に気づけるような指標を設計する上では購買と相関していることも大事なのですが、その関連性を見つけるのが難しかったりするんですよね。

@furufuru：メルカリにはいろいろな指標があります。その指標はすべて、GMVを上げることにつながっています。でも、1つの機能を改善したからと言ってGMVがよくなるとは限りません。例えばレコメンド機能を改善して多くのお客さまに使ってもらえるようになっても、他の経路（検索など）による変動の影響を受けたりするので…結果的に「何が要因でGMVが上がったのか」がわからないことが多いんです。

@yaginuuun：チーム的にもトータルの指標からブレイクダウンした良い指標をまだ見つけられたとは言えない状態です。難しいんですが、だからこそ引き続き模索したいです！

データを「見る」だけでは終わらないメルカリPMの役割

ー新機能や改善結果のデータを得るためのABテストは、メルカリはわりと頻繁に行われているんですか？

@yaginuuun：メルカリにはABテストのような実験から学びを得ることが重要視される文化があります。極端な例だとネガティブな結果が予測されるテストでも、重要な学びがあるということであれば可能な限りお客さま体験の棄損を抑えた上で実行が認められることもあります。実験しながら学べる風土はすでにあるので、そういった環境を求めている人にはいい職場かもしれません。

@furufuru：実験した結果、よかった・悪かったの判定を明確に行えるシステム基盤や実験フローも整っていることもポイントです。

ーデータが大量に集まりやすいメルカリだからこそ、今後どう活用していきたいかなどありますか？

@yaginuuun：先ほどお話しした定量と定性の掛け合わせは、個人的にももっとやっていきたいですね。Mixed methodと呼ばれる手法ですが、これは、行動ログベースでの分析にユーザーリサーチ的なアプローチを加えたものです。Analyticsメンバーとユーザーリサーチメンバーが連携して取り組んでおり、成功事例も積み重ねられつつあります。大量のデータがある環境だからこそ、定性データも活用し、改善の確度を上げていきたいと思っています。

@furufuru：僕は2つあります。1つは、今あるデータをもっと意思決定のサポートにつなげたい。例えば、ABテストをより高速で回すことができると思っているんです。それにより意思決定のスピードが早くなれば、プロダクト改善のスピードも早くできる。

もう1つは、システムにも有効活用していきたい。先ほどお話ししたとおり、僕らレコメンデーションチームでは、適切なおすすめ商品をサジェストするためのAI機能を開発しています。その精度もどんどん上げるためにAI機能へデータをスピーディーかつ適切に取り込めるようなデータ基盤もつくりたい。やりたいことは山盛りです！

@yaginuuun：大量のデータを「見る」だけでは終わらないのが僕らの仕事です。はてしなくて難しいけれど、だからやっぱり「面白い」んですよね。