メルカリでは、よりスピード感をもって質の高い意思決定を行うことを目的とした分析ツール「Socrates」をローンチしました。

Socratesは、生成AIを活用して意思決定の必要材料であるデータをアナリストを介さずに出力する分析ツール。これにより、データアナリストのリソースがボトルネックになることを防ぎ、誰もが気軽に必要なデータを収集できるようになりました。

今回は、開発を担当したBI（Business intelligence）Productチームのマネージャー・小林健太郎（@kobaken）、PdM ディレクターの菱井康生（@hisshy）、PdMの Ishimoto Shoma（@shouma）さんに、Socratesの活用事例や活用することで変わったことについて聞きました。

要件定義コストの削減だけでなく、依頼する“罪悪感”を払拭できた

――早速ですが、皆さんのSocratesの活用事例について教えてください。

@shouma：Socratesが生まれる前は意思決定の度に「この機能を使っている人の数を知りたい」「このメトリクスの長期的なトレンド知りたい」といったデータを探索するために、自分でログのスペックを調べて、クエリを書いて、集計して結果をまとめる作業が必要でした。

ですが、Socratesを活用することで、意思決定ごとに発生する分析データを手軽に収集することができるようになったことは大きいですね。1行程度のプロンプトを書くだけで、欲しいデータが出力されるので、作業効率が向上し、意思決定のスピード感と質が向上したと感じています。

また、答えが1つであると限らない、より探索的な分析効率も格段に向上しましたね。例えば、「メルカリのヘビーユーザーであるお客さま」と「最近登録したお客さま」の二つの属性をもとに「検索機能の使われ方を比較したい」ような場合、これまでアナリストと連携して様々なアプローチでデータを分析していた作業を、Socratesは3行程度のプロンプトで具体的なレポートを出力、解釈し、さらにその結果を基に次の分析の提案までしてくれます。素晴らしいですよね。

―― 具体的にどのようなプロンプトを書いたのでしょうか？

@shouma：「お客さまの購入傾向に応じて、検索機能の使われ方にどのような傾向があるかを調べてください」といったプロンプトです。もちろん、認識がズレることもありますので、結果をみながら修正してもらうこともあります。

一方、アナリストと連携する場合、認識が違うと必要以上にリードタイムが発生してしまうので要件をしっかりと固める必要があります。でも、Socratesに対しては「きちんと伝えなきゃ」とか「こっちの言い方で出戻りが発生しちゃったな」とか、そういう”罪悪感”を持つことがありません。認識が違ったとしてもすぐに軌道修正ができるので、データ分析における心理的なハードルがとても下がったと感じます。

@kobaken：仮にアナリストに潤沢なリソースがあったとしても、依頼することそのものへの抵抗感は拭えないと思うんですよね。Socratesは、要件がふわっとしていても、対話を重ねることで要件定義ができる。そうすると、アナリストのリソースはもっと別のかたちで活用できるようになるので、付加価値が生まれやすくなると思います。

@hisshy：確証バイアスの対策につながることも大きいですよね。特にデータ分析を経験したことがある方は心当たりがあるかもしれませんが、プロジェクトを進めるなかで無意識的に「仮説に対してポジティブな情報を中心に集めて、ネガティブな結果になりそうな変数は考慮しない」という状況。こうなるはずだ！という思いがSocratesにはないので、疑問に思ったことを忖度ないインサイトで出力してくれる。分析における忖度を排除するという意味でも、大きな変化ですよね。

「優先度」や「やる意味」を求めず、ただファクトを出力する存在

@kobaken：＠shoumaさんがSocratesを柔軟に活用できている背景には「アナリストのバックグラウンド」が関係していると思うのですが、アナリストとしての経験がないメンバーにもSocratesは問題なく使ってもらえているのでしょうか？

@shouma：分析の経験の有無は使い勝手に関わってくるかもしれませんね。経験のないチームメンバーのUXデザイナーは、「検索の分析を基にUXデザインを考えたいけど、欲しい回答がなかなか出力されない」と悩んでいました。

データ分析の経験者はプロンプトの作成に慣れていますが、それ以外の職種の方にはまだフォローが必要なのかもしれないとと感じました。「プロンプト作成技術の底上げ」は今後の課題ですよね。

@hisshy：使い方の練習は一部必要なのかもしれませんね。でも、Socratesの本質は特に分析を経験したことのない人にとってValueが大きいと感じています。「こういう観点で調べてみたい」というジャストアイデアから探索的な分析を始めようとしても、仮にアナリストとタッグを組んで行う場合は優先度や意義の兼ね合いもあって、そのすべてを検証することは不可能に近い。でも、Socratesは一人で黙々と向き合って会話していけば、どんなジャストアイデアでも検証できるんです。

なので、Socratesの真価は単にスピードアップに留まらず、これまでできなかったことができるようになる点にあるんだと思います。これはもうパラダイムシフトといえるほど大きな変化だとも感じます。

さらに、Socratesは部門を横断して探索できる点がありがたいですね。今までの社内ツールの中でも、パーツを繋ぎ合わせて自分なりに並べることでできる状態ではあったのですが、今後はSocratesひとつで完結できる。

例えば、『メルカリ』の一般のお客さまの利用動向と、『メルカリShops』の事業者のお客さまの利用動向は、それぞれのセグメントで数字を追っていますが「じゃあ仮にマーケットプレイス全体としてはどうなんだろう」という視点で分析することで、これまで見えなかった課題や糸口が見つかるかもしれない。

この2つに限らず、XB（越境取引）やNFTといった『メルカリ』アプリ内の複数のサービス同士はきっと相互作用を起こしているはずなので、Socratesがその影響を数字として教えてくれるようになると、サービス全体の戦略にも良い影響を与える可能性もあると思います。

@kobaken：その文脈でいえば、各部門が持つ情報資産が非常に重要になってきますよね。これまで部門を横断した分析をしたいときは、対象部門の担当それぞれから情報を集める必要がありましたが、今後はSocratesに聞きさえすれば情報が手に入る状態を目指したいです。

例えば、それぞれの部門が管理しているモノのスペックやログを記したドキュメントをSocratesが読めるようにしておけば、それは分析のコンテキストとして機能するようになるので、より深い洞察をSocratesから得られるようになるはずです。そのような環境をデータ組織で閉じずに各部門と協業して整えることも並行して進めていく必要があると思います。

「誰でも分析できる」を目指して

――Socratesは、メルカリグループが成長を続けるとともに、今後も進化し続けると思います。最後に、皆さんの「理想のSocrates」の姿についてお聞かせください。

@kobaken：単なる便利なツールではなく、人間の能力を拡張してくれるパートナーとして社内に定着してほしいです。AIと人間が互いの強みと弱みを補い合うことで、質の高い意思決定がより高速にできるようになる、という関係性が理想だと考えています。

例えば、従来は人間が数十時間かけて作成していた分析レポートも、Socratesが数分で80点の叩き台を作成してくれるなら、人間は残りの2割を磨き上げることに集中すればいい。このような協業が当たり前になれば、組織全体の生産性は飛躍的に向上するはずです。

@shouma：分析リソースの限界を超えて、誰もが好きなだけ顧客インサイトを収集できるようにすることで、データドリブンな意思決定・プロジェクト推進をドライブさせられる存在が理想です。Socratesは近い将来、PMやアナリストの業務をほぼ100%代替できるようになりそうな姿さえ見えています。そうなったら、これまで優先度が低いと判断していた探索的分析により力を入れていくことで、新たな仮説や提案を行えるようになるので、人の力を最大限発揮するための存在として、アップデートしていってほしいなと思いますね。

@kobaken：AI/LLMを活用したデータ分析の広がりにつれて、データマネジメントやデータモデリングの重要性は高まってきています。メルカリグループにはデータ活用の機会が豊富にあり、現状データを十分に活用できていない部門からも「Socratesを利用したい」という声が上がっています。この各部門のモチベーションを推進力にしてデータ基盤の整備を進め、そして整備された基盤を使ってSocratesがさらに活躍してデータ活用が加速する、といった好循環を生み出し、誰でも当たり前にSocratesのアシストを受けられる世界を実現したいですね。

@hisshy：私は先ほどお話したデータのサイロ化からの脱却ですね。あらゆるデータへのアクセス性を向上し、ドメインの境界で思考を止めてしまうような障壁をなくして、メルカリグループとして、お客さまへの体験価値の最大化を加速させる存在にしていきたいですね。

写真：タケシタ トモヒロ　文：石川優太