現在、メルカリでは生成AIをプロダクトへ実装するだけでなく、社内の業務改善やメンバーの生産性向上にも活用しています。しかしWebで一般利用可能なサービスにおいては、社外に公開されていない情報を入力する場合、情報漏洩のリスクが伴います。

そこでメルカリ社員向けに開発されたのが、2023年4月にリリースした「Ellie」（エリー：メルカリ社内でChatGPTやGeminiを利用できるツール）です。開発を担当したのは、LLM（Large Language Model：大規模言語モデル）技術を用いたプロダクト適応による事業インパクト最大化・全社の生産性の劇的な向上をミッションとするElizaチーム。メンバーの秋山翔（@akiyamasho）、矢田宙生（@arr0w）、Tzu Huang（@zoo）に生成AIツールを内製するに至った経緯や、現在の課題、今後の展望を聞きました。

目指したのは、社員が気軽に試せる“プレイグラウンドのような”生成AIツール” 

──まず「Ellie」の開発に至った背景を教えてもらえますか？

@arr0w：一番大きな開発背景としては、生成AIやLLMを社員が気軽に試せる、プレイグラウンドのような場所があったら理想的だと考えたからです。メルカリに関する知識や、コンテキストに基づいて応答する機能を実装することも将来的に考えているので、あえて内製する方針を取っています。

@akiyamasho：もちろんプレイグラウンドだけではなく、開発環境自体の改善や、業務の効率化という目的もあります。

@zoo：あとは、会社としてメンバーに向けたLLMの学習機会を作りたかったという側面もあります。今回LLMを使ったことよって、我々のどのような課題解決ができるかを知る機会になりました。今後は課題によって、異なるLLMをより適切に活用できるようにしていきたいと考えています。

──そもそもなのですが、「Ellie」はどのような機能を持ったものなのでしょうか？

@zoo：現在、OpenAI（GPT）、Gemini、ClaudeのAPIを利用し、AIチャットbotの一般的な機能を安全な環境で使用することができます。具体的には、チャットでの会話、各種ファイルのアップロード、ウェブ検索、翻訳などです。
画像生成はもちろん、ユーザーが自分のプロンプトを他の社員に共有したり、プロンプトテンプレートをライブラリから利用できます。新しいモデルにも対応しているため、ユーザーは好きなモデルを選んで使用することができます。

また、会話が記録されず、よりセキュアに情報がやりとりできるスーパー・プライベートモードも用意されていることも魅力のひとつだと思います。

──リリース後の、みなさんの所感あるいは課題感などをうかがいたいです。

@arr0w：やはり社内にどう浸透させるかは、一番の課題だと感じました。新しい機能を実装したら、頻繁にプロジェクトのSlackチャンネルでアナウンスしてきましたが、波及させていくプロセスは大変でした。最近では、ハヤカワ五味（@gomichan）主導でLLMの社内勉強会を行ったり、我々のチームでも「こうやって使うといいですよ」と情報発信を進めたりしています。

また、利用傾向の分析をして、毎週利用データが自動でSlackに届くのですが、そうしたデータを見ながら新しい機能をどう作っていくかも課題ですね。付け加えると、利用傾向を分析する際はプライバシー保持のためにLLMを活用して、完全自動化しています。

@zoo：個人的には開発自体に大きな課題は抱いていないのですが、一方で、いわゆる「車輪の再発明」は避けたいと思っています。そのため、外部の生成AIを取り巻く状況を注視しつつ、社内でどういった機能のニーズがあって、なにを優先すべきなのか、リソースの管理をしっかり行うことに難しさを感じています。

──なるほど。では、「Ellie」において、優先して開発すべき機能にはどんなものがありましたか？

@zoo：最もニーズが高かったのが、ドキュメントや情報に基づいて各チームの人がそれぞれ独自のChat botを作れるようにする機能ですね。PoC（Proof of Concept：概念実証）として提供して一定の需要があるとわかったので、この機能は将来的に実装していく予定です。

利用率は順調に伸長、次に注力すべきことは？

──リリースしてから、現在に至るまでの利用率はどのように変化していますか？

@zoo：開発を始めたのが2023年3月で、そこから2～3週間ほどで「Ellie」をリリースしていて、2023年8月ごろまでは使用率が緩やかに伸びていきました。2023年9月に翻訳機能やプライベートモードなど、さまざまな機能をリリースしたことによって、そこから一気に利用率が伸びて40%ほどになりました。現在は利用率75%まで上がっていて、毎月社員1,600人ほどが利用している状態です。元々設定していたOKR通りですね。2024年末までに利用率80%に到達させたいと思ってます。

──社員からのフィードバックはどのように収集して、機能の改善につなげているんでしょうか？ 

@zoo：基本的にGoogleフォームでフィードバックを収集しているほか、Slackで我々のチームに直接フィードバックしてもらっています。

@arr0w：プライバシーを保持するためにLLMを使った分析をしておりまして、各メッセージやチャットがどういう用途で使われてるかをカテゴリー分けしています。その結果、メルカリはテックカンパニーかつグローバル企業ということで、翻訳とコーディングに「Ellie」を使っている人が多いということがわかってきました。個人的には分析に注力することも大事だし、GPTsというフィーチャーも大事だと思っています。

@zoo：やはり社内のチームごとに、いろいろなドキュメンテーションがあると思うので、将来的には検索だけではなくチャットでいろいろな情報を取得できる機能が欲しいと個人的には思っています。また、エンジニア以外にも「Ellie」を使ってドキュメントをまとめていこうという動きもあります。

メンバーからのフィードバックでは「ここにボタンを配置してほしいです」など、UI改善に関するリクエストもあったので、そこは改善していきたいと思ってます。「Ellie」はかなり急いで開発とリリースを行ったため、未だUIとUXが最適化されているとは言えません。これまで100人以上のメンバーにインタビューを行ったのですが、様々なLLMサービスのモデルの変更ができることを知らない人も多くいたので、その辺のアナウンスもしっかり行っていきたいですね。

@akiyamasho：多くのメンバーに利用してもらえるようにはなりましたが、まだ効果の測り方は難しいところがあります。例えば毎日何時間ぐらい節約できたかというのは測りにくい。

@arr0w：なかなか定量的なインパクトを計測するのが難しいですよね。「これだけ利益貢献しました」みたいな話ともまた異なりますし。

@zoo：現実問題、「Ellie」を使ったことで生産性がどれだけ上がったかを示すために、いくつか科学的な方法を試してみたのですが上手くいきませんでした。そこで、OpenAIやMicrosoftの事例を調べたところ、彼らもユーザーインタビューを行って、ユーザーが主観的に「これぐらい時間を節約できた」という回答を採用しているようでした。我々も同じような計測を行っていきたいと考えています。

「Ellie」を、さまざまなAIツールが集結するプラットフォームにしたい

──最後に「Ellie」を含め、今後Elizaチームとして成し遂げたいこと、展望があれば教えてください。

@zoo：現状「Ellie」の名前をしっかりと把握してる人が、社内に少ないという課題があります。人によって呼び方が違っていることもあるので、名前を周知していくことがまずひとつ。次に、やはりチームとして「Ellie」をさまざまなAIツールが集結するようなハブにしていきたいと思っています。

ユースケースに関しては、PGC（Pre-Generated Content）、UGC（User Generated Content）という2つの種類があります。PGCについては、Elizaチームであらかじめユースケースなどを確定して、それをユーザーに届けるというものです。

一方、UGCはメンバー一人ひとりが個人でチャットボットを作って、AIを使うというものです。「自分で管理できる」環境で開発するため、GoogleWorkspaceと連携することによって、「自分だけ」あるいは「チームだけ」がアクセスできるフォルダをGoogle ドライブに作ることができます。

例えばあるチームでは、人事評価に向けた自分の振り返りの壁打ち相手として、より公平かつ効率的に書くために「Ellie」を活用しています。同じような動きを、社内のあらゆるメンバーができるようにしていきたいですね。コーディング技術は不要ですし、ドキュメントをアップロードしてプロンプトをコピーして実行するだけでいいので、エンジニアではない方にも活用してもらえる機能だと思っています。

@akiyamasho：私はElizaチームが大きくなっていく上で、3つの重要な要素があると思っています。一つは「Ellie」のような生産性。もう一つはお客さま向けに9月にリリースした「AI出品サポート」のような出品ツール。最後は社内全体のMLチームの仕事の効率化です。そのためには、zooさんも言っていたように「Ellie」をいろいろなAIツールが集まるプラットフォームとしていきたいですね。

@arr0w：個人的には、全社的なLLMに対するリテラシーを高めていく活動が大事だと思っているので、そういう発信を進めていきたいです。また、EMLNP（Empirical Methods in Natural Language Processing）という言語処理の分野で一番難しいと言われている学会に論文を投稿したりと、アカデミアへの情報発信も積極的に取り組みたいですね。