2023-6-13
Mercari Conversations──知的好奇心の虜であることは楽しい!短期的思考に陥らないための「理論」と「気合い」の話
いまや2,000人規模の会社となり、YOUR CHOICE(個人と組織のパフォーマンスおよびバリューがもっとも発揮しやすいワークスタイルを自ら選択できる制度)によってメルカリらしいワークスタイルが確立されてきています。一方で、少し離れたところで繰り広げられているメンバーとメンバーの会話や雑談をふと耳にする機会が少なくなったのはまた事実です。そこで「Mercari Conversations」と題して、ふだんから一緒に仕事するメンバーや、仕事をする機会は少ないけど仲の良いメンバー、はたまたこの機会に気になるあの人と会話してみたい、そんなメンバー同士のざっくばらんな「Conversation(会話)」を記録していきます。
第2回は、Search & Discovery チームのプロダクトマネージャーの古澤智裕(@furufuru)と、Analytics Infraチームマネージャーの永井伸弥(@hiza)が、知的好奇心の話を出発点に、大規模言語モデル、「中古」という概念のパーセプションチェンジまで、縦横無尽に語り尽くします!
この記事に登場する人
-
古澤智裕(Tomohiro Furusawa)大学院卒業後、図書館情報学をバックグランドとして情報検索や情報推薦のプロダクト開発に従事。2019年5月より株式会社メルカリに入社し、検索評価やレコメンドシステムのプロトタイプ開発に取り組む。その後レコメンデーションチームの立ち上げを経て、現在はプロダクトマネージャーとしてディスカバリー体験全体を改善するような開発の推進をしている。 -
永井伸弥(Shinya Nagai)メルカリAnalytics Infraチームマネージャー。新卒で入社した製薬メーカーにて社内情報システムの企画を担当。その後、ソーシャルゲーム、受託データ分析会社などで、ソフトウェアエンジニアリングや機械学習、データ分析に取り組む。2019年1月に株式会社メルカリに入社。現在は、全社の分析環境の改善や、A/Bテストの改善を行うAnalytics Infraチームのマネージャーを担当。
ビジネスは気合いが8割…?短期的な思考に陥らないために必要なこと
@furufuru:hizaさんは、ZPチャンネル(メンバー個人のつぶやき用チャンネル)で発信していることが良い意味で雑多で面白く、私もいつも拝見させてもらっています。興味あることが自分と近そうだなと勝手に思っていたので、今回お話しできたらと思って声をかけました。
@hiza:ありがとうございます。自分でも好奇心の幅が広い自覚はありますが、逆に深堀りするのはあまり得意じゃなかったりします。「仕組み」を知りたいというモチベーションから色んなことに興味をもってます。
@furufuru:「仕組み」なんですね!私も仕組みには興味ありますが、hizaさんが特に興味があるのはどういう仕組みについてですか?
@hiza:どういうことについても興味があると言えるのですが、「なぜメルカリが儲かるのか?」みたいなことも自分にとっては仕組みになりますし、機械の仕組みでも生き物の仕組みでも何でも興味あります。furufuruさんはどのようなことに興味がありますか?
@furufuru:最近、私は認知心理学に興味があります。これは人間の脳でどういう働きが行われてるかをモデル化する自然科学なのですが、実際に人間の脳がどういう構造をしているかはさておき、こういうモデルで考えると人間の思考を説明できるのではないかということを説いていきます。
関連して、少し前に「認知心理学と学習」みたいなテーマで書かれている『勉強法の科学―心理学から学習を探る』という本を読みました。その本によると、人間が瞬間的に保持できる情報の数は「7±2」であるとする、「マジカルナンバー7±2(ミラーの法則)」は認知心理学の研究から出てきた考え方らしいんですけど、それを超えてワーキングメモリに情報を載せるためにはどういう構造があればいいかということを考えています。
そもそもなぜ、認知心理学について考えはじめたかというと、大規模言語モデル(以下、LLM)が「思考しているのか?」ということの回答が欲しいなと思ったからでして。私としては「思考してるように見える」ものであれば、もうそれは「思考していることと同じ」なのではないかと思っています。じゃあ、そもそも「思考している」とはどういうことなんだろう…みたいなことを考え出して、認知心理学にはまっているというわけです。でも、脳の世界に踏み込みすぎると、戻って来られなくなるらしいです(笑)。
古澤智裕(@furufuru)
@hiza:戻ってこられなさそう(笑)。
@furufuru:人間がどう思考するかに興味を持ち出すと、行き着く先は脳科学になってしまい工学とかに戻って来られなくなるらしいので、ある程度の深淵で引き返すようにしています(笑)。
@hiza:実証が難しい世界に足を踏み入れると、戻って来られなくなるのかもしれませんね。
@furufuru:そうですよね。仮説を立てても、脳のめちゃめちゃ深いところは未だに計測が難しくて、実証することができなさそうですね。
これまた本の話なんですけど、『ストーリーとしての競争戦略 ―優れた戦略の条件』を少し前に読んでいたのですが、ビジネスの世界の8割ぐらいが気合いみたいなことが書かれていて、言い得て妙だなと。気合いは、アートと言い換えても良いかもしれません。社長の声が大きい会社で働いてる知人の話を聞くと、いや8割どころじゃない、9割5分は気合いでやってるよ、みたいな感じらしいです。メルカリは理論の割合が高い方だと思うけれども、PMとして働いてるとやっぱり8割は気合いだなとも思う。
@hiza:めちゃくちゃめちゃわかります。理論だけで考えていくと、どうしても短期的な結論にならざるを得ないことが多いですよね。
@furufuru:そうなんですよ。「メルカリというアプリがどうあって欲しいか」はデータから言えないことが多いと思います。
@hiza:データからは言えないですし、データから測れるものを伸ばしていこうとすると、やっぱり短期的な思考にならざるをえないなって思っていて、たとえばお客さまからのメルカリに対する信頼感とかは数値化がすごく難しい、わかりやすいものから改善していこうとすると自然と短期的な思考になっていきますね。そういう意味で、気合いとビジョンはめちゃくちゃ大事だとおもいます。
@furufuru:『ストーリーとしての競争戦略―優れた戦略の条件』では、理論が大事みたいな話も趣旨としてあるんですよ。なぜ理論が大事かというと、「ここまでは理論だけど、ここから先は気合い」だという「境目」がわかるようになるからです。その境目がわからずにやっていることがあちこちで起きているんじゃないかと。
@hiza:確かに確かに。「私は理論で考えてる」と思いながら気合いでやってるのと、「私は気合いでやっている」と自覚しながら気合いでやるのだと、だいぶ結果が違いそうですよね。
データ分析でも、「データドリブン」と「データインフォームド」の違いみたいなのが話題になったことがあります。「データドリブン」は単純化してしまうと、データだけを見て意思決定するということなんですけど、「データインフォームド」はいろいろな意思決定の材料の中の一つとしてデータを活用することなんですね。多分、furufuruさんが話してくれたことは、「理論インフォームド」な意思決定ということなのかなと思いました。
@furufuru:そうですね。「理論ドリブン」では、すべての意思決定をカバーできないんですよね。それなのに、理論は他人と正確に共有できるのに対して、気合い=アートだと正確に共有できる内容が限られてくるので、合意が取りにくくなるんですよね。例えば、機能のリリース判断にしても、数字が上がるからこの機能をリリースするということに「イエス」という人が9割いたとして、数字的な根拠なしでとある機能をやることによってお客さまが喜ぶかと尋ねると「イエス」という人は同じ9割いかないと思うんですよね。ここのズレが超むずかしいなーと思っています。
@hiza:そこで気持ちに理論を後付してしまおうとすると、すごい落とし穴にはまりそうな気がしますね。
大規模言語モデルのインパクト、もっと先のことだと思っていた未来
@furufuru:さっきのLLMの話に戻ると、これからLLMをどう社会や企業で活かせるかみたいなことを考えたりしています。まだ5年10年ぐらい先の話になると思うんですけど、例えば企業の財務データなどの諸情報をLLMに入れ込む時代が来ると思うんです。そうした時に、「こういう施策を打つと、GMVが何%あがります」というデータが示されるようになり、それに従うとおそらくGMVが上がると思うんです。ですが、そのときそれに従うかどうかというシビアな意思決定をしなくてはいけない。その先にあるのは、「LLMの奴隷なのでは…?」という疑問が湧いていまして…。
@hiza:『PSYCHO-PASS サイコパス』というアニメはご存じですか?
@furufuru:大好きです!シビュラシステム(アニメ『PSYCHO-PASS サイコパス』に登場する包括的生涯福祉支援システム)の話ですよね?
@hiza:そうです!いまのfurufuruさんの疑問は、『PSYCHO-PASS サイコパス』で描かれていたことと同じ話だと思うんですよね。「ブラックボックスなシステムなんだけど、出してくる答えが正しい」となった時に社会はどうすべきかというのが、あの作品のテーマだと思っています。そのブラックボックスのご神託に従うと良い結果が出るとして、そのブラックボックスがハックされていたり、正当性がないものだったら、どうするんだという問いですよね。
@furufuru:マジでそうです!その時にLLMの限界みたいなものを、意思決定者がきちんと理解していることが重要なのではないかと。これからやるべきなのは、LLM利用者の教育というか、正しい意思決定をできるように知識を装着することであり、その辺りのルールを整備したいと思っています。
@hiza:LLMをより良く使うための概念として、プロンプトエンジニアリングがあるじゃないですか、あれにプラスして「なぜそういう使い方がが有効なのか」セオリーを理解していないといけないですよね。
@furufuru:本当にそう思います!。これがいま私の中のホットトピックです(笑)。やっぱり、LLMのインパクトが強力すぎるので、多くの人が飛びつきたくなるのはわかるのですが、より高次なリテラシーが求められると思います。原理原則がわかってなさすぎる状態で意思決定に使われるのは危険なので、結局のところ利用者のリテラシーに依存せざるを得ないとは思います。
しかも、さっき話したようにLLM自体をハックすることは不可能ではないわけです。だから、そうした諸々をひっくるめた限界値を踏まえたうえで、自分が理解している範囲はどのぐらいなのか、そこから引き出して使える情報はなんなのか、そういう高次なリテラシーがないと有用性と危険性の話を議論できない。
@hiza:さっきの「理論インフォームド」の話ですよね。LLMがはじき出した意見として線引きした上で、インフォームドして意思決定するみたいなのが求められるんだと思います。
@furufuru:私自身、こうした考え方が出てきたのも、実はUXリサーチャーのメンバーと仕事をする中からです。
LLMの上に、仮想人格を形成できないかと思っていましてそれはどういうことをしようとしているかというと、メルカリのお客さまを仮想的に構築して、その仮想人格にアプリを使ってもらう、つまり仮想人格でユーザーテストを行いたいと考えていたわけです。それがそもそも可能なのかという話をUXリサーチャーとしていました。
その時に話した結論としては、その仮想のお客さまに行動してもらうことができたとしても、そのデータをもとに意思決定をするPMやデータアナリストのところが一番大事だということでした。どういう情報がそこに乗っかっていて、どのぐらいの情報が引き出せているのか、あるいは引き出せないのか、そこを理解して意思決定できるかどうかが一番のポイント。
@hiza:LLM自体はUXリサーチで言うところのコンテキストは持っていないわけじゃないですか。こういう生活状況だったらこういう意見とか、今のLLMの上にははない情報をPMはどこまで考慮すべきことなんですか?
@furufuru:おっしゃるとおり、LLMはネット上の大量の情報を集めて、わりと平均的なところに落ち着いてるとした時に、要はニッチな人たちの情報が欠損してたりとか、明らかにマジョリティーに依った意思決定をする可能性があります。
@hiza:なるほど。ネット上で語られること、つまり電子データ化されている上での平均なんですよね。
@furufuru:そうそう。実は結構バイアスがかかっているんですよ。先程の平均的なところに落ち着くという話と一部矛盾しますが、逆に変な分布になっていることもあると思うんですよね。その辺を理解した上で使わないといけない。
だから、「みんなそこまでちゃんと理解して使ってる?」と思いますね。LLMが言ってることが本当に正しいことなのかはずっと問い続けたい。とはいえ、私たちがどんなに情報が偏っているんだという話をしたとしても、それっぽい結果が返ってくればいいじゃんと思ってしまう人がいる限り、そういう世の中の流れは止められない。
@hiza:そういう意味だと、インターネットの登場にも似てますよね。書籍と違ってまったく情報が編集されていなかったり、そもそもの情報の信憑性が怪しいものであっても、ネットで書かれたことが事実であるかのように広がってしまう。
@furufuru:そうなんですよ。Wikipediaが最たる例じゃないですか。嘘が書かれていたりもするのに、そこを理解せずに引用元としてしまうことが結構あったりしますし。
@hiza:あとは、今後LLMでサイトが量産できちゃうから、インターネット自体もかなり汚染というか…それは止められないだろうなって。
@furufuru:インターネットの汚染問題はめっちゃ嫌だなあ(笑)。
@hiza:一歩引いて考えてるとかなり暗黒な世界ですよね。LLMが量産した嘘もたくさん混じってる情報がインターネットに溢れてて、人々がそれに吸い寄せられて、広告を見てお金を使って、そうやってマネタイズされていく。けっこう暗い世界だなっていう(笑)。
永井伸弥(@hiza)
@furufuru:暗黒です!どうしたらインターネットでよくなるんだろうみたいなことはやっぱり考えますね。結局、道具そのものをよくするというところより、使う個々人が正しいリテラシーを持ってる必要があるなと。
@hiza:それができていたら、多分いまこういうインターネットの使い方になってないはず(笑)。技術の発展が社会に大きく影響を与える時代に生きてるんだな…というのをすごい感じますよね。
@furufuru:めちゃくちゃインパクトありますよねえ…と言いつつ、私自身はこうした技術の発展をすごく楽しんでいたりもするんですよね。それはどういうことかというと、もっと先のことだと思っていた未来が「いま」なんだなと感じられるからです。
私は大学生の時に図書館情報学を学んでいて、図書館カウンターでのレファレンスサービスでどう回答すると利用者は嬉しくなるのかといった研究をしていました。ですが、当時は質問に対して今ほど精度高く回答する技術が確立されていなかったんですね。それがいまではもう質問に回答できるじゃんとなったら、これからは「どう寄り添うか」だなと。だから、どう回答されると嬉しくなるかが研究テーマとして現実味ある内容になっているなと思ってワクワクしています。
@hiza:こうした技術がメルカリをどう変えるのか、自分の中ではまだイメージが持てていないんです。商品を検索して買う流れが自分の中であまりに自然になりすぎて、そこに対話が入ってくる形式の利便性があまり思い浮かばないというか。
@furufuru:私の関わる領域で言うと、短期的には購買者のインターフェースが変わってくると思います。お客さまが商品を探すという行為自体は変わらないし、商品のデータベースとそれをどのように結果を出すかという裏側の検索システムも変わらないと思います。しかし、そこでどう問い合わせるかというインターフェースはがらっと変わるのではないでしょうか。今はキーワードを打ったり、カテゴリから探したりしていますが、それが自然言語、つまり普通の質問文でできるようになる。
例えば、ある商品を探しているときに、要望をつらつらと日本語の文章で入力すると、それに適したデータベースへのクエリをLLMが自動で生成するようなものです。さらに、システム側からはお客さまのコンテクストをもとにその人が一番欲しい商品をその人のための文言でLLMが訴求してくれると思います。このようなアプローチのレコメンドによって「買わなきゃ」という意思が高まっていく。今はマスに対してしかアプローチできないんですけど、このように個々人に対して最適化されたアプローチで意思決定をサポートしていくことが購買者側で短期的に起きうることだと思います。自然言語検索自体はけっこう歴史のある研究ですが、もう遥かに高い精度でできるようになってきたので、次は購買訴求が自動生成できて、マーケターの仕事がどんどん減っていく未来もあるかも知れないですね。
@hiza:話を聞いてニュアンスというかイメージが湧いたんですけど、いまは「もう少し綺麗めの服がほしい」みたいな検索キーワードに落とし込めないけれど、LLMだったらそういうところを汲み取ってくれるということですよね?
@furufuru:そうですね。多分それをブランドとかに変換してくれる。
@hiza:なるほど!それはすごく便利そうだ!
@furufuru:個人的に曖昧な言葉を具体的なブランドとかキーワードに変換するプロンプトをちょっと作ってみています。今はお客さま自身で要求をキーワードに落とし込むところまでしないとメルカリで探せないんですけど、「なにかこういうことがしてみたい」といった曖昧な表現でもメルカリの商品にリーチできる世界観が理想なんじゃないかと思っています。
@hiza:「登山に行きたいんだけど何から揃えたらいいんだろう?」と聞いたら、メルカリで必要なものが出てくるかみたいな?
@furufuru:「必要なものはこれとこれで、メルカリだったらこれとこれが買えるよ」とか。
@hiza:そういう形でのおすすめはすごい有効かもしれないですよね!
@furufuru:レコメンドの戦略にも関わるん話ですが、今はお客さまが好きなもの中心にレコメンドしていこうというとしています。つまりお客さまの好きなモノで囲まれているメルカリを作りたいという思想です。ただ、それには限界があって、お客さまがもしかしたらメルカリで買えたかもしれない別のモノを見つける機会を逃してしまう。だから、今後はセレンディピティというか、新しい発見がより多く起こるようなレコメンドにしたいんですね。
今はまだそのバランスを探っているフェーズ。統一感なくバラバラなものばかりが流れてるタイムラインは鬱陶しいので、基本的には好きなモノがレコメンドされるんだけど、パラパラ見ていくと全然知らなかったモノに出会えるみたいな。ここが進化するとだいぶ心地よくなっていくと思います。フィルターバブル(インターネットの検索サイトが提供するアルゴリズムが、各ユーザーが見たくないような情報を遮断する機能)を適切に壊していきたいんですよね。
知的好奇心の虜であることは楽しい!
@furufuru:せっかくの機会なので、hizaさんがこれからメルカリでやっていきたいことがあれば知りたいです。
@hiza:直接自分の今の業務でという話ではないんですけど、やっぱり「中古」という言葉がなくなったら、一番メルカリの成功なんじゃないかなと思っています。まだ使えるものは人に譲って引き続き使われていくのが当たり前になったら、「中古」という言葉や概念自体が変わっていくんじゃないかなと思う。
@furufuru:メルカリを使っている人、ひいては社会のパーセプションを変えることがhizaさんの野望なんですか?
@hiza:そうですね、そうなりますね。
@furufuru:Twitterでメルカリを使っているお客さまをたまにリサーチしてるんすけど、その中でこの話に近い面白い表現がいくつかあったのを思い出しました。それは「嫁入り」と「お迎え」という表現です。ご自分が大切に使っていたものを「娘」だと思っていて、そのお客さまにとっては他のところに行くことを「嫁入り」と言うんですよ。そしてそれを「お迎え」する。とても素敵な表現だなと(笑)!
@hiza:確かにめちゃくちゃいいですね!まさに中古という言葉が消えている。ただ、「嫁入り」にしても「お迎え」にしても、コモディティの商品に対して使う言葉使いではないような気がするから、もっと普通のものに対してもそういう概念が広げられるといいですね。
@furufuru:確かにファストファッションなどとかでも、そういうニュアンスとして使われる言葉が必要そうですね。
@hiza:造語しないとですね!
@furufuru:話は変わるのですが、もうひとつ聞いてみたかったのが、知的好奇心をどのように捉えるか。知的好奇心のメタ認知というか。
@hiza:最初にお話したように仕組みが知りたいという、本当に素朴なモチベーションから来ていて、それをメタ的に捉えると「あなたの目から見た世界はどう見えてるんですか?」というのを知りたいのかも知れない。
@furufuru:それは人に対する興味ということですか?
@hiza:ドメイン特有の見方がいろいろあると思うんですよ。例えば、科学だったら再現性があって測定可能な知見を集めようとするじゃないですか。でも、別にその再現性があることとか測定可能なことが必ずしも不変な真理というわけではないと思うんですね。これがビジネスだったら、1回しかできないかもしれないけど、その1回ですごく儲かるんだったらそれはそれで許容されるみたいなことってありますよね?
@furufuru:全然あると思います。それこそ儲ける手段を研究する経営学と、仕組みの解明を目指す経済学の視点の違いに近い話かと思いました。私の理解ですが、例えば、経営学だといかに企業活動を良くするかに主眼が置かれている一方、経済学だと理想的なところを想定してより良く仕組みを説明したいように見えます。例えば合理的経済人とかがそうかもしれません。
@hiza:むしろその不合理性がどんなものなのかは興味の対象ですよね。だから「世界はそういう見方もできるんですね」みたいなところに惹かれるのかなと思います。
@furufuru:私も知的好奇心は大切にしたいマインドセットだと思っているんですけど、これをどうすれば適切に扱えるのか正直よくわからなくて(笑)。
知的好奇心が高くなりすぎると本業に影響をきたすし、かと言ってそれを押さえつけるのも違うんじゃないかとも思っていて。それこそ、最近はLLMの論文とかをずっと読んでいて気がつくと土日が潰れています。本当は部屋の片付けとかした方が良いはずなんですよね(笑)。
@hiza:自分もそんなにうまく付き合えている気がしないです。知的好奇心の虜になって、それに溺れることもけっこう楽しいなって(笑)。ランダムに本を読んでいると、後々になって役に立つことが結構ありますし、予想できない繋がり方をすることがおもしろい。それは企業の基礎研究と似てるなと思うところもあって、具体的にどうビジネスに繋がるかわからないけど研究しておく、その時にリソースのかけ方や枠を決めておいて、その枠の中では自由に研究していいみたいな企業が多い。もしかしたら個人でもそうしていくというのかも知れない
@furufuru:それで言うと、私は知的好奇心が爆発するとコントロールできない。そこはどうしようもないところですよね(笑)。
@hiza:さっきの経済と経営の見方が違うという話で気になったのですが、いろんな価値観がせめぎ合うのがプロダクト開発の難しいところなのかなとも思うのですが、PMはその中で一つの結論に導いていかないといけないじゃないですか。その中で気をつけていることはありますか?
@furufuru:これはめちゃめちゃ難しいんですよね…それこそPMによってスタンスは全然違うと思いますが、私はビジョンを明確に示すようにしています。みんなが納得するビジョンを作るのがそもそも難しいのですが、明確なビジョンをもとに「ここに向かいたいと思っている」と事前に伝えた上で、「そこに最短で向かうためにはどうすればいいですか?」というようなコミュニケーションをしています。そうすると「こういう方法がいいんじゃないか」と、ゴールに向かうための意見が出やすくなると思います。
異なる意見を持った人と作る方が良いと考えるか否かは、価値観が分かれる超重要なポイントだと思いますが、私はいろんな考えがあった方がアウトプットの品質も良くなると良いと思っています。そこがスタンスの分かれ目だと思います。
うちのメンバーであれば、みんなメルカリをどうすれば良くできるかという考えはなにかしら持っているはず。それを引き出して統合することがPMの役割のひとつですが、これがやっぱりすごく難しい…。「どうしたらメルカリが良くなると思いますか?」と直球で聞いてもなかなか出てこないので、手を変え品を変え芋づる式に各自のアイデアを収集しながら、それらをただ組み合わせるだけだとキメラみたいなことになってしまうので、そこに対してビジョンを持ってきちんと統合していく必要がありますよね。
方法論の考え方の違いに関してこんな例があります。我々がやりたいのは、長期的に利益を生み出すことなので、直近数ヶ月だけ儲かってもしょうがないんですね…いや、しょうがなくはないんですけど。とした時に、長期的な目線を重要視する人は、時間をかけてバグが起きないように固く作っていくことになります。ただ、一方ではとりあえずサクッと作って成果を出してから直していけば良いみたいな考え方もあるので、そのバランスを取らなきゃいけない。そんな時に、「固く作る人はこう考えてる、スピード優先で作る人はこう考えている、じゃあどうしようか…?」みたいなときにビジョンが大事なんですね。両方とも言っていることは正しいので。
@hiza:その問題について1つ思うのが、プロダクトの寿命にかなり大きく左右されますよね。昔、ソシャゲ業界にいたんですけど、ソシャゲはリリースして3ヶ月でサービス終了とかが普通にあるんですよ。あまり固く作っても仕方ない場合があったんですよね。でも、僕がいた頃に比べて、今のソシャゲ業界は寿命が長いタイトルが多いので、そこは違いがあるかな。
@furufuru:メルカリは1年やそこらではなくならないと思うので、数年先を見越さないといけない。だけど、メルカリの中のいち機能は1年後にないものもあるかもしれない。それを1年かけて作る意味はあまりないですよね。
それこそホーム画面はアプリがある限りなくならないんじゃないですか。ここはもう確実にちゃんとやんなきゃいけないけど、そこから数タップした先の機能はなくなるかもしれない。
@hiza:しっかりと作った方がシステムとしては堅牢なものになると思いますが、実際のところインテグレーションしてみないと本当に使えるものなのかわからないことも全然ありますよね。お客さまから早期にフィードバックを得るためには、やっぱり1回出してみる方がいいという考えも積極的に許容される。難しいけど面白い課題ですよね
@furufuru:これはもう永遠の課題ですね…。私の気持ちや思いだけだと、まわりのメンバーを動かせないので、そこは理論と気合いで進めていきたいですね(笑)。