こんにちは、iOSDC 2019のCfPに当選して夏が忙しくなりそうな @imaizume です。
今年のiOSDCでDiverseはブーススポンサーになりました! 参加される方はぜひ遊びに来てくださいね!!
さて、先月18日に合同会社DMMさんで行われた potatotips #62 にLT登壇させていただきましたので、今回はそのご報告になります。
potatotipsは、iOSとAndroidの両プラットフォームの開発者が集い、アプリやモバイルの周辺技術にまつわるTIPSを共有するという勉強会です。
今回はGoogle I/O 2019とWWDC 2019の後ということもあり、両プラットフォームとも新しく発表された機能に関する発表が多く見受けられました。
そんな中自分は、Firebase Remote Configの運用で得たノウハウについての発表をさせていただきました。
Firebaseは両プラットフォームで使うことのある技術のため、potatotipsでのトピックにも最適と思いお話させていただきました。
当日の資料はこちらに公開させていただいております。
Firebase Remote Configは、アプリ内にあるロジックを遠隔で操作可能にするソリューションです。
一部のユーザーに対して通常と異なる画面を表示したり、限定的に新機能を利用可能にしたりする、いわゆるA/Bテストに必要な機能を実現できます。
アプリ側での実装は、Firebaseからパラメーターを読み込む処理を数行書くだけで良いため、既存のプロダクトに簡単に導入できるというメリットがあります。
また専用の管理画面が用意されており値を入力して保存するだけで反映されるため、運用・管理のコストが低いのも特徴です。
自分の所属するPoiboyチームでは、昨年暮れからRemote Configを利用したA/Bテストによる施策の効果検証を10件以上行ってきました。
その中で現在に至るまで、チーム内で実装・運用とも試行錯誤を重ねてきました。
詳細は資料に載せたのでそちらをご覧いただきたいのですが、今回は主に増加するパラメータの管理方法として現時点でのベストプラクティスと、エンジニア以外のメンバーにとっても運用がしやすくなるようなノウハウをお伝えしました。
storeとstubを作って、プロトコルの変数を参照 #potatotips
— SatoTakeshi 【4/14技術書典6 け01 Fluid Interface本】 (@hatakenokakashi) June 18, 2019
A/Bテストとかのノウハウ欲しいなぁ#potatotips
— 椎名夏希@7/13-14RAS現地 (@417_72ki) June 18, 2019
LTの冒頭でRemote Configの概要を知っているかどうかを参加者に質問したところ、7割以上の方が「知っている」と回答されていました。
どのサービスでも、施策の効果測定でA/Bテストの仕組みは欠かせないものなのでRemote Configは注目されているのだなと感じました。
しかし一方で「実際に利用している」と答えた方は全体の半数程度でした。
懇親会でRemote Configを使わない理由について聞いたところ「A/Bテストのための仕組みを自前で実装している」と話す方が複数名いらっしゃいました。
特に大きな会社だと基盤や数値分析を専門とするチームがあり、A/Bテストの実装についてはモバイルエンジニアは担当しないというケースが多い様子でした。
また別の理由として「A/Bの振り分けに詳細なユーザー属性を指定したいから」という声も聞かれました。
こちらについては、Firebase A/B TestingやRemote Configの設定時にAudience (ターゲットユーザーグループ)を対象に含めることで、属性に基づくターゲットに絞っての検証が可能です。
高精度な属性情報が必要な場合は追加のプロパティをFirebaseに送ることもできますので、自前実装を考えている方はFirebaseの利用を検討してみても良いでしょう。
これまで自分は「A/BテストならとりあえずFirebaseを使えば大丈夫」という考え方だったので、自前実装との比較ができとても参考になりました。
またA/Bテストの進め方や組織体制などについても参加者と意見を交わすことができ、大変有意義なTIPS共有会となりました。
なお今回はお話できなかったログ送信や数値測定周りのお話も、今後機会があればしたいなと思っています。
Diverseでは、こうした施策の効果測定を始めとした数値分析にも力を入れています。
最近ではLookerというBIツールも導入し、FirebaseでのA/Bテストの結果検証にも利用しています。
Looker導入の経緯についてはこちらの記事もぜひご覧ください。
アプリ開発だけでなく数値分析や施策の効果検証などにも興味があるエンジニアさん、ぜひ一度お話しませんか!
お気軽に @imaizume またはお近くの社員までどうぞ、ご連絡をお待ちしております!!
