data真的卷爆了吗2 - product case study经验分享

这个帖子会主要分享一下对product case study的整理，也是我在之前那个帖子的feedback中发现大家都比较关心的方面。那么我们就开始吧！Product Case Study主要有五大类型的题目:

1. Decision for launch or not.
2. Measure the success/ health for the product/ feature.
3. How to improve a product/ feature?
4. Diagnose a problem.
5. What data would you use to signal/ find something?
   

第一个类型和第二个类型我放在一起讲，都主要是在考察你对product/ feature的metrics的理解。问题的形式可能是：test a product idea/ decide whether to launch a product/ feature or not and how/ why do you make that decision?
这种题目一般有以下几个步骤：

1. Clarify goal and define metrics - 记住这个部分是重头而非experimentation，因为这个部分才是真正在考察你对产品和公司业务的理解，你需要做的是和面试官不断地确认以及brainstoming，列出可能的metrics。核心的问题是 What’s the goal of launching this feature? 这个feature在帮助谁解决了什么样的问题/ 给谁带来了什么样的收益？
2. 这里有一个引申的问题，就是你在面试每个公司之前，都应该思考这个公司的指标体系是如何构建的。指标体系衡量的是业务进程（一个公司可能不只有一个业务过程，但是大都会有一个主要的）的好坏，也就是说，你首先应该明白你要面试公司的业务过程是什么，从而才能在每个关键节点搭建指标，构成指标体系。举个例子，tiktok这家公司的主要业务过程是：aware tiktok -> download -> open the app -> register -> start to watch the short videos -> 点赞/ comment/ invite… 那么我们可以思考的是，在这个过程如何搭建指标体系。首先每一个层级都至少有绝对值和转化率，然后在每一个层级都要看盘子有多大（总量类指标）、active的比例有多少（活跃类指标）、增长情况如何（增长类指标）、产品做的好不好（留存类指标）。这些都是最基本的，对大多数公司都可以直接套用的。那么tiktok作为短视频平台（首先要想到这是two-sided platform and the key is video）当然还有一些独特的指标，这里留给大家思考一下～ 也可以直接给我留言哈！
3. Experimentation - A/B testing的话可以聊的东西非常多。我会在最后列一下可以参考的内容。首先选定指标体系之后，应该用什么A/B testing? 这里我要说的是hypothesis testing 不只包括A/B test，不要一看experimentation就A/B test。这里有两大类：第一类是A组有/B组没有，这样的feature其实更适合用hypothesis testing或者A/A test，metrics用两大类指标：一个是adoption rate，一个是retention rate，然后可以比对和预测值的差异。第二类是A组和B组不一样，这个才开始用A/B test。之后的东西非常老生常谈：define metrics -> null hypothesis -> alpha? beta? statistical power? sample size? how to split? percentage? new or old users? time duration? -> sanity check -> experiment -> unexpect? novelty effect? two-sided platform effect? -> conclusion & recommendation。这里还涉及了一些stats的东西，总之虽然是都被大家说烂了的东西，也一定要在每次面试前对最基本的东西烂熟于心才行。
4. 回答这类问题，如果是final round一个大问题的话，最后不要忘记给结论，当然是hypothetical的结论。这里会经常有一个follow up，问的是如果出现conflicting results怎么办，如果short-term和long-term不一样怎么办等等，这里需要注意的唯一一件事就是！抓住主要矛盾，想办法解决次要矛盾！一定要明白什么是最重要的，什么是C-level people最关心的问题和指标！
   

第三个类型：如何improve一个产品或者feature？首先第一大类讲的比较详细，之后我会更多着重在每一个类型和第一大类不一样的地方以及解决不同类型问题的不同框架。

1. Clarify the question。目的是什么？提高engagement, retention, or revenue？然后开始narrow down the specific feature, function, product and Clarify how the feature work
2. Identify product improvement opportunities? 你想要如何提升，为什么你的想法就能提升了，你的想法帮那些user提升了用户体验，需要自圆其说的能力
3. Prioritize the ideas ，这个主要是根据不同的方法打到的用户盘子大小以及engineering cost去说就可以，主要是让面试官知道你不会胡来就行哈哈哈哈哈
4. How to test it，回到hypothesis testing的问题，要有量化idea的能力
5. Your recommendation，总结问题和把控全局的能力。
   

第四个类型：如何diagnose a problem? 这里也是给一个解决问题的框架：

1. clarify the metrics! clarify问题太重要了，而且还可以帮你拖时间哈哈哈哈哈哈
2. 如果是statistics，看看有没有天生的缺点。比如说mean有没有可能是受极端值的影响，解决办法是99% percentile。
3. 确定时间，是短期还是长期。短期更有可能是受独立事件的影响，长期是market/ customer behavior/ product本身的问题可能性更大。
4. internal or external? 内部的话找engineer去（哈哈哈哈哈SDE不要打我），外部的话看看对家最近有没有marketing campaign
5. decompose the metrics。如果是分数，拆成分子和分母。不是分数的话拆平台，拆new/ old users，拆language都很常见。
6. summerize your approach and reiterate the important 节点。总结的能力很重要！！
   

第五个类型：What data would you use to signal/ find something? 这个问题好像不是很常见，但是还是建议大家准备一下，老规矩还是解决问题的框架：

1. clarify the question and background. 这个问题背后的商业问题是什么，谁在问这个问题，她的目的是什么？比如说让你找fraud account, 让你找business traverller。这些溯源型问题是每一次你看到这个类型的问题都必须去思考的！
2. 当你溯源了之后，思考受众对我们想要研究这件事情的定义！定义太重要了，在这里问题里面，不同的溯源可能会带来不同的定义。举个例子，profit的定义，经典的是revenue - cost，但是在不同的场景下cost的定义是不同的，有的是全部的cost，有的是marketing cost，有的是promotion cost，depends on你溯源的问题是什么！
3. random sample + Human annotation (ground truth) -> machine learning, major variables。这一套组合拳来完成之后的问题！
   

太累啦！！本来以为自己整理起来应该是手到擒来应该所有问题都是我反复思考的，但是把他们想办法表达出来还是很费功夫的。这里要着重说一下我的reference，因为很多都是在别人的基础上 + 自己的感受总结而来的。
【1】YouTuBe channel: Data Science Pro，一言以蔽之，非常棒的博主，全是干货！我的很多框架都是从她的视频中提炼出来的。
【2】YouTuBe channel: 课代表立正，可以常看，没有逐字稿，很多是经验分享。（第五个类型的问题的解决框架基本是出自他的视频）
【3】小红书博主：小红猪；ID：603853380。一个北大本科，现在在Google做DA的学长，干货很多，视频很短小精悍！
【4】1point3acres.com 希望每个分享data经验的人都不要忘记@她，奠定了我的data资料的基石贴！
【5】《amazon.com》这本书也是说烂了，真的非常棒，我面试之前放在卫生间里看（捂脸）。
【6】Udacity: A/B Testing classroom.udacity.com

还是像之前一样，大家有什么feedback都可以留在这里呀，每一个我都会仔仔细细地看！希望大家都加油呀！

补充内容 (2021-05-07 23:31 +8:00):
Reference的第一个经大家提醒是：Data Interview Pro，链接是youtube.com