登录
  • #数据科学

请帮我弄懂A/B testing Sample Size 计算问题 :/

peppershaker
2657
11
在DS take home 40题里面,说需要四个已知

1)Significance level

2) Power

3) Min Effect size

4) Expected standard deviation of the change in metric

但是在Google Udacity A/B testing 的课里面,没有提到这个Expected standard deviation of the change in metric。反而需要

1)Significance level

2) Power

3) Min Effect size

4)baseline conversion

请问这是两个不同的计算方式吗?有什么区别?是不是Google的只能用在 rate 类的 metric 里?比如说 conversion rate,bound 0到1之间。但是第一个用在其他continous variable metric上?比如 session time?

最后,如果metric是 average # of photo uploads / dau / day, 这要怎么计算sample size?如果实验跑了14天,之后用independent samples t test, sample size 是14吗(这个metric 是 per day,所以要每天计算一次?)很抱歉。懵了。。。
11条回复
热度排序

发表回复