科研半年小结与讨论
44797
去年10月的最后一天到的日本，除去第一个月安顿生活，到现在搞研究也刚好快半年了，写点东西。很仓促，还有一些没写的小节应该不会再写了……
; 科研
○ 方向
§ 目前focus的问题：基于对因果性的理解，区分因果方向。
我是想在理解因果的基本性质的基础上提出方法。不过最近觉得现实中被我们判定为因果的关系可能太多样了，根本不能用一个原则来概括。所以也许根本提不出一个方法在现实数据上结果很好。现状其实是大部分方法的准确率甚至不到七成。所以这些方法可能没有一个真正抓住了因果性的主要方面，其实说不定就没有主要方面可抓。
所以最近有点怀疑其自己和这个方向来，觉得能做的最好的事情也不过提一个有趣但无论从原理还是性能上都无法真正判断价值的方法。
§ 有些迹象表明这不是个好方向：
; 之前在这个方向活跃的人大多都转到其他方向
; 相对于问题的复杂性，benchmark dataset 太小
; 已有方法的正确率都在 60% ~ 70% 之间
; 被提出来的更多是不相关的方法，而不是建立在之前研究的基础上
§ 首先，正确率很难到70%以上，我甚至觉得没有更大的dataset更高的正确率是不可能的。如果没有基于因果性质的 justification 那没什么意思。就算有，也很难作为进一步研究的出发点，就像没法基于已有研究更进一步。虽然可以做一些离散/连续，多变量之类的扩展，但并没有扩展对因果性的理解。
§ 因为对这个方向有所怀疑，所以一旦没什么进展整个人就很动摇。之前一度想和老师商量要不要换个方向。目前的想法是先在这个问题上发一篇论文，希望投在年底的 aistats 上。我自己目前的感觉，如果 aistats 不顺利，再来半年应该是没问题的。然后如果确实还是觉得这个问题没什么好做的，就换个问题（应该还会是 causal discovery）。
○ 进展
§ 有几个可能可以做的 idea，最近两个最靠谱。一个我后来发现基本的想法其实是一个在 econometrics 里面很经典的想法，我自己独立把它几乎 reinvent 了一遍……好在计算实现上还是有很大做头；另一个基于 ICA 的最新成果，也是想出来之后发现有相关工作，但好在我的想法可以看成扩展和精细化。场景很像有木有，md更神奇的是这两个险些撞车相关工作其实我很早之前都遇到过只是没有引起我的注意罢了……
○ 困难
§ 除了上面提到的指导不足的问题，主要的困难时我自己的底子不足。看论文时遇到一些虽然重要但是需要积累才能进入的问题就只好避开（比如图模型）。不过虽然我自己觉得数学基础不足，但只要不是纯理论的论文（也就是虽然有些定理但更多还是通过实验结果来评价），基本还是都能看懂的。我现在基本按2：1的比例分配在研究和打基础的时间，希望之后能做得更理论一些吧。
; 导师
○ 性格为人
§ 很 nice，对我的基本有求必应。真的没法帮忙也会很诚恳地说明。在研究所总是叫上我一起吃饭。吃饭时聊聊生活家常，新闻、往事，学界八卦，其实我倒希望他多聊聊学术……
○ 指导
§ 关于导师最大的问题可能就是我的研究方向其实和他不一致。具体来说就是当初套词和视频面试的时候，大概确定了一个我们都感兴趣的研究方向（causal inference）。后来的文献调研，精读哪些论文，找具体研究问题，可以说都是我独立做的，没有得到指导。所以就没法仰仗导师的经验避免采坑，想直接拿到第一个可以灌水的问题就更别想了。
§ 另一个问题是可能因为性格使然，太不 push 了，甚至可以说放羊。我们现在一周多讨论一次，要不是我很主动，很可能会变成两三周一次……讨论时候就基本是我在讲最近读的论文或者自己的 idea，他会提一些问题，大部分因为是我没讲清楚。我是希望收到尽量多的反馈，希望老师更 critical。在科研实践（见 douban.com ）上可以有一些批评和指导。
§ 所以结果就是具体的科研问题还有一般的科研工作实践两方面基本都是我自己在摸索。当然我也想自己主动多提问，多寻求帮助，但是大家知道对于新人来说，问题经常在于不知道什么重要，该问什么。所以之前的尝试效果也不是很好。
§ 有点意外的是，我在和他讨论的时候并没有感受到很多人说的“能做教授的人都是绝顶聪明”这点。通常我提一个 open problem 他也会想很久，一般也没有好的 idea。而且对于一些我已经想得比较清楚的问题，能感觉到有时候他也会想到坑里去。当然我一点不怀疑他的科研成果和相应的能力，我想可能 researcher 也有不同的类型，我老板是积累和功底型的吧。我能感觉到的是他对自己研究领域的工作以及相应的数学基础非常的熟悉，基本是随口给文献随手推公式。
○ 资源
§ 其实导师这边还是经常有国外的学者和学生访问，导师也会叫上他们一起吃饭，所以就出现了饭桌上一会日语一会英语的情况……3月办了个 workshop，见到了好几个导师研究圈子内的大佬，4月跟他去 AISTATS 耍了一趟。另外老板挺有钱的感觉，年初有次吃饭还在愁经费花不完……刚来时很爽快地说台式笔记本pad全都可以买，然后我觉得配置新机器挺麻烦就只买了台式，后来我自己的笔记本坏了找他，他说财务结算过了钱没了，后悔啊……（不过还是有台4年前的MacBook用，跑起来杠杠的）。RA方面，日本这边普遍比较低，他给我的应该高于平均水平了。
; 环境
○ 研究所
○ 同学
§ 学生一年就招10来个，大部分还是社会人。日本比较神奇，很多企业的研究岗是招收硕士的，而且还支持你在职读博。
○ 老师
○ 课程
§ 我自己是三年博基本没有课程要求。而且因为所里很多在职博士，大部分课都只有三五个人上课，还有一门课没人上今年就不开课了的情况。老板跟我说大部分课程听听就可以，作业很少，我感觉也是比较水。后来我还是决定自己看书自学，不过还是担心比跟课程效率低。当然也有好处就是可以按科研需要定制自己要学的，选喜欢的教材。不知道大家是否觉得不上课缺憾比较大？如果是，怎么想办法弥补？我感觉是不是越到 advanced 的内容，就越需要教授带着学？
; 总结与体会
○ 只有保证稳定投入科研是正道。这段时间做下来，基本每一周多会有一个小突破，忽然想通了一个东西，或者有个新点子。这个跟自己的感觉没关系，你觉得这么想下去挺靠谱大概不久会有东西吧，但几乎总是非你所料。就像玩游戏时有张大地图等着你探索，上面随机有一些突破点。如果你只是在自己预期的方向找找，不如意就停下来休息，那发现下一个突破点就需要更长时间了。我想这可能就是科研有趣又折磨人的地方吧，没进展的时候觉得自己就在搬砖，做的事情毫无意义，还怀疑自己是不是傻，但忽然进展不期而至又觉得前面的苦工都值了，还好没有停下来。
○ 上面的突破说的好听一点可能就是灵感。不过灵感不是像阿基米德的 eureka，对问题的理解是一小块一小块的，回头看看，只会觉得能到走到这里是理所当然。灵感来的时候感觉不是在之前思考的方向上前进了，而是忽然看到了新东西。然后根据新发现的东西走下去，有些思考成果，但最后经常会卡住，然后又一个小灵感，带来新东西，如此循环。
○ 尽早跑一下经典方法的代码。这是了解领域现状的第一手信息，跟只读论文相比还是鲜明很多的。虽然一点也是我一开始打算的，但真正执行起来还是不由自主看了太多论文，今年3月才开始跑代码，距离开始读论文已经4个月了。我觉得可能是开始读论文一两个月，清楚了解了两三个经典方法以后，就可以了。
○ 读非纯理论的论文一定不要忽略实验部分。这一点和上面相关，其实很多论文前面说得天花乱坠，最后的实现可能很简单。我想有两个原因，一是写代码为了容易实现，做了很多简化；二是写论文为了好看，额外加了一些 justification，有包装的成分，可以说把原先简单的 idea 复杂化了。
; 问题和讨论
○ 如何判断一个方向是否靠谱？有哪些信号表明该换方向了？
○ 如何一边补基础一边解决研究问题？关于看论文和打基础等等的时间分配。
○ 怎么 push 放羊型的老师，怎样互动对于新手帮助大？新手最需要导师的哪些帮助？
○ 自学能否有 PhD level 课程的效果？如何计划和执行？
; 科研
○ 方向
§ 目前focus的问题：基于对因果性的理解，区分因果方向。
我是想在理解因果的基本性质的基础上提出方法。不过最近觉得现实中被我们判定为因果的关系可能太多样了，根本不能用一个原则来概括。所以也许根本提不出一个方法在现实数据上结果很好。现状其实是大部分方法的准确率甚至不到七成。所以这些方法可能没有一个真正抓住了因果性的主要方面，其实说不定就没有主要方面可抓。
所以最近有点怀疑其自己和这个方向来，觉得能做的最好的事情也不过提一个有趣但无论从原理还是性能上都无法真正判断价值的方法。
§ 有些迹象表明这不是个好方向：
; 之前在这个方向活跃的人大多都转到其他方向
; 相对于问题的复杂性，benchmark dataset 太小
; 已有方法的正确率都在 60% ~ 70% 之间
; 被提出来的更多是不相关的方法，而不是建立在之前研究的基础上
§ 首先，正确率很难到70%以上，我甚至觉得没有更大的dataset更高的正确率是不可能的。如果没有基于因果性质的 justification 那没什么意思。就算有，也很难作为进一步研究的出发点，就像没法基于已有研究更进一步。虽然可以做一些离散/连续，多变量之类的扩展，但并没有扩展对因果性的理解。
§ 因为对这个方向有所怀疑，所以一旦没什么进展整个人就很动摇。之前一度想和老师商量要不要换个方向。目前的想法是先在这个问题上发一篇论文，希望投在年底的 aistats 上。我自己目前的感觉，如果 aistats 不顺利，再来半年应该是没问题的。然后如果确实还是觉得这个问题没什么好做的，就换个问题（应该还会是 causal discovery）。
○ 进展
§ 有几个可能可以做的 idea，最近两个最靠谱。一个我后来发现基本的想法其实是一个在 econometrics 里面很经典的想法，我自己独立把它几乎 reinvent 了一遍……好在计算实现上还是有很大做头；另一个基于 ICA 的最新成果，也是想出来之后发现有相关工作，但好在我的想法可以看成扩展和精细化。场景很像有木有，md更神奇的是这两个险些撞车相关工作其实我很早之前都遇到过只是没有引起我的注意罢了……
○ 困难
§ 除了上面提到的指导不足的问题，主要的困难时我自己的底子不足。看论文时遇到一些虽然重要但是需要积累才能进入的问题就只好避开（比如图模型）。不过虽然我自己觉得数学基础不足，但只要不是纯理论的论文（也就是虽然有些定理但更多还是通过实验结果来评价），基本还是都能看懂的。我现在基本按2：1的比例分配在研究和打基础的时间，希望之后能做得更理论一些吧。
; 导师
○ 性格为人
§ 很 nice，对我的基本有求必应。真的没法帮忙也会很诚恳地说明。在研究所总是叫上我一起吃饭。吃饭时聊聊生活家常，新闻、往事，学界八卦，其实我倒希望他多聊聊学术……
○ 指导
§ 关于导师最大的问题可能就是我的研究方向其实和他不一致。具体来说就是当初套词和视频面试的时候，大概确定了一个我们都感兴趣的研究方向（causal inference）。后来的文献调研，精读哪些论文，找具体研究问题，可以说都是我独立做的，没有得到指导。所以就没法仰仗导师的经验避免采坑，想直接拿到第一个可以灌水的问题就更别想了。
§ 另一个问题是可能因为性格使然，太不 push 了，甚至可以说放羊。我们现在一周多讨论一次，要不是我很主动，很可能会变成两三周一次……讨论时候就基本是我在讲最近读的论文或者自己的 idea，他会提一些问题，大部分因为是我没讲清楚。我是希望收到尽量多的反馈，希望老师更 critical。在科研实践（见 douban.com ）上可以有一些批评和指导。
§ 所以结果就是具体的科研问题还有一般的科研工作实践两方面基本都是我自己在摸索。当然我也想自己主动多提问，多寻求帮助，但是大家知道对于新人来说，问题经常在于不知道什么重要，该问什么。所以之前的尝试效果也不是很好。
§ 有点意外的是，我在和他讨论的时候并没有感受到很多人说的“能做教授的人都是绝顶聪明”这点。通常我提一个 open problem 他也会想很久，一般也没有好的 idea。而且对于一些我已经想得比较清楚的问题，能感觉到有时候他也会想到坑里去。当然我一点不怀疑他的科研成果和相应的能力，我想可能 researcher 也有不同的类型，我老板是积累和功底型的吧。我能感觉到的是他对自己研究领域的工作以及相应的数学基础非常的熟悉，基本是随口给文献随手推公式。
○ 资源
§ 其实导师这边还是经常有国外的学者和学生访问，导师也会叫上他们一起吃饭，所以就出现了饭桌上一会日语一会英语的情况……3月办了个 workshop，见到了好几个导师研究圈子内的大佬，4月跟他去 AISTATS 耍了一趟。另外老板挺有钱的感觉，年初有次吃饭还在愁经费花不完……刚来时很爽快地说台式笔记本pad全都可以买，然后我觉得配置新机器挺麻烦就只买了台式，后来我自己的笔记本坏了找他，他说财务结算过了钱没了，后悔啊……（不过还是有台4年前的MacBook用，跑起来杠杠的）。RA方面，日本这边普遍比较低，他给我的应该高于平均水平了。
; 环境
○ 研究所
○ 同学
§ 学生一年就招10来个，大部分还是社会人。日本比较神奇，很多企业的研究岗是招收硕士的，而且还支持你在职读博。
○ 老师
○ 课程
§ 我自己是三年博基本没有课程要求。而且因为所里很多在职博士，大部分课都只有三五个人上课，还有一门课没人上今年就不开课了的情况。老板跟我说大部分课程听听就可以，作业很少，我感觉也是比较水。后来我还是决定自己看书自学，不过还是担心比跟课程效率低。当然也有好处就是可以按科研需要定制自己要学的，选喜欢的教材。不知道大家是否觉得不上课缺憾比较大？如果是，怎么想办法弥补？我感觉是不是越到 advanced 的内容，就越需要教授带着学？
; 总结与体会
○ 只有保证稳定投入科研是正道。这段时间做下来，基本每一周多会有一个小突破，忽然想通了一个东西，或者有个新点子。这个跟自己的感觉没关系，你觉得这么想下去挺靠谱大概不久会有东西吧，但几乎总是非你所料。就像玩游戏时有张大地图等着你探索，上面随机有一些突破点。如果你只是在自己预期的方向找找，不如意就停下来休息，那发现下一个突破点就需要更长时间了。我想这可能就是科研有趣又折磨人的地方吧，没进展的时候觉得自己就在搬砖，做的事情毫无意义，还怀疑自己是不是傻，但忽然进展不期而至又觉得前面的苦工都值了，还好没有停下来。
○ 上面的突破说的好听一点可能就是灵感。不过灵感不是像阿基米德的 eureka，对问题的理解是一小块一小块的，回头看看，只会觉得能到走到这里是理所当然。灵感来的时候感觉不是在之前思考的方向上前进了，而是忽然看到了新东西。然后根据新发现的东西走下去，有些思考成果，但最后经常会卡住，然后又一个小灵感，带来新东西，如此循环。
○ 尽早跑一下经典方法的代码。这是了解领域现状的第一手信息，跟只读论文相比还是鲜明很多的。虽然一点也是我一开始打算的，但真正执行起来还是不由自主看了太多论文，今年3月才开始跑代码，距离开始读论文已经4个月了。我觉得可能是开始读论文一两个月，清楚了解了两三个经典方法以后，就可以了。
○ 读非纯理论的论文一定不要忽略实验部分。这一点和上面相关，其实很多论文前面说得天花乱坠，最后的实现可能很简单。我想有两个原因，一是写代码为了容易实现，做了很多简化；二是写论文为了好看，额外加了一些 justification，有包装的成分，可以说把原先简单的 idea 复杂化了。
; 问题和讨论
○ 如何判断一个方向是否靠谱？有哪些信号表明该换方向了？
○ 如何一边补基础一边解决研究问题？关于看论文和打基础等等的时间分配。
○ 怎么 push 放羊型的老师，怎样互动对于新手帮助大？新手最需要导师的哪些帮助？
○ 自学能否有 PhD level 课程的效果？如何计划和执行？
- 21
7条回复