请问走de/ml infra那条路更有前景呢?

11713
19
最近在跳槽,主要接触了两类岗位,ml infra,sde-data (data engineer),都挺感兴趣的,想听听大家对这两条路的想法。
我先说下我的理解:

从职责角度
两者都是sde的分支,ml infra 侧重于build ML system,基本就是deploy model,ml pipeline之类的活,不多涉及research,需要对ml 一定的了解但是不需要很深的数学推理。有时候可能会做一些data pipeline
de可能就完全另一套系统了,不设计ML的部分,主要做data ingestion,data pipeline,类似ETL之类的活。当然也有可能公司的de做ml。

个人兴趣
我本身对高深的ml model不是很感兴趣,主要觉得太难了哈哈哈,再加上现在的工作基本是做ml pipeline,也比较喜欢做这类工作,所以不排斥做ml infra。
但是我的担忧是(也可能是实在不了解),这条路会不会太窄了,MLOps确实还挺重要的,但是也分组,如果system本身比较成熟了,是不是比较难继续做新的有意思的项目?
目前工作的瓶颈就在于,框架搭好了,就改改就行了,维护维护,重复性的比较多,有点无聊?

可能因为做过一个小型etl工作,所以也拿到了些de的面试,感觉和现在做的就完全不同了,涉及到很多对数据的处理和pipeline监控。但是个人对spark,hadoop,airflow之类的工具还挺感兴趣的,
不知道是不是可以入坑体验下。

面试角度
面试考察的也不一样,除了coding, ml infra可能需要考ml design+system design,而de就是要考data architect design和system design等,更侧重于大数据方面。


另外感觉大公司的sde ml infra岗位bar更加高,很看重经验,好多都4/5+起;而且有些挺要求backend的背景的。可能从general sde开始更好。所以基本也没有拿到大公司的ml infra岗


我没有看到很多对于两方面一起比较的讨论,所以想请问下大家:
- 从职位角度来看,DE的需求量远大于 ml infra,ml infra真的太少了。。。所以是不是可以说de的前景更好呢?这个肯定不严谨,但是需求量说明一定的问题?
- sde-data和de是不是类似的岗位呢?看到很多做data infra,和de是否类同呢?
- 两者的互换性高吗?假设做一段时间的de,再想转作ml infra,是否可行?这次跳槽发现这两个岗位挺看中经验的,如果有相关的项目经验,很加分。
- 之前Andrew的视频说业界对于data quality的关注太少了,是否能说明de的重要性会越来越高?


看了一些对于de和ml infra的帖子,感觉两个都是容易做到机械性和重复性的工作,特别是ml infra的impact可能没那么高,也有些人就转码了。求大家的建议!!谢谢



  • 31
19条回复