登录
  • #工作信息
  • #求职
  • #数据科学
  • #攻略

浅谈一些DE感想: 迅速红海化的DE+成熟的DA和DS+数据行业的SDE

haoguoxuan
8159
48
2017年,从大神Maxime发表的两篇文章中定义和描述了DE的角色,到现在已有3年多了。

在2017年大多数人依然在厮杀于DA/DS的岗位时,DE的需求量悄然崛起,2018年达到了一个小高峰,记得那时我只有一年多的DE经验,然而在linkedin上每周都能收到各厂recruiter的勾搭,不乏FB,Amazon,Walmart Lab。。等等,那时DE几乎是0门槛,哪怕你没有任何DE经验只要有沾边的经验都很有可能拿到面试。

这个行业变化非常快,最早的DE是绕不开一些SDE和DevOps的工作的,所以基本上可以算是半个SDE。实际上FB的DE团队2014年就有了,发展到2018年的时候一些FB的DE除了写data pipeline之外还适当的参与一些工具开发的工作,现在进FB的DE已经完全和SDE的工作没关系了,data infra不能说完美但说是业界最好的绝不为过,导致DE不需要担心解决技术问题,更多的是偏向于product和business。

其实技术栈的快速演进不是一个坏事,并不会减少对DE的需求,因为很多中小厂没有能力养一大堆DE,很多传统行业的管理层也不喜欢data pipeline代码化,更喜欢使用一些现成的工具,然后雇佣一些会使用工具的操作员,这样可替代性就很强,系统的可维护性也很强,便于管理。

中小厂现在如果把公司的数据架构都搬到AWS上去,DE只需要一点点DevOps的技能(其实也已经被极大地简化了),会python script和SQL就够了,实现简单逻辑的data pipeline甚至不需要写代码。带来的一个现象是门槛迅速被拉低和技能的工具化。很多DE的职位qualify的标准是看你有没有使用过一些常用工具,外加考简单的Python和SQL就ok了。结果就是有几年经验的DE很多转了SDE,大量廉价烙印涌了进来,很多DE的职位扔给入门水平的contractor。再加上疫情的影响,市场上的DE的坑也开始红海化。

其实这个红海化的进程比我预计的要了1-2年,综合以上状况,这个行业就是这么个现状了,我最近面的一家中厂刚刚新组的AI/ML团队,DS:清一色的Phd,全是国人和白人;DE:清一色的烙印。

另外,为了刷人,招聘广告上现在一般都是4-5年以上工作经验起,可是真正令我震撼的是很多烙印兄弟简历上写着7年+DE工作经验。。还有写着10年+DE经验。。我现在投简历因为“经验太少”经常直接被拒的。。

其实也有人把传统ETL和Data Warehouse的经验也算进DE的经验,
本帖隐藏的内容需要论坛积分高于188才可浏览
点击前往一亩三分地论坛查看 >>


说了这么多,该不该劝转DE呢?短期之内,找工的话今年DE仍是个不错的落脚的选择,明年下半年应该难了(不是需求量小,而是少了SDE的门槛后,参与竞争的人会很多),以后竞争激烈程度貌似和DA应该有的一拼。职业发展上来说,在这个圈子里,生态链上端的依然是造工具的而不是用工具的。

补充内容 (2020-10-25 15:46):

如果觉得还有点东西请赏个米,谢谢。。

补充内容 (2021-1-7 09:19):

2021了,更新一下。看了一波春招的DE方向的职位,另外跟一些recruiter了解了下行情,有趣的是中小厂DE职位基本都是打着DE的旗号招SDE。。。也不知道各厂是不是为了降成本。楼主已决定刷题转SDE,祝自己好运!
48条回复
热度排序

发表回复