登录
  • #刷题
  • #系统设计/ood

fb面经题web crawler讨论

shutongyu24
3816
7
在面经版看到这道系统设计题出现在很多fb面经里,看大家的讨论交流还是有一些不懂的地方,有大牛可以讲解一下思路吗?

给你10K个机器,然后1B的url,机器之间不能通信,问你怎么样每个机器才能平均的分任务



帖子的楼主在3楼说了一下面试时被面试官引导的方向

“思路就是每台机器都从起始点开始,然后对拿到的url做hash,事先规定好每台机器都只做那些hash value的job,如果hash的值跟当前机器的预定值不一样就skip,一样才继续crawl”

10k机器,都从起点开始,可是起点hash之后只会对应到一台机器,按照^说的方向,那其他所有机器都不用爬就一直空闲下去了?
7条回复
热度排序

发表回复