申请试用
HOT
登录
注册
 
Building a scalable focused web crawler with Flink

Building a scalable focused web crawler with Flink

青色的海牛
/
发布于
/
2576
人观看
能否用Flink构建一个高效的网页爬虫引擎?这个就是我们Flink-Crawler开源项目诞生的动机,我们将会谈到通过AsyncFunction,多次迭代调用等方式来构造一个可伸缩的网页爬虫,这个爬虫可以不间断的高性执行网页爬取工作,幸运的是,我们还不需要对Flink的框架进行额外的修改。当然,我也会重点介绍一些测试和调试中碰到的关于AsyncFunction和多步迭代问题。
1 点赞
0 收藏
1下载
相关文档
确认
3秒后跳转登录页面
去登陆