岗位职责:
1、参与负责公司数据采集需求的实现。
2、优化公司现有采集系统,不断提升可维护性、智能性。
3、负责公司部分现有采集程序的维护。
任职要求:
1、本科及以上计算机相关专业背景,2年及以上数据爬取及大规模爬虫开发相关工作经验。
2、熟练掌握Java、python语言。
3、熟悉scrapy,javascript,有过一定的实际使用经验。
4、熟悉中间件redis、mysql以及mongodb。
5、具有设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析的经验。
6、能设计爬虫策略和防屏蔽规则,提升网页和APP数据抓取的效率和质量,有App反编译经验者优先;
7、能独立解决实际开发过程碰到的各类问题,能参与制定反爬安全策略。