岗位职责:(1) 负责公司的爬虫核心技术研究以及爬虫策略优化;(2) 负责移动端数据获取开发与实现;(3) 根据业务需求,实现大规模文本、图片、视频等数据抓取、清洗、存储等是开发与实现工作;(4) 对数据清洗质量与时效负责,为分析提供数据支撑。任职要求(1) 计算机、数学或统计等相关专业本科及以上学历,2年以上数据相关工作经验;(2) 熟悉linux平台,掌握Python/JAVA或某种编程语言;(3) 熟悉基于正则表达式网页信息抽取技术,应对反爬策略技术;(4) 熟悉逆向、HOOK工程技术,包括脚本逆向、移动端APK的逆向,具有安卓或IOS数据采集经验; (5) 精通常用的爬虫技术及架构,并能快速实现;(6) 熟悉多线程编程、分布式计算,有分布式系统使用经验;(7) 具备良好的编程习惯和算法基础,具有钻研精神;(8) 对数据驱动业务有深入理解,对数据与业务方面有足够的敏感性,独立思考能力和逻辑分析能力强。