爬虫开发工程师

岗位职责

职位描述1、遵循robots协议，采集互联网公开的新闻资讯、社交媒体、数字资产数据等信息，帮助提升产品用户体验。2、优化内部爬虫算法，建立稳定可靠的数据采集服务；3、帮助优化产品SEO，建立关键页面的反爬虫机制。职位要求1、2年以上相关工作经验，熟练Java/JS/Python等任一开发语言能力；2、熟悉主流web反爬技术，具备实际爬虫分析能力；5、至少熟悉一款head less浏览器，例如puppeteer等。6、具备相关数学、统计背景，有良好英文沟通能力优先；