爬虫工程师

岗位职责

最好有国外社媒爬取经验！！！反爬能力优秀！！！ 岗位职责: 1、分布式爬虫系统和数据采集的规划、设计、开发; 2、爬虫策略和防屏蔽规则研究，提升网页抓取的效率和质量; 3、理解系统数据处理流程以及业务功能需求; 4、负责核心算法的设计与开发; 岗位要求: 1、了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决is反爬和模拟登陆问题; 2、熟悉常见反爬机制，验证码识别，IP代理 池、应用Ip池、headers认证和cookie等; 3、熟悉Appium.Selenium.PhantomJS Web Driver等技术; 4、熟悉熟练使用charles、fddler等抓包工具; 5、熟悉MySQL、MongoDB、Redis Elasticsearch、Kafka等常用的中间件; 6、有国外社交网站Instagram、Youtube、 Facebook、Tiktok爬虫经验优先。