岗位职责：
1、参与分布式爬虫架构与数据采集系统的设计及开发工作；
2、规划网络数据抓取方案，定时抓取目标网站相关信息；
3、制定爬虫策略与反屏蔽机制，提高页面采集的效率与准确性；
4、参与数据底层搭建，聚焦垂直领域数据获取，整合多平台信息并进行分析；
5、完成数据抽取、清洗、结构化处理、存储及统计分析等相关任务；
6、研究算法优化方法，增强爬虫系统的稳定性与扩展能力；
7、根据业务需求，配合完成上级交办的市场调研、数据分析或方案设计等任务。

岗位要求：
1、计算机类相关专业，具备爬虫与反爬开发经验者优先，有移动端App数据采集经验者优先；
2、熟练掌握Linux环境下开发，精通Python语言，了解主流爬虫框架及相关工具；
3、熟悉MongoDB、Redis、Mysql数据库，掌握消息队列技术，了解HBase、KAFKA等组件；
4、掌握HTTP协议，熟悉正则表达式、XPath、CSS选择器，了解常见验证码识别手段；
5、具备独立分析和解决开发中各类实际问题的能力。