【岗位职责】
1、参与分布式网络爬虫架构及配套数据库的搭建与开发工作；
2、聚焦爬虫核心算法优化，研究并制定高效抓取策略与反屏蔽机制，合理调配资源，提升多媒体内容采集的效率与准确性；
3、主导数据平台的开发与维护，完成数据清洗、加工处理，提供稳定的数据接口服务及系统化管理方案；
4、深入理解大数据应用场景需求，设计可行的技术路径并推动落地执行；
5、响应各业务线在使用数据平台过程中遇到的问题，进行问题诊断并提出有效的改进措施；

【任职要求】
1、第一学历须为本科或以上；
2、职业经历中不得包含任何外包项目经验；
3、具备3年以上使用Python进行网络爬虫开发的实际经验，曾有抖音视频、快手视频或小红书等任一平台数据采集相关工作经验；
4、熟悉web逆向技术，了解主流反爬手段，掌握多种破解方法，如hook技术、Js防护绕过、代码混淆分析、App防破解、逆向防御及加固等相关技能；
5、精通http协议，熟练运用xpath、csspath、正则表达式等数据提取技术；
6、具备自主开发算法或应用第三方工具实现验证码自动识别与通过的实践经验；
7、能熟练通过python对接MySQL、MongoDB、Redis等数据库，并掌握RabbitMQ、Kafka等常用消息中间件的使用；
8、第一学历为211院校及以上者优先考虑；