【职责描述】
1.开展分布式爬虫系统的设计与开发工作
2.参与或主导爬虫算法、反爬机制应对策略、代理IP调度优化等相关技术的研究与实际应用，提升数据采集的时效性与成功率
3.对获取的数据进行清洗、结构化处理及存储，并持续改进数据处理流程与平台性能
4.参与爬虫自动化平台的构建与迭代优化

【任职要求】
1.掌握主流爬虫技术架构，具备反爬虫分析与应对能力，拥有2年以上爬虫相关开发经验
2.具备大型电商、直播、社交媒体、本地生活类平台数据抓取实践经历，有逆向破解项目经验者更佳
3.熟练运用Scrapy-Redis、Redis、MongoDB、Mysql、Git等工具和技术栈
4.熟悉Linux操作系统下的开发环境，精通Python编程语言
5.熟悉Selenium、Pyppeteer等浏览器自动化工具
6.具备JS逆向、安卓端逆向分析能力，可实现补环境及RPCHOOK操作
7.能够独立编写frida、xposedhook插件
8.具备两年以上行业相关工作经验