岗位职责：
开发分布式爬虫架构，实现千万级规模数据的高效采集，应对各类反爬机制（如验证码、IP限制、接口加密），持续优化采集速度与系统稳定性。
构建数据处理流程，制定清洗、去重及存储策略，搭建自动化采集与监控体系，确保数据准确性与时效性。
负责爬虫系统的日常运维与监控，及时发现并处理运行异常，保障服务高可用与持续稳定。
深入研究网站反爬技术方案，分析防护逻辑，设计合规可行的应对策略，确保采集过程合法有效。

任职要求：
1.精通Python编程，熟悉Scrapy、Requests等主流爬虫工具框架。
2.熟练掌握JavaScript，具备扎实的JS逆向能力。
3.拥有丰富的数据抓取实践经验，熟悉客户端逆向开发，熟练运用抓包、反编译、Hook等常用技术手段。
4.能够有效应对多种验证码类型，包括字符类、滑块类等常见形式。
5.具备良好的沟通协作能力，工作积极主动，自我驱动力强。

基本要求：
大专及以上学历，计算机相关专业背景，具备爬虫开发经历者优先考虑。
具有较强的团队合作意识和技术探索热情。