岗位职责

1.负责抖音、小红书等社交类APP及WEB端平台的数据采集工作，完成数据清洗、结构化转换与存储，并持续维护爬虫系统的稳定运行。
2.深入分析主流平台的反爬机制，综合运用验证码识别、防护算法逆向、JS混淆解析等技术手段突破限制，具备处理复杂反爬策略的实际能力。
3.承担独立及分布式爬虫系统的设计、开发、优化与重构，提升系统性能与鲁棒性，确保数据抓取的高效与可靠。
4.熟练使用正则表达式、XPath等技术进行信息提取，对采集数据实施深度清洗与管理，保障数据准确性与完整性。
5.实现APP逆向抓包、浏览器自动化模拟等技术方案，提升数据采集效率与覆盖范围。
6.编写规范的技术文档，为团队成员提供技术支持与开发协作保障。

任职要求

1.本科及以上学历，计算机科学、软件工程或相关专业优先。
2.精通Python语言及网络爬虫全流程开发，熟练掌握JS逆向技术，可独立完成多类型爬虫任务。
3.具备抖音、头条、Tiktok、小红书、快手、蝴蝶号等任一平台逆向经验者优先；熟悉相关平台风控规则，长期研究并能有效应对风控问题者更佳。
4.理解JSVMP运行机制，可通过跟栈、日志输出、插桩等方式完成请求头、Cookies等关键参数的逆向分析，具备补环境或纯算法还原加密逻辑的能力。
5.熟悉md5、sm3、sm4、AES等前端常用加密算法，了解WASM原理并能通过调用栈追踪加密流程。
6.了解滑块、点选、谷歌验证码等常见验证码机制，具备相应的识别与应对解决方案。
7.掌握APP运行机制与逆向基本原理，能使用Jadx-gui等工具进行Java层参数分析，并通过Hook脚本实现代码逻辑追踪。
8.熟练使用各类抓包与逆向工具，能够结合AI技术快速定位并解决爬虫难题，具备自主学习与技术落地能力。
9.熟悉quic、ssl等协议层面的抓包与反爬策略，能高效排查并解决网络层采集障碍。
10.精通Python开发，同时具备Node.js、Java等至少一种其他编程语言的实际应用经验。
11.熟练使用Scrapy、BeautifulSoup、Selenium等主流爬虫框架，有丰富的开发与运维实践经验。
12.熟悉MySQL、MongoDB、Redis等常用数据库的操作与性能调优，具备真实项目应用经历。
13.掌握大规模数据采集、清洗、去重、分类等核心技术，具备数据质量判断与无效信息过滤能力。
14.具备良好的沟通协调能力和团队合作意识，能与产品、运维等多方协同，准确理解并响应业务需求。