岗位职责

1.负责抖音、小红书等社交类APP及WEB端平台的数据采集工作，完成数据清洗、结构化转换与存储，并持续进行爬虫系统的运营与维护。
2.深入分析主流平台的反爬机制，熟练运用验证码识别、防护算法逆向、JS混淆解析等技术手段突破限制，具备处理复杂反爬策略的实际能力。
3.承担独立及分布式爬虫系统的设计、开发、维护与重构工作，优化系统性能与稳定性，确保数据抓取的高效性与可靠性。
4.熟练掌握正则表达式、XPath等数据提取方式，对采集结果进行深度清洗与管理，保障数据处理的准确性与完整性。
5.实现APP逆向采集、浏览器模拟操作等自动化控制技术，提升数据获取效率。
6.编写完整的开发文档，为团队其他技术人员提供技术支持与开发协助。

任职要求

1.本科及以上学历，计算机科学、软件工程等相关专业优先。
2.精通Python语言及爬虫全流程开发，熟练掌握JS逆向技术，能够独立完成各类爬虫任务。
3.具备抖音、头条、Tiktok、小红书、快手、蝴蝶号等任一平台逆向经验者优先；若长期研究相关平台风控机制，并能针对性解决风控问题者更佳。
4.理解JSVMP运行原理，可通过跟栈、打日志、插桩等方式完成平台请求头、Cookies等参数的逆向分析，具备补环境或纯算法还原加密参数的能力。
5.熟悉md5、sm3、sm4、AES等常见前端加密方法，了解WASM机制并能通过调用栈分析其加密逻辑。
6.熟悉滑块、点选、谷歌验证码等多种主流验证码类型，具备相应的识别与应对方案。
7.掌握APP运行机制及逆向基本原理，能使用Jadx-gui等工具进行Java层参数分析，并通过Hook脚本实现代码逻辑追踪。
8.熟练使用各类抓包与逆向工具，能结合AI技术快速解决爬虫难题，具备自主学习能力，善于新技术的研究与落地应用。
9.了解quic、ssl等协议相关的抓包与反爬机制，能够快速定位并解决网络层抓包问题。
10.精通Python，同时具备Node.js、Java等至少一种其他编程语言的实际开发经验。
11.熟练使用Scrapy、BeautifulSoup、Selenium等主流爬虫框架，有丰富的框架定制与维护经验。
12.熟悉MySQL、MongoDB、Redis等常用数据库的使用与性能优化，具备实际项目应用经验。
13.掌握大规模数据采集、清洗、去重、分类等处理技术，具备数据质量判断和无效信息过滤能力。
14.具备良好的沟通协调能力和团队合作意识，能与产品、运维等多方协作，准确理解并实现业务需求。