岗位职责：
*负责从社交媒体类APP及WEB端（如抖音、小红书等）采集数据，完成数据清洗、结构化转换与存储工作，并持续维护和优化爬虫系统的运行稳定性。
*深入分析主流平台反爬机制，具备突破复杂防护策略的实际能力，涵盖验证码识别、防护逻辑逆向、JS混淆解析等技术手段。
*主导爬虫系统的设计、开发、迭代与重构，支持单机及分布式部署模式，持续提升抓取效率与系统可靠性。
*对获取的数据进行精细化处理与管理，熟练运用信息提取技术（如正则表达式、XPath、CSS选择器、BeautifulSoup等），保障数据的精准性与完整性。
*实现自动化采集流程控制，综合运用APP逆向解析、浏览器模拟操作等技术方案，提升数据抓取的覆盖范围与执行效率。
*编写规范的技术文档，为团队成员提供开发支持与技术协作，确保项目的可延续性与可维护性。

任职要求：
*计算机科学、软件工程或相关专业本科及以上学历。
*精通Python编程，同时具备Node.js、Java等至少一种其他语言的实际应用经验。
*熟练使用主流爬虫框架（如Scrapy、BeautifulSoup、Selenium等），拥有丰富的开发与运维实践经验。
*掌握APP逆向分析、浏览器自动化采集、JS逆向等相关技术，能熟练操作各类抓包与逆向工具（如Apktool、dex2jar、JD-GUI、Frida、IDA等）。
*熟悉常见反爬机制（如IP封禁、验证码验证、滑动验证、账号风控等），具备实际应对策略与解决方案能力。
*精通多种信息抽取方式，包括正则表达式、XPath、CSS选择器、BeautifulSoup等，能够编写高准确率的匹配规则。
*熟悉常用数据库的使用与调优，有MySQL、MongoDB、Redis等数据库的实际项目经验。
*具备大规模数据采集、清洗、去重、分类等处理能力，掌握数据质量判断与无效信息过滤方法。
*具备良好的沟通协调能力和团队合作意识，能与产品、运维等多方协同推进，准确理解并落地业务需求。