岗位职责：
爬虫架构设计与优化：负责公司现有爬虫系统的技术支持，持续优化数据采集架构，提升系统的稳定性、可扩展性及运行效率。
策略规划与实施：结合业务发展需求，制定长效的数据采集计划，确保所获取数据具备高时效性与高价值，有效支撑采购决策分析。
反爬机制分析与应对：深入研究目标站点的反爬技术手段，为团队提供有效的技术对策，包括代理池构建、验证码识别、动态页面渲染处理等解决方案。
数据质量保障：确保采集数据的完整性、准确性与一致性，主导数据清洗流程，并推动存储结构与索引性能的优化实践。
分布式采集与性能调优：设计并落地分布式爬虫架构，提升任务并发能力，降低资源占用，加快数据抓取速度。
前沿技术引入：密切关注爬虫领域新技术动向，结合实际业务场景，推动先进采集与分析技术的应用落地。
合规与安全评估：评估数据采集过程中的法律与安全风险，提出合规建议，确保操作符合行业规范与法律法规要求。

任职要求：
扎实的爬虫开发背景：拥有丰富的爬虫项目经验，熟练掌握Python语言，精通Scrapy、Selenium、BeautifulSoup、Playwright等主流爬虫框架。
反爬对抗实战能力：熟悉各类网站反爬机制及其破解方法，掌握代理IP管理、UA伪装、JavaScript解析、动态内容加载处理、验证码识别等核心技术。
数据处理与存储技能：具备大规模数据处理能力，熟悉MySQL、MongoDB、Elasticsearch、Redis等常用数据库，能有效优化数据存取效率。
分布式系统经验：了解Celery、Kafka、RabbitMQ等分布式任务调度工具，有高并发、大批量数据采集系统的调优经验。
团队指导与协作：具备良好的表达与沟通能力，能够带领技术团队完成爬虫系统建设，提升整体开发水平。
行业应用经验：具有电子元器件、建材、家居、电商等领域数据采集经历者优先，能根据具体业务定制高效采集方案。
合规意识强：熟悉爬虫相关法律法规，具备合法合规开展数据采集工作的实践经验。

优先考虑：
拥有大型数据平台或市场分析系统架构设计经验。
具备机器学习或数据挖掘能力，可从海量数据中提炼关键信息。
有海外电商、外贸类数据采集经验，熟悉国际市场的数据获取方式。