python数据采集工程师
面议

更新 2025-10-01 16:52:07
浏览 619
职位详情
爬虫工程师
职位描述:1.负责爬虫系统的开发与维护,实现对目标网站数据的高效抓取与解析。2.参与爬虫架构的设计与性能优化,带领数据团队解决数据采集及应用中的技术难题。3.负责排查和处理爬虫运行中的各类异常,确保数据的准确性与完整性。4.协同团队开展数据分析与挖掘工作,为业务决策提供数据支持。5.参与数据采集、统计分析、监控等系统的架构设计与开发工作任职要求:1.本科及以上学历,计算机相关专业,掌握操作系统(多线程、多进程)、网络编程、数据结构与算法等基础知识。2.精通Python编程语言,具备扎实的编码能力与良好的代码规范,3年以上Linux环境开发经验,熟练运用常用Linux命令。3.熟悉主流网络爬虫框架如Scrapy、BeautifulSoup等,并具备实际项目开发经验。4.拥有3年以上大规模网页爬虫开发经历,深入理解浏览器机制、前端JS、AJAX技术,具备解决前端动态JS混淆问题的能力。5.具备良好的团队协作意识和沟通能力,能与团队成员高效配合推进项目进展。6.熟悉数据挖掘或机器学习相关技术者优先录用。
相似职位