爬虫开发工程师
1.5-1.8万元/月
更新 2025-12-11 07:57:43
浏览 847
职位详情
爬虫工程师
3-5年
Python
职位描述:
-根据业务需求,承担分布式网络爬虫系统的设计与开发工作,并完成数据的清洗与提取;
-制定爬虫调度策略及反屏蔽机制,优化页面抓取效率与数据准确性;
-独立应对并解决开发过程中出现的各种技术难题;
任职资格:
-计算机相关专业背景,本科及以上学历,具备2年以上爬虫领域开发经验;
-精通Python语言,掌握计算机网络原理,熟练运用多线程技术,熟悉Scrapy等主流爬虫框架;
-熟练操作Linux系统,掌握正则表达式,熟悉Mysql、MongoDB、Redis等常用数据库与缓存技术;
-具备处理账号封禁、IP封锁、验证码识别、图像解析等常见反爬问题的能力;
-具备良好的沟通能力与团队协作精神;
-需拥有群控系统的实际项目经验;
加分项
-掌握docker容器化技术者优先;
-具备php/nodejs/go等其他语言的实际开发经历者优先;
-根据业务需求,承担分布式网络爬虫系统的设计与开发工作,并完成数据的清洗与提取;
-制定爬虫调度策略及反屏蔽机制,优化页面抓取效率与数据准确性;
-独立应对并解决开发过程中出现的各种技术难题;
任职资格:
-计算机相关专业背景,本科及以上学历,具备2年以上爬虫领域开发经验;
-精通Python语言,掌握计算机网络原理,熟练运用多线程技术,熟悉Scrapy等主流爬虫框架;
-熟练操作Linux系统,掌握正则表达式,熟悉Mysql、MongoDB、Redis等常用数据库与缓存技术;
-具备处理账号封禁、IP封锁、验证码识别、图像解析等常见反爬问题的能力;
-具备良好的沟通能力与团队协作精神;
-需拥有群控系统的实际项目经验;
加分项
-掌握docker容器化技术者优先;
-具备php/nodejs/go等其他语言的实际开发经历者优先;
相似职位
很抱歉,暂无相似职位!