爬虫工程师
1-1.4万元/月
更新 2025-11-19 16:30:45
浏览 944
职位详情
爬虫工程师
1-3年
Python
职位描述
-根据业务需求,负责构建与维护分布式网络爬虫系统,并完成数据清洗与信息提取;
-制定爬虫调度策略及反屏蔽机制,优化页面抓取效率与数据准确性;
-独立分析并解决开发过程中出现的各类技术难题;
任职资格
-计算机相关专业本科及以上学历,具备2年以上爬虫开发工作经验;
-熟练掌握Python及计算机网络知识,了解多线程编程,熟悉Scrapy等主流爬虫框架;
-熟悉Linux操作系统,掌握正则表达式,熟练使用Mysql、MongoDB、Redis等数据库与缓存技术;
-具备应对账号封禁、IP封锁、验证码识别、图像解析等问题的实战能力;
-具备良好的沟通能力与团队协作精神;
加分项
-掌握docker容器化技术者优先;
-有php/nodejs/go等其他语言实际项目经验者优先;
-根据业务需求,负责构建与维护分布式网络爬虫系统,并完成数据清洗与信息提取;
-制定爬虫调度策略及反屏蔽机制,优化页面抓取效率与数据准确性;
-独立分析并解决开发过程中出现的各类技术难题;
任职资格
-计算机相关专业本科及以上学历,具备2年以上爬虫开发工作经验;
-熟练掌握Python及计算机网络知识,了解多线程编程,熟悉Scrapy等主流爬虫框架;
-熟悉Linux操作系统,掌握正则表达式,熟练使用Mysql、MongoDB、Redis等数据库与缓存技术;
-具备应对账号封禁、IP封锁、验证码识别、图像解析等问题的实战能力;
-具备良好的沟通能力与团队协作精神;
加分项
-掌握docker容器化技术者优先;
-有php/nodejs/go等其他语言实际项目经验者优先;
相似职位
很抱歉,暂无相似职位!