爬虫开发工程师
1.3-1.4万元/月
更新 2025-12-19 14:33:25
浏览 636
职位详情
爬虫工程师
1-3年
爬虫 · 自动化数据采集与清洗
外派小满科技项目有CET-4或以上英语等级认证优先
岗位职责
●按照业务需求实现网页数据抓取程序
●对采集数据进行标注处理与清洗工作
●承担爬虫系统的部署实施与日常维护
任职要求
1.技术能力
●精通Python/PHP,具备良好的编码习惯及数据结构基础
●掌握HTTP/HTTPS协议与TCP/IP网络架构,能运用抓包工具(如Charles、Fiddler)进行请求分析
●熟练使用PostgreSQL/Mysql数据库,具备SQL调优与索引规划能力
●熟知Scrapy、Selenium、Playwright等主流框架,了解分布式爬虫技术(如Scrapy-Redis)
2.经验要求
●具备1年以上爬虫开发经历,有海外社交平台数据采集项目经验者优先
3.其他要求
●全日制本科及以上学历
●获得CET-4或同等及以上英语水平认证
加分项
●掌握前端相关技术(HTML/CSS/JavaScript),可完成动态渲染页面的逆向解析
●熟悉常见反爬机制(如JS混淆、验证码识别、IP频率限制),具有实际应对经验
岗位职责
●按照业务需求实现网页数据抓取程序
●对采集数据进行标注处理与清洗工作
●承担爬虫系统的部署实施与日常维护
任职要求
1.技术能力
●精通Python/PHP,具备良好的编码习惯及数据结构基础
●掌握HTTP/HTTPS协议与TCP/IP网络架构,能运用抓包工具(如Charles、Fiddler)进行请求分析
●熟练使用PostgreSQL/Mysql数据库,具备SQL调优与索引规划能力
●熟知Scrapy、Selenium、Playwright等主流框架,了解分布式爬虫技术(如Scrapy-Redis)
2.经验要求
●具备1年以上爬虫开发经历,有海外社交平台数据采集项目经验者优先
3.其他要求
●全日制本科及以上学历
●获得CET-4或同等及以上英语水平认证
加分项
●掌握前端相关技术(HTML/CSS/JavaScript),可完成动态渲染页面的逆向解析
●熟悉常见反爬机制(如JS混淆、验证码识别、IP频率限制),具有实际应对经验
相似职位
很抱歉,暂无相似职位!