爬虫工程师(Python|双休)
9000-14000元/月

更新 2025-09-29 15:57:30
浏览 694
职位详情
爬虫工程师
1-3年
一、岗位职责:
1、负责开发和维护分布式爬虫系统,针对网页端、移动端等多源头,高效、稳定地抓取金融数据(如财报、行情、公告)。
2、深入分析并攻克各类反爬虫策略(如JS逆向/加密、验证码识别、IP限制、动态令牌等),保障数据抓取链路的畅通。
3、数据处理与入库:负责对抓取的数据进行清洗、解析、结构化及去重,并高效存入MySQL、MongoDB、Redis等数据库。
4、实时监控爬虫系统运行状态,快速定位并处理异常,持续优化系统架构,提升抓取效率与稳定性。
5、与技术、产品、运营团队紧密协作,深刻理解数据需求,快速响应并提供高质量的数据支持。
二、任职要求:
1、计算机相关专业本科及以上学历,2年及以上爬虫开发经验。
2、精通Python,熟练使用Scrapy、Requests等主流爬虫框架/库,以及XPath、BeautifulSoup等解析工具。
3、具备丰富的反爬虫实战经验,熟练掌握动态网页抓取(Selenium/Playwright)、JS逆向、代理IP管理等关键技术。
4、深入理解HTTP/HTTPS协议,能熟练使用Fiddler/Charles等抓包工具;熟练使用MySQL、MongoDB、Redis等数据库。
5、具备出色的问题分析与解决能力,有强烈的责任心和团队精神,了解数据安全与相关法规,确保行为合规。
三、福利与文化:
1、弹性工作制:9:30-10:00弹性上班,轻松通勤。
2、周末双休、法定假日、。
3、最新款MacMini+2K高清显示器。
4、千元级品牌人体工学椅,呵护你的健康。
5、,让你无忧探索技术前沿。
6、定期举办技术分享会,分享者可获现金奖励。
7、每周饮料补给、节日惊喜、定期团建,快乐工作。
8、扁平化管理,沟通直接;团队氛围融洽,互助成长。
1、负责开发和维护分布式爬虫系统,针对网页端、移动端等多源头,高效、稳定地抓取金融数据(如财报、行情、公告)。
2、深入分析并攻克各类反爬虫策略(如JS逆向/加密、验证码识别、IP限制、动态令牌等),保障数据抓取链路的畅通。
3、数据处理与入库:负责对抓取的数据进行清洗、解析、结构化及去重,并高效存入MySQL、MongoDB、Redis等数据库。
4、实时监控爬虫系统运行状态,快速定位并处理异常,持续优化系统架构,提升抓取效率与稳定性。
5、与技术、产品、运营团队紧密协作,深刻理解数据需求,快速响应并提供高质量的数据支持。
二、任职要求:
1、计算机相关专业本科及以上学历,2年及以上爬虫开发经验。
2、精通Python,熟练使用Scrapy、Requests等主流爬虫框架/库,以及XPath、BeautifulSoup等解析工具。
3、具备丰富的反爬虫实战经验,熟练掌握动态网页抓取(Selenium/Playwright)、JS逆向、代理IP管理等关键技术。
4、深入理解HTTP/HTTPS协议,能熟练使用Fiddler/Charles等抓包工具;熟练使用MySQL、MongoDB、Redis等数据库。
5、具备出色的问题分析与解决能力,有强烈的责任心和团队精神,了解数据安全与相关法规,确保行为合规。
三、福利与文化:
1、弹性工作制:9:30-10:00弹性上班,轻松通勤。
2、周末双休、法定假日、。
3、最新款MacMini+2K高清显示器。
4、千元级品牌人体工学椅,呵护你的健康。
5、,让你无忧探索技术前沿。
6、定期举办技术分享会,分享者可获现金奖励。
7、每周饮料补给、节日惊喜、定期团建,快乐工作。
8、扁平化管理,沟通直接;团队氛围融洽,互助成长。
相似职位