广州白云区岗位职责1.数据处理与存储对爬取的原始数据进行清洗、去重、格式标准化，使用MySQL完成数据结构

岗位职责 1.数据处理与存储对爬取的原始数据进行清洗、去重、格式标准化，使用 MySQL 完成数据结构化存储，保证数据准确性、完整性。 2.后端服务开发基于 Flask/Django 搭建后端接口服务，实现资质查询、数据管理、任务调度等功能，对接前端页面。 3.数据可视化与展示配合完成可视化系统开发，使用 Vue 搭建前端查询页面，使用 PowerBI 制作数据统计报。 4.系统维护与优化持续监控各城市政务网站接口变更，快速修复爬虫失效问题；优化爬虫效率、数据入库速度，提升系统稳定性。 5.对接维护已获取经营许可城市的数据上传以及监控数据上传情况。 6.政务网站数据爬取基于 Python 开发爬虫程序，接入全国各城市政务服务网、交通运输局官方平台，自动化输入司机身份证、姓名、车牌号，精准查询网约车驾驶员证、车辆运输证的办理状态、有效期、合规性等核心数据。 7.反爬对抗与逆向破解解决政务网站的验证码、IP 封禁、Cookie 校验、接口加密、JS 逆向、签名算法、设备指纹等反爬机制，保障爬虫 7×24 小时稳定运行。 技能要求 1.精通Python编程语言，熟练掌握Requests、Scrapy、Playwright/Selenium等主流爬虫框架，具备分布式爬虫、异步爬虫开发经验，能应对高并发、高频率爬取场景。 2.高阶反爬对抗能力：能独立破解各类复杂反爬机制，包括但不限于滑块/点选/图文/短信验证码、IP封禁、Cookie池/会话池管理、请求头伪造、设备指纹（IMEI、MAC、UUID等）绕过、行为风控（鼠标轨迹、操作频率、设备环境校验）破解。 3.算法破解核心能力（重点）：精通国际主流加密算法（RSA、AES、ECC、SHA1/SHA256、HMAC等）的原理与逆向破解方法，能独立完成算法还原、参数加密解密、签名验证逻辑破解；具备极强的魔改算法破解能力，能快速分析基于主流算法二次开发、自定义加密逻辑的魔改算法，还原加密流程与核心参数。 4.多平台算法破解：深入理解小红书、抖音平台的反爬算法逻辑，能独立逆向分析两大平台的接口加密、Token生成、签名算法、行为风控、流量限制等核心机制，编写适配脚本实现稳定爬取，应对平台算法迭代更新。 5.深度逆向能力：精通JS逆向（包括混淆、压缩、加密JS的还原）、安卓/iOS APP逆向（smali代码分析、Frida Hook、Xposed插件开发等），能独立完成前端代码、APP客户端的深度逆向，还原核心业务逻辑与加密流程。 6.精通MySQL数据库，熟练掌握数据表设计、复杂SQL编写与优化、数据清洗、数据备份与恢复，能应对大规模数据存储与查询场景；了解Redis等缓存技术者优先。 7.精通Flask或Django任一Web框架，能独立开发高性能后端API接口，掌握接口加密、权限控制、并发处理，具备后端服务优化经验。 8.熟练使用Vue.js开发可视化页面，能独立完成页面布局、交互逻辑开发，适配多终端展示；精通PowerBI，能制作复杂多维度数据统计报表、可视化仪表盘，实现数据深度分析。