自动化控制工程师

不接受线上面试！！

【岗位职责】

1、参与分布式爬虫系统的搭建与迭代，高效获取互联网公开数据资源（如网页内容、API接口、开放数据库等）。

2、应对各类反爬技术挑战（如验证码识别、IP限制、页面动态加载等），保障数据采集的连续性与完整性。

3、持续优化爬虫架构，提升抓取速度与准确性，完成数据去重、清洗及结构化入库流程。

4、协助设计数据存储方案（MySQL/MongoDB/Redis等），为数据分析团队提供可靠数据支撑。

5、实时监控系统运行情况，快速定位并解决异常问题，同步完善相关技术文档。

【岗位要求】

1、熟练掌握Python语言，具备Scrapy、Requests、BeautifulSoup、Selenium等主流爬虫工具的实际开发经验。

2、理解HTTP/HTTPS通信机制，精通网页解析方法（XPath/正则表达式/DOM解析等）。

3、具备反爬破解能力，熟悉代理IP管理、User-Agent切换、请求频率调控等常用策略。

4、了解常用数据库（如MySQL/Redis）操作，能够实现数据的结构化处理与存储（JSON/XLS等格式）。

5、拥有基础Linux使用经验及网络抓包调试技能（Wireshark/Charles/Fiddler等工具）。

加分项：

1、接触过分布式爬虫架构（Scrapy-Redis/Celery）或消息中间件（Kafka/RabbitMQ）。

2、具备JS逆向分析、安卓应用逆向或移动端抓包经验（Mitmproxy/Frida等工具）。

3、对机器学习、自然语言处理技术有一定了解，可用于数据预处理与智能分析。

4、熟悉Elasticsearch/Kibana等数据可视化技术者优先。