爬虫开发工程师（实习岗）

工作职责： 1.根据业务需求进行数据采集，从公开网站及API接口中抓取并解析数据，保障数据的完整性和时效性。 2.持续维护与优化现有的爬虫程序，包括Scrapy/requests/httpx/Selenium等技术栈。 3.进行数据库相关操作，使用Python对接MySQL、MongoDB、Redis等常用存储系统，完成建库建表、索引调优及数据清洗任务。 4.开发通用的CRUD接口（基于FastAPI/Flask/DjangoRESTframework），支持内部系统的数据调用需求。 5.构建并管理日常运维脚本，实现定时备份、批量处理、异常监控与自动告警功能。 6.在Linux服务器上部署、调度（crontab/Airflow）并监控爬虫任务运行状态，输出执行日志和可视化分析报表。 7.与算法、产品团队紧密配合，及时响应数据需求调整及线上问题排查。 8.编写完整的技术文档，包括接口说明、部署指南、常见问题汇总；参与代码评审，遵守GitFlow流程与PEP8编码规范。 任职资格： 1.本科及以上学历，计算机、软件工程、信息管理等相关专业背景。 2.精通Python编程，掌握HTTP/HTTPS协议，熟练运用XPath、正则表达式、BeautifulSoup、PyQuery等网页解析工具。 3.熟悉MySQL的索引机制、事务处理及SQL性能优化；了解MongoDB、Redis的基本使用场景；具备RESTful接口开发经验（FastAPI/Flask/Django），可独立完成接口设计与文档撰写。 4.掌握Linux常用命令，具备在服务器环境中独立部署和调试应用的能力。 5.具备良好的沟通协作能力，责任心强，对数据准确性有较高敏感度，能适应重复性任务及突发故障处理。 6.有日均百万级数据采集与清洗项目经验者优先考虑。 7.熟悉消息队列（Kafka/RabbitMQ）、ElasticSearch、Docker、K8s者加分；具备算法基础（如NLP、机器学习）或对数据可视化工具（Grafana/PowerBI）有兴趣者更佳。 你将获得 •一线互联网数据团队资深导师1v1带教，深入参与大规模数据采集与数据仓库建设全流程。 •高并发、高性能系统实战机会，积累简历重点项目经验并提供实习证明。