数据处理工程师

数据处理工程师 岗位职责 处理多种类型的数据集，涵盖图像、视频、文本、JSONL、HDF5 等格式。 开展数据清洗、格式转换、标注归整、结构化存储及数据质量核查等工作。 运用 OpenCV、NumPy、PIL、Torch.Tensor 等工具完成图像/视频处理与数据预处理任务。 构建基础数据可视化能力，用于展示数据质量、分析分布特征、实现采样预览，并可结合 AI 工具提升开发效率。 编写稳定且可复用的数据处理脚本、工具模块或自动化流程 pipeline。 输出规范清晰的数据文档，包含数据结构说明、处理方法、问题记录与变更日志。 任职要求 本科及以上学历，计算机、电子信息、软件工程、人工智能、数学、统计学或相关专业优先考虑。 熟练掌握 Python 进行数据处理开发，熟悉常用库如 NumPy、Pandas、PIL、OpenCV、PyTorch 等。 具备 Linux 使用经验，掌握 Shell 脚本编写和 Git 基本操作。 了解常见数据格式的解析方法，包括 JSON、JSONL、CSV、TXT、图像格式、视频编码格式、HDF5 等。 理解基本数据结构设计、处理流程规划及性能优化策略。 AI 工具应用能力 具备利用 AI 工具提升工作效率的实践习惯，能够在代码生成、文档撰写、调试支持及自动化辅助中灵活应用，例如： ChatGPT / Claude / Gemini / Qwen Cursor / Windsurf / Aider / Devin 类编程助手 Copilot / Codeium / JetBrains AI Assistant 可根据实际需求使用 AI 辅助生成数据处理脚本、执行格式转换、支持自动标注、优化可视化代码等场景 加分项 具有多模态数据处理经验（如图像 / 视频 / 文本 / 传感器数据 / OCR 数据）。 熟悉常用可视化工具，如 Matplotlib、Seaborn、Plotly、CV2 可视化接口等。 有数据标注流程管理经历或使用过自动标注工具。 具备数据 pipeline 设计、任务调度、批处理系统开发经验。 具备良好沟通能力，能撰写规范、条理清晰的数据与技术文档。