大数据开发工程师（中化信息）

岗位职责 数据集成 •负责SAP、Oracle-EBS、用友、金蝶等主流ERP系统数据的抽取工作，采用Sqoop、KafkaConnect、GoldenGate等工具实现高效同步。 •构建ODS与DWH分层体系，完成采购、库存、生产、财务、成本等关键业务模块的数据建模及ETL开发，技术栈覆盖Spark、Hive、Flink。 数据治理与质量 •制定物料、客户、供应商、会计科目、成本中心等主数据管理规范，设计并实施数据清洗、去重与补录逻辑； •建立数据质量监控可视化平台，支持异常数据自动预警与闭环处理机制。 实时与准实时数据服务 •搭建“订单-库存-物流-资金”端到端实时数据链路，支撑T+0/T+1时效的业务分析需求； •通过SpringBoot结合Presto、ClickHouse等引擎，封装标准化API与微服务接口，为SRM、MES、CRM及BI报表系统提供稳定数据支撑。 性能调优与成本治理 •针对月结、年结等高负载场景下的SQL语句与调度任务进行执行计划分析与性能优化，确保批处理作业在小时级SLA内完成； •应用SparkAQE、Z-Order排序、Alluxio缓存等技术手段，整体降低30%以上的计算资源消耗与存储开销。 新技术研究 •探索ERP系统与AI技术融合方向，开展大模型在智能报账、预测性库存补货等场景的PoC验证，并推动成果落地应用