联邦算法工程师

职位描述： 我们正在寻找一位经验丰富的 基于 FATE 框架的开发工程师，负责开发、维护和优化基于 FATE 框架的联邦学习解决方案。该职位需要具备深厚的机器学习、数据科学和分布式系统知识，以及在联邦学习领域的实际经验。 主要职责： FATE 框架开发： 设计和实现基于 FATE 框架的联邦学习解决方案。 开发和优化数据预处理、模型训练、模型评估和模型部署的流程。 解决联邦学习中的数据对齐、模型收敛和通信优化等问题。 模型开发与优化： 使用 FATE 支持的机器学习算法（如线性回归、逻辑回归、决策树等）进行模型开发。 优化模型性能，确保模型在多方协作环境下的高效性和准确性。 系统集成与部署： 将 FATE 框架集成到现有的数据科学和机器学习平台中。 负责模型的部署和推理，确保模型在生产环境中的稳定性和可靠性。 技术支持与文档编写： 为团队成员和客户提供技术支持，解决使用 FATE 框架时遇到的问题。 编写技术文档，包括开发指南、用户手册和最佳实践。 任职要求： 教育背景： 计算机科学、数据科学、统计学或相关领域的本科及以上学历。 工作经验： 至少 2 年以上 FATE 框架开发经验，熟悉 FATE 的核心功能和架构。 技术技能： 精通 Python 编程语言，熟悉 PyTorch、TensorFlow 等深度学习框架。 熟悉分布式系统、数据存储和处理技术（如 Hadoop、Spark、Hive 等）。 熟悉机器学习算法和模型评估方法，具备实际的模型开发和优化经验。 软技能： 良好的沟通能力和团队合作精神，能够与跨职能团队有效协作。 具备问题解决能力和创新思维，能够独立解决复杂的技术问题。 优先考虑： 有联邦学习、多方协作或数据隐私保护相关项目经验者优先。 有开源项目贡献经验者优先。 具有知识图谱经验优先 1. 参与知识图谱的规划与设计：理解业务需求，设计本体模型（定义实体、属性、关系的类型和层次结构），制定图谱构建的技术方案。 2. 知识图谱的构建与开发： · 数据获取与处理：从多源异构数据（结构化数据库、非结构化文本、日志、第三方API等）中抽取信息。 · 知识抽取：运用NLP技术（如实体识别、关系抽取、属性抽取、事件抽取）从文本中自动化提取知识。 · 知识融合：解决实体对齐问题（判断不同来源的“苹果公司”和“Apple Inc.”是否为同一实体），消除冲突与歧义，构建统一的知识库。 · 知识存储：将结构化知识存入图数据库（如Neo4j, JanusGraph, Nebula Graph）或RDF三元组存储。 3. 知识图谱的维护与优化：建立知识更新的流程与机制，监控数据质量，持续迭代和优化图谱的规模、准确度和新鲜度。 4. 跨团队协作：与业务部门、数据团队、算法团队、前后端开发团队紧密合作，确保图谱能有效支撑上层应用。 A. 知识图谱算法工程师 · 核心：专注于图谱构建与挖掘中的算法与模型。 · 具体职责： · 研发和优化知识抽取、实体链接、关系抽取的NLP/深度学习模型（如基于BERT、GPT的微调模型）。 · 研究和应用图表示学习技术，将实体和关系嵌入到低维向量空间。 · 开发图挖掘算法，如社区发现、路径推理、节点分类、链接预测等。 · 跟踪学术界和工业界前沿技术，并将其应用于实际业务场景。 B. 知识图谱构建/数据工程师 · 核心：专注于图谱构建的数据流水线、工程化与基础设施。 · 具体职责： · 搭建稳定、高效、可扩展的知识图谱数据管道。 · 处理大规模数据的抽取、清洗、转换和加载工作。 · 管理和优化图数据库，确保其高性能、高可用性。 · 设计和实现知识融合、质量校验的工程框架。 · 开发辅助构建工具，提升知识录入和管理的效率。 C. 图谱应用开发工程师 · 核心：专注于基于知识图谱的上层应用开发与API服务。 · 具体职责： · 设计和开发知识图谱的查询接口和服务，如通用/领域特定的图谱查询API。 · 基于图谱开发智能应用，如智能问答、个性化推荐、风险控制、情报分析系统等。 · 与前端团队协作，实现图谱的可视化展示与交互（如关系网络图）。 · 优化图谱查询性能，满足业务端低延迟、高并发的需求。 技能与要求 · 硬技能： · 计算机基础：扎实的数据结构、算法、编程（Python/Java/Scala）能力。 · 数据库：熟悉图数据库、关系型数据库，熟练使用SQL、Cypher、Gremlin等查询语言。 · 大数据技术：了解Hadoop、Spark、Flink等分布式计算框架。 · NLP/机器学习：熟悉常见的NLP任务和模型，了解机器学习框架（PyTorch/TensorFlow）。 · 工具：熟悉NLP工具（如Spacy, Stanza）和图分析工具（如NetworkX）。 · 软技能： · 强大的逻辑思维和抽象建模能力。 · 优秀的问题分析与解决能力。 · 良好的沟通能力和团队协作精神。 1. 负责金融/医疗/电商等领域知识图谱的构建，包括本体设计、知识抽取、融合与存储。 2. 研发并优化实体识别、关系抽取、事件抽取等核心NLP算法，提升自动化构建的准确率与效率。 3. 探索和应用图神经网络、表示学习等前沿技术，实现基于图谱的深度推理与挖掘。 4. 与业务团队合作，将知识图谱能力赋能于智能搜索、风险防控、投研助手等实际场景。 5. 跟踪领域内最新技术动态，推动团队技术方案的创新与升级。 任职要求： 1. 计算机、人工智能、数学等相关专业硕士及以上学历。 2. 熟练掌握Python，熟悉PyTorch/TensorFlow框架，有扎实的编码和算法基础。 3. 深入理解NLP常见任务与模型，有知识图谱相关项目经验者优先。 4. 熟悉至少一种图数据库（如Neo4j, Nebula Graph）和使用。 5. 具备优秀的逻辑分析能力和解决问题的能力，对挑战性问题充满热情。