(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210980484.5 (22)申请日 2022.08.16 (71)申请人 杭州金智塔科技有限公司 地址 310012 浙江省杭州市西湖区西斗门 路3号天堂软件园D幢6楼B座 (72)发明人 郑小林　陈超超　王钟毓　钱嘉曙　 邹子煜　鲍力成　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张瑞 (51)Int.Cl. G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 基于隐私保护的去中心化业务模型训练方 法及装置 (57)摘要 本说明书提供基于隐私保护的去中心化业 务模型训练方法及装置， 其中所述方法包括： 确 定目标用户的用户关联集群， 在所述用户关联集 群中确定 所述目标用户对应的邻居用户集合； 确 定所述目标用户的待更新业务模型的初始模型 梯度， 接收所述邻居用户集合中每个邻居用户发 送的邻居模型梯度， 其中， 所述邻居模型梯度为 邻居用户对应的邻居业务模型基于邻居用户对 应的邻居训练数据生成； 聚合所述初始模型梯度 以及所述邻居模 型梯度， 获得所述待更新业务模 型的目标模 型梯度； 基于所述目标模 型梯度更新 所述待更新业务模型， 获得所述目标用户的目标 业务模型， 目标用户将本地的梯度与采样的邻居 所分享的梯度进行聚合， 不仅保护用户隐私数据 还可高效训练本地模型。 权利要求书3页 说明书15页 附图7页 CN 115081024 A 2022.09.20 CN 115081024 A 1.一种基于隐私保护的去中心化 业务模型训练方法， 其特 征在于， 包括： 确定目标用户的用户关联集群， 在所述用户关联集群中确定所述目标用户对应的邻居 用户集合； 确定所述目标用户的待更新业务模型的初始模型梯度， 接收所述邻居用户集合中每个 邻居用户发送的邻居模型梯度， 其中， 所述邻居模型梯度为邻居用户对应的邻居业务模型 基于邻居用户对应的邻居训练数据生成； 聚合所述初始模型梯度以及所述邻居模型梯度， 获得所述待更新业务模型的目标模型 梯度； 基于所述目标模型梯度更新所述待更新业务模型， 获得所述目标用户的目标业务模 型。 2.如权利要求1所述的方法， 其特征在于， 确定所述目标用户的待更新业务模型的初始 模型梯度， 包括： 基于所述目标用户的本地训练数据生成待更新 业务模型的基础模型梯度； 基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码， 获得所述目 标用户的待更新业务模型 的初始模型梯度， 其中， 所述预设梯度编码规则用于对所述基础 模型梯度进行加密。 3.如权利要求2所述的方法， 其特征在于， 基于预设梯度编码规则对所述待更新业务模 型的基础模型梯度进行编码， 获得 所述目标用户的待更新 业务模型的初始模型梯度， 包括： 确定所述用户关联集群的预设梯度裁 剪范围； 基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模 型梯度； 基于预设梯度编码规则对所述待编码模型梯度进行编码， 确定所述目标用户的待更新 业务模型的初始模型梯度。 4.如权利要求3所述的方法， 其特征在于， 基于所述预设梯度裁剪范围 以及所述待更新 业务模型的基础模型梯度确定待编码模型梯度， 包括： 在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围内的情况下， 将 所述基础模型梯度作为待编码模型梯度； 或者 在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围之外的情况下， 基于所述基础模型梯度， 在所述预设梯度裁 剪范围的端点梯度中确定为待编码模型梯度。 5.如权利要求1所述的方法， 其特 征在于， 确定目标用户的用户关联集群， 包括： 确定与目标用户具有关联关系的初始邻居用户， 其中， 所述关联关系包括所述目标用 户与所述初始邻居用户之间的通信关联关系和/或位置关联关系； 基于所述通信关联关系和/或位置关联关系构建所述目标用户与所述初始邻居用户之 间的用户关系图； 基于所述用户关系图确定目标用户的用户关联集群。 6.如权利要求5所述的方法， 其特征在于， 在所述用户关联集群中确定所述目标用户对 应的邻居用户集 合， 包括： 基于所述用户关联集群中的用户关系图接收所述初始邻居用户的采样权重， 其中， 所 述采样权重基于初始邻居用户对应的邻居业务模型中的损失函数值以及模型训练次数生权　利　要　求　书 1/3 页 2 CN 115081024 A 2成； 根据所述采样权 重在所述用户关联集群中， 确定所述目标用户对应的邻居用户集 合。 7.如权利要求6所述的方法， 其特征在于， 基于所述用户关联集群中的用户关系图接收 所述初始邻居用户的采样权 重， 包括： 基于所述用户关联集群中的用户关系图， 确定所述目标用户与 所述初始邻居用户之间 的初始通信路径； 基于所述初始通信路径接收所述初始邻居用户的采样权 重。 8.如权利要求7所述的方法， 其特征在于， 根据所述采样权重在所述用户关联集群中， 确定所述目标用户对应的邻居用户集 合， 包括： 在所述用户关联集群中， 将所述初始邻居用户的采样权重满足预设权重条件的初始邻 居用户， 确定为所述目标用户的目标采样邻居用户； 根据所述目标采样邻居用户生成所述目标用户对应的邻居用户集 合。 9.如权利要求5所述的方法， 其特征在于， 接收所述邻居用户集合中每个邻居用户发送 的邻居模型梯度， 包括： 在所述邻居用户集合中确定所述目标用户对应的目标邻居用户， 基于所述用户关系图 确定所述目标用户与所述目标邻居用户之间的目标通信路径； 基于所述目标通信路径接收所述目标邻居用户发送的邻居模型梯度。 10.如权利要求1 ‑9任意一项所述的方法， 其特征在于， 聚合所述初始模型梯度以及所 述邻居模型梯度， 获得 所述待更新 业务模型的目标模型梯度， 包括： 确定所述待更新 业务模型的梯度聚合 规则； 基于所述梯度聚合规则聚合所述初始模型梯度以及所述邻居模型梯度， 获得所述待更 新业务模型的目标模型梯度。 11.如权利要求10所述的方法， 其特征在于， 基于所述目标模型梯度更新所述待更新业 务模型， 获得 所述目标用户的目标业 务模型， 包括： 基于预设梯度解码规则对所述目标模型梯度进行解码， 获得所述待更新业务模型的更 新模型梯度； 基于预设梯度 下降算法根据 所述更新模型梯度更新所述待更新业务模型， 获得所述目 标用户的目标业 务模型。 12.如权利要求11所述的方法， 其特征在于， 基于预设梯度解码规则对所述目标模型梯 度进行解码， 获得 所述待更新 业务模型的更新模型梯度， 包括： 确定模型梯度的梯度总数量， 其中， 所述模型梯度包括初始模型梯度以及邻居模型梯 度； 基于所述梯度总数量确定所述目标模型梯度的平均模型梯度； 对所述平均模型梯度进行解码处 理， 获得所述待更新 业务模型的更新模型梯度。 13.一种业 务模型训练装置， 其特 征在于， 包括： 用户集合确定模块， 被配置为确定目标用户的用户关联集群， 在所述用户关联集群中 确定所述目标用户对应的邻居用户集 合； 模型梯度确定模块， 被配置为确定所述目标用户的待更新业务模型的初始模型梯度， 接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度， 其中， 所述邻居模型梯度为权　利　要　求　书 2/3 页 3 CN 115081024 A 3