谷歌将联邦学习迁移至可信执行环境,Gboard实现可验证差分隐私
谷歌研究院推出基于可信执行环境(TEE)的新一代联邦学习系统,首次为联邦学习提供外部可验证的中心化差分隐私保障。该技术已部署于Gboard输入法,支持英语和日语下一词预测,兼顾更强隐私保护与更高模型精度。
背景:传统联邦学习的信任瓶颈
2017年谷歌提出的联邦学习(FL)已广泛应用于Gboard的下一词预测、Google Messages的回复建议及Android的智能文本选择等功能。但早期FL系统存在显著信任缺口:终端设备上传原始梯度或中间数据后,由中心服务器聚合,而外部无法验证这些数据是否被记录、检查或滥用。虽有安全聚合(Secure Aggregation)提供加密保护,却无法兼容当前主流的中心化差分隐私算法(如DP-FTRL),且仍需完全信任谷歌正确注入噪声。
新架构:TEE赋能的可验证联邦学习
新系统将客户端梯度计算迁移至服务器端,并通过可信执行环境(TEE)使服务器逻辑具备远程可证明性(attestable),从而消除对服务运营商的隐性信任依赖。该设计延续谷歌此前保密型联邦分析工作,整合四大核心组件:
- 数据上传:设备在本地加密训练样本,并预授权访问策略——明确限定哪些TEE计算任务可处理该数据;所有策略必须公开记录于透明日志中。
- 密钥管理与策略校验:基于TEE运行RAFT共识协议构建的密钥管理系统(KMS),仅向符合策略的工作负载发放解密密钥。
- 工作负载执行:根TEE运行Python训练循环,并将子任务委派至多个工作TEE;编排层采用源自TensorFlow Federated的Federated Language;最终仅释放满足差分隐私要求的模型权重。
- 容错恢复:每轮训练保存KMS加密的恢复状态,以应对根TEE或工作TEE故障。
隐私可验证性的技术基础
可验证性源于三重保障:其一,所有访问策略发布至Sigstore旗下的公共透明日志Rekor,外部审计方可追溯任一设备允许馈送数据的全部服务器工作负载;其二,KMS与数据处理二进制程序均支持从开源代码可重现构建(reproducibly buildable);其三,策略本身直接描述Python训练程序逻辑。为保护模型架构知识产权,TEE支持运行时侧载(sideload)序列化逻辑,但所有影响隐私的关键逻辑(如噪声注入、裁剪、聚合方式)必须硬编码于经认证的主程序中。运算符仅能访问聚合指标与DP模型权重;加密数据仅在上传后有限时间内可解密。
Gboard落地成效:更准、更快、更可信
Gboard已采用该系统上线英语与日语下一词预测模型,实现隐私保障增强与准确率提升双重收益。两大设计改进驱动此成果:
第一,改为“先收集、后训练”模式——所有设备上传完成后再启动服务器端训练,规避了设备昼夜可用性波动对训练进度的干扰;系统可据此制定最优参与调度并精细调优DP参数。谷歌对比实验显示:在5000轮训练、每轮6500设备参与条件下,新系统生成的隐私-效用曲线优于旧方案。
第二,训练瓶颈转移至服务器端——旧版FL模型单次训练耗时1–2个月;新架构下训练任务可在多台机器并行展开,性能上限仅取决于TEE资源供给。谷歌称计算速度“显著提升”,但未公布具体倍数。
编者观点
该进展表明:当隐私合规压力持续升级,企业正从“承诺式隐私”转向“可验证隐私”。对中国AI厂商而言,TEE+联邦学习的组合不仅关乎技术选型,更是构建用户信任与出海合规能力的关键基础设施路径。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →