谷歌 DeepMind 最近推出了一款名为 VaultGemma 的新型语言模型，这一创新的技术专注于用户隐私的保护。VaultGemma 不仅是开源的，而且是目前规模
传统的大语言模型在训练过程中可能会不小心记住一些敏感信息，比如姓名、地址和机密文档等。为了应对这一挑战，VaultGemma 引入了差分隐私技术，通过在训练过程中添加可控的随机噪声，确保模型的输出无法与特定的训练样本关联。这意味着，即使 VaultGemma 曾接触过机密文件，从统计学上也无法还原其内容。谷歌的初步测试结果显示，VaultGemma 确实没有泄露或复现任何训练数据，进一步提升了用户的信任感。
在技术架构方面，VaultGemma 是基于 Google 的 Gemma2 架构，采用了仅解码器的 Transformer 设计，包含 26 层，并使用了多查询注意力机制。一个关键的设计选择是将序列长度限制为 1024 个 Token，这样有助于管理私有训练所需的高密集计算。开发团队还借助一种新颖的 「差分隐私缩放定律」，为计算能力、隐私预算和模型效用之间的平衡提供了框架。
尽管 VaultGemma 的性能与五年前的普通语言模型相当，在生成能力上略显保守，但它在保护隐私方面提供了更强的保障。谷歌的研究人员表示，他们将在 HuggingFace 和 Kaggle 上以开源许可证公开 VaultGemma 及其相关代码库，让更多人能够轻松访问这一私有 AI 技术。
这款模型的推出无疑为推动隐私安全和开源技术的结合提供了新的可能性，期待它在未来能为用户带来更加安全和可靠的使用体验。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
