省省省，签名也去重：带有去重功能的云数据完整性审计

在之前的系列文章中[2][3]，我们介绍了云存储完整性审计的背景、技术实现以及基于关键词并且实现敏感信息隐藏的云存储完整性审计方案。根据EMC的一项调查[4]，75%的云数据都是重复的。对于重复的文件只存储一份副本会大大降低云服务器的存储开销。因此，数据去重技术近些年得到了极大的关注。

云数据完整性审计技术可以高效的验证用户的数据是否遭到破坏。在云数据完整性审计中， TPA代替用户检测存放在云服务器上文件的完整性。下图展示了云数据完整性审计的流程。通常，云数据完整性审计包含下述几个阶段：

1.初始化阶段：在这个阶段中，系统选取公共参数，用户随机生成私钥，并且计算和公布他的公钥。

2.认证器生成阶段：在这个阶段中，用户首先对文件进行分块。用户为每一个数据块计算一个认证器。

3.审计阶段：TPA首先随机的选取抽样的数据块，将抽取的数据块的索引和挑战系数作为审计挑战发送给云服务器。云服务器根据审计挑战计算聚合的数据块和聚合的认证器，将它们作为审计证明返回给TPA进行验证。

带有去重功能的云数据完整性审计技术可以检测用户的文件是否正确完整地存储在云上，并且同时可以降低云的存储开销。为了对数据的完整性检测，对于每一个数据块，用户生成一个认证器（认证器的生成方法请见之前的公众号文章[2][3]）。不同的用户的密钥是不同的，因此对于相同的文件，不同的用户将会生成不同的认证器。因此传统的方法不能实现认证器的去重。

使用收敛加密密钥（文件的哈希值）作为私钥来生成认证器可以实现认证器去重。但是，这将带来一个新的问题：数据和它的持有者之间的关系遭到了破坏。并且，大量的用户文件也将带来沉重的密钥管理负担。除此之外，一些文件的熵值较低，例如电子医疗数据和物联网设备的传感器数据。一旦恶意的云服务器成功地推测出用户文件的内容（或者仅仅是哈希值），它将推测出收敛加密密钥。因此，恶意的云服务器可以伪造认证器，使得云数据完整性审计无法正常的工作。

本篇文章介绍发表在Information Sciences 上的文章：保证低熵值安全且支持去重的云数据完整性审计方案。

初始用户：初始用户想要上传文件，这个文件之前在云服务器中不存在。初始用户加密数据块，然后生成认证器。初始用户将文件、认证器和标签进行上传。之后，初始用户可以离线。

后续用户：后续用户想要上传重复的文件，这个文件之前在云服务器中已经存在（由初始用户上传）。通过执行POW协议[5]，后续用户可以使云服务器确信他真的拥有这个重复的文件。后续用户只需要上传文件标签到云服务器。

云服务器：用户的文件保存在云服务器上。为了降低存储开销，云服务器只保存一份重复的文件。云服务器还存储着每个用户的文件的标签来连接用户和他的文件。

第三方审计者：第三方审计者有着强大的计算能力和存储空间，它进行完整性审计。

初始用户首先执行初始上传算法加密文件。他将文件的ID发送给云服务器。云服务器检查这个文件是否已经存在于数据库中。在确认云服务器没有存储这个文件后，初始用户执行标签密钥生成算法去生成标签密钥，初始用户还执行认证器生成算法去生成文件标签和认证器。初始用户将加密的文件、认证器和文件标签上传到云服务器后就可以离线。

后续用户和云服务器执行后续处理算法。后续用户将文件的身份发送给云服务器。为了防止恶意的后续用户声称拥有一个实际上不属于他的文件，云服务器发送POW挑战给后续用户，并检查POW证明的正确性。如果POW证明是合法的，后续用户执行后续上传算法，将他的文件标签上传到云服务器上。

TPA执行审计挑战生成算法发送审计挑战给云服务器。云服务器执行审计证明生成算法生成审计证明，并返回给TPA。最终，TPA执行审计证明验证算法验证审计证明。

本篇文章介绍了一个保证低熵值安全且支持去重的云数据完整性审计方案，对于重复的文件，云服务器可以只保留一份文件数据块和认证器的副本，大大降低了云服务器的存储开销。同时对于低熵值的文件，恶意的云服务器也无法伪造认证器，大大增强了系统的安全性。

通过前几次文章，我们了解了云数据完整性审计技术的背景以及关键技术：同态可聚合签名。我们还介绍了两个最新的研究成果：保证低熵值安全且支持去重的云数据完整性审计方案和基于关键词并且实现敏感信息隐藏的云存储完整性审计方案。目前为止，对于云计算安全，国内外的研究没有关注公平支付这一重要、实际的问题。在实际应用中，云服务商提供服务，用户需要为此支付费用。但是，如果云服务商无法根据协议提供正确及时的服务，用户则无需付费。甚至，如果用户的数据遭到破坏，云服务商需要进行赔偿。尤其在争议发生时，公平支付显得尤为重要。实现云数据完整性审计的公平支付将会是潜在的研究方向之一。

至此，云数据完整性审计的研究内容就介绍完毕。在接下来的分享中，我们将介绍数据安全重要研究方向：联邦学习。感兴趣的同学欢迎持续关注。

往期回顾：

防止云端数据与查询行为泄露—可搜索加密

同态签名的妙用：云数据完整性审计技术（一）

1+1>2?当云数据完整性审计遇到可搜索加密

绿盟科技研究通讯由绿盟科技创新研究院负责运营，绿盟科技创新研究院是绿盟科技的前沿技术研究部门，包括星云实验室、天枢实验室和孵化中心。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。

绿盟科技创新研究院作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一，与清华大学进行博士后联合培养，科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。

我们持续探索信息安全领域的前沿学术方向，从实践出发，结合公司资源和先进技术，实现概念级的原型系统，进而交付产品线孵化产品并创造巨大的经济价值。

长按上方二维码，即可关注我