G.O.S.S.I.P 阅读推荐 2024-01-24 除你防护，夺你模型！

今天推荐的论文DeMistify: Identifying On-device Machine Learning Models Stealing and Reuse Vulnerabilities in Mobile Apps来自ICSE 2024，研究了移动APP中使用的机器学习模型的安全性问题：

在介绍这篇论文之前，突然想起了2015年的一个知乎问题：

https://www.zhihu.com/question/37446729/answer/72016391

在这个问题的答案（包括我们的回答）的评论区中，充满了一堆无知、自大而又傲慢的（可能是来自开发人员）评论。这里面折射出的可能是一部分开发者对安全技术（和安全研究人员）的轻蔑：既不懂安全防护方案在保护效果和性能开销上的trade off，又对安全分析者对抗防护的能力一无所知。所以今天这篇论文就来给大家展示一下，即使不是专门花时间去针对某一个特定的防护方案，安全分析也完全可以大规模地对付一些开发人员设置的障碍。

回到今天要介绍的论文，作者关注了当前移动APP中越来越多地引入机器学习的趋势，其中不可避免地会在移动设备上去调用相关的模型，这些模型或者是内置在APP中，或者是在使用的时候从服务器上下载到本地。而大家都知道，本地环境（不管是桌面环境还是移动平台）在安全研究假设中是一个非常危险的环境，攻击者基本上拥有全面的操控能力，可以开启上帝视角去分析执行的几乎任何代码，那一旦被攻击者盯上，相关的代码逻辑就很难避免被逆向。换到今天论文要讨论的场景，其实问题是一致的：一旦被攻击者盯上，相关的模型就很难保密。

当然，本篇论文并不是要做安全攻击，只是要借助这种攻击者视角来告诉大家，单纯依靠“藏”，也就是安全研究里面说的security through obscurity来阻止模型被分析，这种想法是多么不堪一击。在高级代码分析技术的加持下，现有的大量防护措施（例如代码混淆、模型格式私有化）其实并没有起到实质性的作用。根据下表的分析数据来以事实说话，在作者分析的1511个热门的、会使用机器学习模型执行特定任务的Android APP中，有1250个APP中的模型都能被攻击者复用，而那些开启了代码混淆的APP，其包含的模型可被复用的比例，相比没有代码混淆的APP还要高（88.43% vs 75.94%）。这是不是说明了一定的问题呢？

回到论文的技术细节，作者为了实现对APP中的模型的自动化分析，设计开发了一个名为DeMistify的自动化分析工具，用来实现“模型定位-模型抽取-模型重用”的一整套任务（如下图所示）。

DeMistify的实现上有很多细节，但是对于熟悉程序分析特别是APP分析的读者，这些细节在论文中都不难读懂，大家可以去看看。简单总结一下，DeMistify聚焦于分析APP中的动态链接库（.so文件，作者假定机器学习模型使用大都在native code中完成），通过分析找到模型的调用接口，然后利用动态二进制插桩（主要依赖Frida）完成接口注入，依赖原有代码调用逻辑来重用相关模型。下图展示的就是DeMistify生成的一个Frida脚本，用这个脚本来重用被分析的APP中的模型：

作者通过对Google Play上427471个免费的APP进行分析，初步筛选出2207个APP可能会用到ML模型，再经过验证后，最终确认了1511个APP作为实验样本，下面是一些针对实验样本的分析细节：

为了验证模型重用的正确性，作者针对实验样本中下载量最大的top 10 APP，将其自身使用模型的结果与DeMistify重用模型的结果进行了对比验证，结果发现完全是一致的：

最后，推荐大家去读一读阿瑟·克拉克的经典《与拉玛相会》（现在因为考虑到原文中的“拉玛”是指印度神明的名字，为了对应，新版已经翻译为《与罗摩相会》）。这里面讲到的外星高级文明在和地球文明接触中，体现出来的那种超然的态度，也是安全分析者在面对那些看似strong但是并没有什么（*）用的防护措施时候的态度。

论文：https://bruceqczhao.github.io/assets/icse24/ICSE24b.pdf

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2024-01-24 除你防护，夺你模型！