人脸对抗攻击baseline NO.2，利用开源模型生成对抗样本

步骤1：加载人脸模型

为了保证模型的便捷性，这里我们选择了Pytorch版本的InsightFace实现，安装方法如下：

# https://github.com/nizhib/pytorch-insightface
pip install git+https://github.com/nizhib/pytorch-insightface

加载iresnet34人脸识别模型：

import insightface
model = insightface.iresnet34(pretrained=True)
model.eval()

步骤2：提取比赛人脸特征

使用iresnet34模型对初赛数据集的2000张照片提取特征，这里只需要做正向传播即可。

img_feats = torch.zeros(2000, 512).float().cuda()
idx_img = 0
with torch.no_grad():
    for img_data, _ in train_loader:
        feat = m(img_data.cuda())
        img_feats[idx_img, :] = feat
        idx_img += 1

进而对特征进行归一化，保证计算人脸相似度保持在0-1之间：

import torch.nn.functional as F
img_feats = F.normalize(img_feats, p=2, dim=1)

步骤3：多步FGSM攻击

FGSM（Fast Gradient Sign Method）是经典有效的对抗样本产生方法，具体思路如下：

• 扰动变化量与梯度的变化方向一致，则误差函数就会增大。
• 使用Sign函数保证了扰动同梯度方向一致，对分类结果产生最大化改变。

由于比赛是无目标攻击，所以具体的攻击步骤如下：

• 步骤1：计算人脸特征相似度，选择与当前人脸最相似的人脸作为攻击目标。
• 步骤2：执行单步FSGM产生对抗样本，并对扰动大小进行截断。
• 步骤3：重复多次步骤2，直到目标人脸的概率值达到阈值。

具体实现代码如下：

def one_step_attack(source_idx, aim_idx=10):
    # 计算人脸相似度，得到攻击目标
    aim_idx = torch.matmul(
     img_feats[source_idx].view(1, 512), img_feats.T
    )[0].argsort()[-5].item()
    
    # 读取原始人脸图片
    ori_image = cv2.imread(paths[source_idx])
    img = preprocess(transforms.ToPILImage()(ori_image))
    img = img.reshape(-1, 3, 112, 112).cuda() 
    img_ori = img.clone().detach()
    
    img_adv = None
    best = 0
    
    # 执行多步扰动，记录最优结果
    for _ in range(50):
        # 每次对扰动后的图像都需要重新计算特征
        img = Variable(img, requires_grad=True)
        img_embedding = model(img.cuda())
        img_embedding = F.normalize(img_embedding, p=2, dim=1)
        feat_ids = torch.matmul(img_embedding, img_feats.T)
        objective_aim = feat_ids[0][aim_idx]
        objective_source = feat_ids[0][source_idx]
        
        if objective_aim.item() - objective_source.item() > best and objective_aim.item() == feat_ids[0].max().item():
            img_adv = img.clone().detach()
        
        model.zero_grad()
        objective_aim.backward()
        
        # 根据梯度信息，单步FGSM
        data_grad = img.grad.data.sign() * 0.0075
        with torch.no_grad():
            delta_diff = img + Variable(data_grad) - img_ori
            delta_diff = torch.clamp(delta_diff, min=-0.13, max=0.13)
            img = img_ori + delta_diff
    
    return img, img_ori

（滑动查看完整代码）

步骤4：保存测试集攻击结果

对于测试集每张照片，重复上述操作得到对抗样本，并进行保存为原始格式。

for idx in range(len(paths)):    
    path1, path2 = paths[idx].split('/')[-2:]
    
    img1, img2 = one_step_attack(idx)
    img1 = unorm(img1[0])
    img1 = img1.data.cpu().numpy().round()
    img1 = np.clip(img1, 1, 255)
    img1 = img1.transpose([1, 2, 0])
    
    h, w = cv2.imread(paths[idx]).shape[:2]
    img1 = cv2.resize(img1, (h, w))
    cv2.imwrite(f'./images/{path1}/{path2}', img1)

大尺寸图片 -> 图片缩放 -> 人脸识别模型
大尺寸图片 -> pooling -> 人脸识别模型