恶意自动程序又称恶意爬虫（Bot），随着新冠肺炎疫情蔓延，越来越多的公司企业开始远程办公，爬虫攻击也呈上升趋势。
谷歌日前警告称，爬虫正给公司企业制造更多麻烦，但很多公司仅注意到了那些十分明显的攻击。
新冠肺炎伊始，微软首席执行官Satya Nadella就说过，微软见证了“两年的数字化转型在两个月内完成”。如今，谷歌观测到攻击者已经适应了这一情况变化，正对新上线的各项业务发起攻击，而所用工具中又以爬虫首当其冲。
爬虫攻击涉猎广泛，可用于Web信息抓取，收集网页内容或数据，也可用于对抗人机识别（Captcha）、广告欺诈、信用卡诈骗和库存舞弊。其中最为引人关注的是分布式拒绝服务攻击（DDoS），也就是导引垃圾流量涌向目标在线服务，将之挤掉线。
谷歌声称，71%的公司企业经历了僵尸攻击增多，56%的公司企业报告称遭遇过多种形式的攻击；但这家广告巨头同时表示，很多公司企业在用错误的技术组合保护自身。
谷歌的研究发现，虽然78%的公司企业启用DDoS防护措施，比如Web应用防火墙和内容分发网络（CDN），但其中只有不到五分之一的公司企业拥有“全套爬虫管理系统”。
谷歌云平台产品市场营销经理Kelly Anderson称：“爬虫攻击应用的业务逻辑，只有爬虫管理解决方案能够抵御此类威胁。”
“想要有效保护Web应用免遭爬虫攻击，公司企业必须采用DDoS防护、WAF和/或CDN等工具，再配合使用爬虫管理解决方案。”
Anderson表示，应用安全团队和安全运营团队与电子商务、欺诈防范和网络安全人员之间缺乏联系，爬虫因而对业务运营造成了威胁。
她解释道：“有效爬虫管理依赖企业内多个团队之间的协作，包括安全、客户体验、电子商务和市场营销。但通常，仅两个团队在做爬虫管理，也就是应用安全团队和安全运营团队。然而，真正大量消费爬虫管理工具所供数据的，却是电子商务、欺诈防范和网络安全人员。两类团队之间的联系缺失会导致商务或欺诈防范团队被排除在关键爬虫管理决策之外。”
由于安全和欺诈防范团队之间的割裂，公司企业要花费接近两个月的时间（53个工作日）流转攻击解决策略。
Anderson希望公司企业能够投资爬虫管理系统，检测最为复杂高端的爬虫。
谷歌在一篇研究论文中表示：“良性自动化流量出自经批准的合作伙伴应用和搜索引擎，而恶意流量来自恶意爬虫活动。2019年，爬虫占所有自动化Web流量的一半以上，占所有互联网流量的近四分之一，让安全人员尽职履职十分艰难。”
谷歌委托分析公司佛瑞斯特咨询公司执行关于爬虫管理方法的研究。这项调查研究收集了425名受访者的反馈意见，受访者职责范围囊括欺诈管理、攻击检测与响应，以及用户数据保护。
研究发现，大多数公司企业仅针对信用卡诈骗、广告欺诈和影响力欺诈攻击做好防护。
佛瑞斯特咨询公司表示：“仅15%的公司企业目前设置了针对Web信息抓取攻击的防护措施，但73%的公司企业平均每周都会遇到一起此类攻击。”
几乎三分之二的受访者称，单纯由于Web信息抓取攻击而造成的损失就占收益的1%到10%。
“很多公司企业关注新闻中常见的几种攻击类型，却对最能影响自身收益的攻击视而不见。”
本文始发于微信公众号（数世咨询）：恶意爬虫来袭 防御计划可能落入误区
评论