甲方眼里的POC到底是什么样的

前不久，安在讲堂第四季正式启动，在结合了前三季近50场直播以后，我们不仅得到了大咖站台（方向）的支持，还让甲方用户响亮地发出了自己的声音（需求），同时也让乙方厂商们充分展示了自己的实力（供给）。

但是，产品到底好不好，那只有用过、测过才知道。

为了帮助网络安全创新企业找到并对接合适的用户场景，且在用户场景中验证技术路线和产品功用，获得用户反馈；同时通过POC协作交流，增进甲乙双方供需了解，促进能力提升。

安在新媒体趁热打铁推出了安在讲堂第四季：网安新焦点——2020网络安全创新测试（POC）案例征集及直播大赛。

说到POC测试想必大家都不陌生，作为甲方安全人员重要的工作之一，根据业务或运营团队的需求对产品做选型和功能验证，以便于为后续产品的产投标做好选型和技术支撑工作。

对于乙方来说，POC测试同样至关重要。因为POC测试报告的好坏，可能将会直接影响甚至决定一款安全产品的市场前景，也可能会对乙方自身的行业口碑以及发展路径带来一定程度的影响。

虽然POC测试对甲乙双方非常重要，但由于网络安全细分领域多，覆盖范围广，不同的甲方用户对于安全的关注点各不相同且测试要求也有所区分，不同的乙方所提供的安全服务差异也很大。这样一来，甲方容易白费力气走弯路，对乙方越来越失望；乙方也会更加容易受挫，觉得甲方越来越难搞。

因此，对于POC测试的研究和探讨就变得非常有必要。

实际上，在此前诸子云推出的“诸子项目”第二季中，就已经开展了专门针对POC测试报告的研究项目。目的就是为了通过对产品POC测试报告的研究分析，总结其中的共性问题和经验，简化甲方产品选型的工作量。

在这里，我们简单对该项目进行回顾。

项目内容：基于各企业针对产品的 POC 报告进行分析，供诸子云成员选择产品时参考。

项目经理：潘盛合 现任顺丰科技网络安全部解决方案负责人，CISSP，CISA，C-CSA SDP 工作组专家，熟悉移动 通信、物流快递行业信息安全管理与技术体系。

项目成员：李维春 现任安信证券信息技术中心安全总监，诸子云深圳分会会长。

项目概述：本项目一共收集到了项目成员提供的17份POC测试报告，均为企业安全建设中常用到的安全产品。涵盖网络安全领域网络准入、防APT、WAF、HIDS、App安全测试、NGFW、IPS产品10份报告。涵盖数据安全领域的终端DLP、邮件DLP、数据加密、数据脱敏、数据安全解决方案等产品7份报告。

潘盛合表示，由于不同的甲方在人力投入、专业技术、采购模式等方面的区别，导致在测试环节投入合产出都会有一定的侧重点。如何高效快速且少走弯路的选择一款适合自己的产品，一直是很多甲方安全从业者关心的一个课题。

为了撇开不同企业环境的差异，针对安全设备的共性问题，总结出POC测试经验，并探讨甲方在POC测试中可以共享的一些问题和经验，从而大大提升甲方在产品选型中的工作效率和质量，潘盛合因此萌生了进行POC 测试报告共享项目报告的想法

最终，这篇项目报告包含了样本说明、测试报告分析情况和结语，在探究了安全产品测试报告的记录形式、不同产品的特点和相应产品测试中的关键考量点之后，帮助甲方在测试工作中结合自身情况，尽量少出现重大失误。

为了能够延续甲方对于POC测试研究和探讨的热情，从而更好地将网络安全供需落地，推进到“最后一公里”。我们精准定位了“甲方+乙方”，以联手实战的方式，适时地推出了安在讲堂第四季：网安新焦点——2020网络安全创新测试（POC）案例征集及直播大赛。

在POC案例征集大赛正式开始之前，我们特别邀请了几位甲方专家，分别涵盖了银行、证券、运营商以及快递等行业。通过他们的视角和观点，让我们提前了解POC测试对甲方来说到底意味着什么？甲方对POC测试有什么期待？以及甲方眼中的的POC测试到底是什么样子的？

1、在您看来什么是POC？它的核心和重点是什么？

POC是企业对产品选择的一个重要参考依据。最核心的是考察产品是否符合企业的实际需求，另外也侧面考察产品的真实功能或性能是否与厂商宣传一致。

2、您站在甲方的视角，怎么看待POC？

POC为企业购买产品吃了一颗“定心丸”，减少甲乙双方在售后环节的摩擦。但由于一些条件的限制，POC很难做得全面，所以如何设计POC内容是非常考验技术团队能力和经验的。

3、如何评价国内当前的POC测试？有什么优点、亮点？存在什么问题？

优点：目前，国内大部分厂商对POC测试还是比较积极的，有比较高的配合度，能基本解决POC过程中发现的问题。

问题：出于成本考虑，面对中小型客户时，厂商无法判断POC过程中的投入，尤其对于硬件产品来说，一般厂商测试设备有限，势必有所取舍，这对甲乙双方都是潜在的损失。

4、您站在甲方的视角，对POC有什么期待？

希望未来，对不同类型产品的POC，可以形成一些标准或最佳实践类的list，以便于没有经验的企业作为参考，企业也可以将其变成产品的基本功能。

另外，站在甲方的角度，希望POC能够客观公正，尽量避免有意或无意的偏袒。

最后，甲方如果能够形成一个分享POC结果的小平台，就可以减少很多沟通成本，当然要保证数据的真实有效。

1、在您看来什么是POC？它的核心和重点是什么？

我认为POC属于“验证测试”，POC的根本目标是为了最后的选择提供真实、可靠的依据。其核心和重点在于

（1）验证供应商的产品功能、性能、交付能力是否和宣传的一致，差异性有多大；

（2）验证以下两者的匹配度，便于甲方评估整体性价比

a) 供应商的产品功能性能、交付能力；

b) 甲方当前、未来的需求和环境；

2、您站在甲方的视角，怎么看待POC？

在选择产品或供应商之前，我认为都需要执行POC。其最终是为了选择最优性价比的产品和服务。POC本身也是需要付出成本的，因此POC的粗细程度、重点评估什么方面、POC周期的长短，也需要甲方权衡选择。

3、如何评价国内当前的POC测试？有什么优点、亮点？存在什么问题？

我看到的情况是：国内安全厂商、安全产品的POC测试版本、测试过程中提供的支持，主要取决于甲方对这项工作的重视程度、其次取决于安全厂商对这个项目的重视程度。如果甲方足够重视，POC阶段可以发现很多问题、加深对产品的理解；如果安全厂商重视，可以帮助甲方设计一些好的场景和测试用例，既能够展现自身实力，也能够挖掘暴露问题。

4、您站在甲方的视角，对POC有什么期待？

（1）执行POC的甲方人员至关重要，其能力、责任心是关键要素。POC测试环境的准备，切实了解自身的需求和场景，提炼哪些POC测试用例、如何开展测试以及对测试结果进行评价，是POC测试中的关键动作。因此甲方领导应该认真挑选和指导POC人员，并且要让产品、服务的最终用户参与到POC测试中。

（2）POC过程和结果应保留书面记录，这既是工作成果，也是知识沉淀。

（3）POC的根本目标是为了最后的选择提供依据，而选择的依据一般是“投资收益比”（性价比），当然，也有企业不太看投资、主要看收益。没关系，只要明确依据就好。因此，POC就必须把决策依据的各个组成部分覆盖到，比如，关注性价比的就会看投入，而投入实际包括当期投入、未来3-5年投入，也包括软件、硬件、运营人力、水电等综合投入。所以需求场景中既测当期需求、也测未来需求，既测功能性能、也测学习成本和使用成本，既测功能指标、也测资源消耗。

1、在您看来什么是POC？它的核心和重点是什么？

POC主要是针对跟业务或者运营团队的需求做产品选型和功能验证的过程。核心工作就是为后续的产品招投标中做好选型和技术支撑工作。

2、您站在甲方的视角，怎么看待POC？

POC测试我们在与业界技术沟通的重要方法，通过新产品或者已有产品的新功能测试能优化我们当前的产品，通过项目建设与业界已有能力对标。

3、如何评价国内当前的POC测试？有什么优点、亮点？存在什么问题？

大部分甲方企业都认为poc测试是一个非常重要的环节，国内poc测试中国内供应商配合度高，把在大型企业测试的机会视为自己完善产品的优良机会，部分优秀的企业心态很好，能够积极听取测试意见，快速完善自己的产品，赶上差距。甲方也是非常乐意看到这一点，缺点就是，POC测试这块缺少一些权威的信息参考，会带来对poc测试范围结果之类的一些挑战。

4、您站在甲方的视角，对POC有什么期待？

建议多从甲方建设和运营的角度看待问题，这样产品的功能和性能才能贴近甲方需求；l如果有新的产品或者解决方案，建议相互多沟通，做到互通有无。

1、在您看来什么是POC？它的核心和重点是什么？

POC测试，即Proof of Concept，是业界流行的针对客户具体应用的验证性测试，根据用户对采用系统提出的性能要求和扩展需求的指标，在选用服务器上进行真实数据的运行，对承载用户数据量和运行时间进行实际测算，并根据用户未来业务扩展的需求加大数据量以验证系统和平台的承载能力和性能变化。

我理解核心和重点就是最大限度的模拟真实业务和现网环境，如果条件允许，就直接上真实数据，直接在现网做测试。 区别于那种用仪器仪表搭建独立环境的测试，那种更多的用于验证极限性能，或者不需要和真实业务相关的设备。

2、您站在甲方的视角，怎么看待POC？

我觉得也分情况，有些设备其实不需要POC，比如传统防火墙，一般来说什么业务都可以跑，没必要一定要在现网测试后才能用。如果不确定性能是否够用，用仪表测一下就可以了。

但是如果是和业务紧密相关的产品，那么POC就很有必要。

POC有两方面要测，一方面是功能是不是有说的那么牛， 另一方面更重要的是有没有副作用， 会不会影响业务。

3、如何评价国内当前的POC测试？有什么优点、亮点？存在什么问题？

实际上我参与的POC测试不是太多，我们大多还是采用搭建独立测试环境来做测试。因为我认为真正必须开展POC测试的安全产品其实并不多， 而且我们的现网要放设备要管得比较严格，运维部门不愿意把测试设备放进去，担心把现网搞出生产事故，。

我觉得WAF 算一个比较典型的必须做POC的安全产品，因为WAF可能会影响网站的业务，然后一些终端防护和DLP产品也要做，除了效果，还要考察界面是否友好。

既然POC要最大程度模拟业务和现网，那么甲方肯定是要高度参与的，而且需要甲方的业务和运维部门一起参与，仅有安全技术人员参与是没有意义的，需要调动的资源比较多。如果不能把各方都调动起来，就容易出现测不出效果，或者酿成生产事故。其实这些主要还都是甲方自己的事，乙方其实做不了什么，一般来说乙方都是会积极配合的，但要调配甲方内部资源的时候，乙方是被动的。

4、您站在甲方的视角，对POC有什么期待？

其实我希望其他做过POC测试的甲方能够给我分享测试结果，但是这个愿望很难实现， 我们不得不重复造轮子，自己再重新搞一遍， 这很麻烦。其实如果能分享一下测试方法也是好的， 虽然乙方也会提供测试方法，但我们更希望其他甲方能直接分享， 避免被乙方删掉一些他们比较薄弱的测试项。  

1、在您看来什么是POC？它的核心和重点是什么？

按百度百科的解释POC测试，即Proof of Concept，是业界流行的针对客户具体应用的验证性测试，根据用户对采用系统提出的性能要求和扩展需求的指标，在选用服务器上进行真实数据的运行，对承载用户数据量和运行时间进行实际测算，并根据用户未来业务扩展的需求加大数据量以验证系统和平台的承载能力和性能变化。

核心和重点包括两部分：

1．甲方要清楚自己的核心需求，并在进行POC时确认各家产品的实现情况；其他就是辅助需求了，对于辅助需求可以按喜好情况进行排序，这些是测试的加分项

2．乙方要充分和甲方沟通，确认自己的产品对于甲方核心需求的实现情况，并不断迭代更新。

2、您站在甲方的视角，怎么看待POC？

POC测试要花费较多的资源和精力，对于重要的项目在POC之前可以通过诸子云等甲方联盟了解其它甲方的使用情况，并在合适的时候实地了解同业的实际使用效果。

从降本增效的角度来说，在明确自己的核心需求和辅助需求以后，不要选择过多的乙方来配合进行POC测试，除非此类产品的同质化严重，在同质化严重的情况下，一定要强化服务的要求，并在合同、工作任务说明书中明确，了解乙方在其他甲方的服务情况。

3、如何评价国内当前的POC测试？有什么优点、亮点？存在什么问题？

有不少国内厂商提供的测试版和实际的生产版本一致，最多就是设备旧一点，没什么限制，这比国外限制数量和功能的测试版好很多。但是有时候会出现在甲方还没准备好的时候就急着把测试产品送来了，甲方测试时间较长时，响应和服务会较慢。

4、您站在甲方的视角，对POC有什么期待？

从产品角度讲，产品及时更新，能让后续使用的甲方避免其他甲方遇到过的坑；

从POC过程来讲，当甲方因为对自己的需求了解不够充分时，会遗漏，乙方可以根据相关经验和其他甲方的需求来帮助现在的甲方，提升POC的效果并帮助乙方在POC中得高分。

知己知彼，方能百战不殆。

既然甲方的专家们已经提出要求摆好阵势，那么接下来就看咱们的乙方厂商们该用怎样的十八般武艺进行应对吧。

敬请期待安在讲堂第四季“网安新焦点——2020网络安全创新测试（POC）案例征集及直播大赛”。