点击下方小卡片关注情报分析师
开源情报人员都需要什么类型的工具？
这就是在今年二月份在开源研究人员中分发一项关于他们在进行在线研究时使用在线工具的调查时提出的问题。这可能意味着从通过浏览器访问的简单搜索引擎到您必须使用命令行的复杂，自定义的抓取器的任何内容。
超过500人花时间回答了问题，告诉了他们使用（或未能使用）各种在线工具的经历。
从而进行了调查，以帮助更广泛的开源开发人员社区了解，如果要构建哪些工具，它们可以真正帮助研究人员。
这些调查结果显示，在线研究人员社区高度多样化。那些进行开源调查的人不仅来自广泛的专业背景，其中大约一半人在业余时间做这种类型的工作。
开源人员最有可能使用的工具需要是免费的，清楚地描述了他们能够做什么以及如何使用它们。鉴于只有四分之一的受访者知道如何使用命令行，因此特别欢迎不需要更高级技术技能的工具。
近200名受访者就可以帮助他们开展工作的工具提出了具体建议。
这份调查收到了525份调查回复。参与者来自不同的专业背景，从网络安全分析师和记者到企业安全专家和学者。重要的是，并非每个人都将这种类型的研究作为他们的日常工作。尽管志愿者在开源社区中扮演着重要的角色，但我们惊讶地发现，大约一半的受访者在“工作”期间做了这项研究，另一半在“空闲时间”做了这项研究。
受访者的在线研究经验水平也各不相同。最大的群体（35%）表示，他们偶尔会进行在线研究，但仍然认为有必要提高自己的技能。
这里还询问了研究人员在工作中使用工具的频率 ，对工具的定义包括任何有助于在线研究中执行特定任务的数字手段。在这里，最大的群体（34.7%）报告说，每当他们做这种类型的工作时，他们都会使用工具，尽管对这个术语的理解可能有所不同。
研究人员最喜欢的工具命名
想知道调查参与者最喜欢的工具，以及他们是否可以描述使用特定工具在他们的一项调查中特别有帮助的时期。
这两个问题的答案有时都非常具体，它们包括许多只被命名一两次的工具，但也有明显的趋势。
喜欢的工具列表。只有至少被提及五次的工具才被包括在内。可以同时命名多个工具。工具名称后面的数字表示给出此答案的次数。
在线研究人员认为在其研究案例之一中最有用的工具列表。收到的第二个问题的答案较少，因此包含了至少被提及四次的所有工具。可以同时命名多个工具。
就最喜欢的“工具”而言，赢家是搜索引擎Google。即使是使用过许多其他工具的有经验的研究人员也经常会回到它。那些经验较少的人报告说，谷歌通常是他们迄今为止使用的第一个也是唯一一个“工具”。
第二大最受欢迎的工具，同时被认为是对开源调查最有帮助的工具是Google Earth Pro。许多答复者提到，免费获取历史和当前卫星图像对于地理定位至关重要。
图形链接分析工具Maltego是第三大最受欢迎的工具，也是第二有用的工具。我们无法始终确定受访者使用Maltego的免费或付费版本。调查受访者解释说，Maltego帮助他们找到了人或组织之间隐藏的联系，并在一个地方收集了与研究案例相关的信息。
绝大多数研究人员最喜欢的工具，从航班跟踪器到社交媒体监视器都可以免费使用，或者至少有一个基本的免费版本。在线研究人员最喜欢的工具还包括Wayback Machine，这是一个数字网站存档。
虽然受访者发现一些抓取工具很有帮助，但它们并没有出现在最喜欢的工具列表的顶部。鉴于抓取工具通常需要使用命令行，一个潜在的相关发现是，那些能够自己编写代码脚本以自动化部分研究的研究人员通常认为这些脚本是他们最喜欢的工具。几位在线研究人员提到，他们根据特定研究案例的需求编写自己的代码。其他人表示，他们能够使用他们在GitHub等代码共享平台上找到的脚本。
但是，只有全球开源调查员社区中技术娴熟的成员才能访问这个拥有可用工具的大世界。超过 30% 的受访者从未使用过 GitHub。另有22%的人知道GitHub提供工具，但他们不知道如何使用它们。另有23.4%的人试图使用GitHub工具，但遇到困难或失败。只有大约24%的人表示他们不时或定期使用此类工具。
因此，为在线研究人员构建工具的开发人员目前只能接触到四分之一的受访者，如果他们只能通过GitHub等服务而不是具有用户界面的Web或桌面应用程序来提供他们的工具。
最不受欢迎的工具
此次调查还询问了受访者是否有任何他们不喜欢的工具，或者他们是否遇到过特定工具无济于事但减慢速度的情况。
并非每个人都回答了这些问题，但我们收到的有限数据仍然提供了见解。
不喜欢的工具。此列表中仅包含至少提及四次的工具或工具类型。
在这种情况下，最不喜欢的工具是谷歌的搜索引擎 ，与前面提到的最喜欢的工具完全相同。与那些将搜索引擎命名为他们最喜欢的工具之一的人相比，将搜索引擎作为他们不喜欢的工具（10）的受访者（10）要少得多（10）。
批评者没有意识到谷歌向他们展示的结果受到他们之前的搜索的影响，并且不信任谷歌使用他们自己的数据。11名受访者认为搜索引擎没有为他们输入的关键字提供足够精确的结果。
第二个最不喜欢的工具是那些花钱的工具。一位受访者写道：“由于我的大部分研究都是在业余爱好者的水平上，我真的负担不起订阅一些看起来有用的工具的费用。其他答复者指出，他们在使用付费工具时经常感到失望，因为与免费工具相比，这些工具的价格似乎过高或没有提供太多价值。
一些在线研究人员分享说，他们很难使用命令行或过于技术性的工具。“我目前不喜欢基于Python的工具，因为我的技能组合很低，而且我现在没有灵活性或时间来克服这一点。”
一些受访者不利地将用于销售工具的营销语言与其实际功能进行了比较。同样不受欢迎的是那些在没有开发人员更新的情况下停止工作的工具。“没有什么比设置一个环境更糟糕的了，安装一个工具只是为了发现它不像宣传的那样起作用，”一位受访者写道。
还提到了人员搜索工具，这意味着Pipl或Skopenow等工具，可以显示他们可以在线为特定人员找到的任何博客，社交媒体帐户或邮件帐户。调查受访者认为，这些工具要么不代表物有所值，要么结果的质量波动。
这些工具没有为调查增加任何东西，而是减慢了研究人员的速度。此列表中仅包含至少提及四次的工具或工具类型。
当被问及哪些工具减慢了速度以及原因时，受访者指出工具的指令或文档质量较差。有几个描述了即使在设置工具后也无法理解如何使用它的情况。
虽然他们将Maltego命名为一种非常受欢迎的工具，但一些研究人员也有批评的观点。例如，有些人发现它很麻烦。其中一位写道：“使用起来很复杂，一旦数据进入，就必须对其进行大量修改才能理解和呈现，以至于对于我执行的调查类型来说，这是不值得的。
受访者还抱怨工具没有提供任何新的或有用的东西，这些工具曾经使用过，这导致他们得出结论“我本可以手动更快地完成所有事情”。他们对过早发布的工具也有同样的看法，因为尚未整合可以增加价值的有用功能。
一些研究人员对反向图像搜索的局限性表示失望。一小部分人特别抱怨谷歌反向图像搜索提供的结果 。 一个人写道：“它将图片更改为文本描述并按此搜索”，并指出这往往没有提供有用的结果。一些人还认为，随着时间的推移，结果的质量有所下降。其他在线研究人员发现，一般的反向图像搜索技术 - 不仅仅是谷歌的 - 通常不能提供有用的结果。
其他受访者指出，不清楚自己能做什么和做不到什么的工具会减慢速度。“肯定有一些场合，一个工具似乎可能具有所需的功能，但后来却没有。因此，花时间观看有限的教程视频或搜索有限的文档，安装和/或错误拍摄软件包，却发现它没有您最终一直在搜索的功能。“
最后，未维护的工具也被视为可能减慢研究人员工作的一个因素。
开源挑战
此次调查要求受访者分享他们认为最具挑战性的工作方面。他们用自己的话描述了这些挑战，然后我们将其归类为共同的主题。
只有至少五次被提及的挑战被列入此列表。
在525名参与者中，有49人表示，在线资源验证（即整个照片和视频验证领域）是他们面临的最大挑战。一些人特别提到了验证照片或视频最初在网上发布的位置或检查网站可信度的方法的困难。
同样，许多研究人员表示，他们很难找到可靠和高质量的来源 - 无论是网站还是个人内容制作者。“知道在哪里寻找，信任什么来源，特别是如果它对我来说是一个新领域。”
受访者还写道，他们很难找到既可以免费访问又最新的数据来源。一个经常出现的问题是研究人员面临的大量信息。“太多地方的信息太多，结果太多”，一位受访者写道。其他研究人员描述说，由于“大量信息”，他们往往会迷失方向，或者不确定该关注什么。
此外，研究人员对为他们的研究确定正确工具的任务感到不知所措。“我经常在记忆和浏览各种可用工具时遇到麻烦，”一个人解释说。另一位写道，即使他们找到了有用的工具，也很难知道如何在它们之间做出选择。
翻译也出现在这些回复中。一方面，研究人员发现，在寻找使用较少的语言的在线翻译服务时存在局限性。他们还抱怨一些较大的语言（如阿拉伯语）的翻译质量差。另一方面，即使他们取得了成功，研究人员仍然在搜索翻译的短语时遇到了挑战 - 他们担心某些细微差别或内涵可能在翻译中丢失，从而影响搜索结果。
很难组织他们发现的信息。他们希望能够在一个地方收集各种格式的在线资源，以便跟踪他们正在进行的研究或以后重新访问它。其他人由于缺乏编码技能而感到受到限制。在某些情况下，这阻碍了他们自动化研究工作流程某一步的能力。一些研究人员认为需要使用命令行工具，但不知道如何操作。
另一个障碍是人们认为缺乏时间进行研究。正如一位受访者所说：“这么多数据，这么少的时间”。另一位代表发现，“根据时间管理/时间为调查的其余部分做出关键决定”特别具有挑战性。
另一个挑战是缺乏在线研究经验
一些受访者还表示，他们很难理解他们收集的在线信息，或者“将分散的信息联系起来”。其他受访者发现，仅仅知道从哪里开始在线调查是很困难的。
使这一挑战更加复杂的是担心纵的信息或镜头，难以找到相关数据集，以及将搜索查询缩小到最有用的关键字或短语列表的复杂性。
这里要求受访者回忆一下他们被困在研究中的情况，并描述可以帮助他们继续前进的工具。大多数想法仅由一两个在线研究人员分享，因此它们不能代表我们整个调查受访者群体。但是，我们建议有抱负的工具开发人员查看工具需求列表，以深入了解非常具体的工具创意，近200名受访者根据他们的工作确定了这些想法。
研究人员如何找到工具？
所有525名受访者都回答了这个问题。他们中的大多数使用多个渠道的组合来了解工具。
搜索引擎是查找工具的最常见方式。也许令人惊讶的是，社交媒体网络并没有占据第二位甚至第三位，这些都是由提供工具的博客或网站以及阅读其他研究人员的工作来获取的。
调查受访者可以一次选择几个答案。
尽管如此，大多数开源研究人员仍然在努力为他们的工作找到合适的工具。超过83%的受访者发现找到合适的工具既困难又耗时。
当被问及是什么促使他们尝试新工具时，大约35%的受访者可以很容易地说服他们尝试一下。这类在线研究人员认为自己“通常对了解更多有关新工具感到好奇”，即使这些工具与他们的工作没有直接关系。
第二大群体（略低于29%）表示，如果他们认为新工具可能有助于特定研究，他们会尝试一种新工具。在这种情况下，他们甚至准备花一些时间学习如何使用该工具。
蓝色类别的完整文本是：“如果我认为它可能对我正在研究的特定研究案例有用，即使我必须花一些时间学习如何首先使用该工具。绿色类别的完整文本是：“我通常很好奇了解更多关于新工具的信息，并喜欢尝试它们，即使我没有立即从事它们可能有用的特定研究项目。
第三组（约23%）表示，如果工具的描述清楚地表明了它的作用和工作原理，他们就会有动力尝试一种新工具。13.5%的人表示，在阅读了其他研究人员如何使用新工具后，他们喜欢尝试一种新工具。
工具开发人员的课程
这些结果清楚地表明，开源研究人员对他们想要看到的工具有特定的标准。
首先，想要覆盖这个社区中很大一部分的工具开发人员需要免费提供工具。由于许多在线研究人员在业余时间从事此类工作，或者属于预算紧张的小团队，因此他们通常无法为访问工具付费。
研究人员还需要有关如何确切使用工具的详细文档。如果在线研究人员没有找到分步说明和可访问的解释，许多人会感到沮丧，很可能不会回到该工具。他们还希望在工具停止工作时收到通知。
在线研究人员还希望开发人员能够透明地了解其工具的局限性。他们非常反对营销语言和过度推销工具功能的努力。
与提供命令行工具的人相比，创建具有用户界面的应用程序的工具开发人员有可能接触到更多的在线研究人员。目前，全球在线研究人员社区的很大一部分无法使用命令行。然而，许多研究人员已经意识到他们缺乏技术技能是一个限制，并渴望了解更多信息。
总体而言，许多在线研究人员对尝试新工具非常开放和好奇。在许多领域，新工具可能会对开源研究人员的工作产生巨大影响。那些花时间使开源和在线研究更容易和更有效的开发人员的努力将受到高度欢迎 。
长按识别下方二维码加入情报学院知识星球
知识星球APP有2000+情报专业资料可供下载
往期推荐
点个赞，证明你还爱我
原文始发于微信公众号（情报分析师）：开源情报研究人员最需要的工具
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论