【PPT】在数据科学和人工智能中的应用：网络情报——OSINT

关键概念

开源数据

开源情报

情报的流程

数据挖掘与聚合

AI/ML和情报周期

来自领域的用例

前方的道路

免责声明

本报告中所提出的任何观点或意见仅属于我个人，并不一定代表我的雇主。

我不是律师，也不是在给你法律建议

事实上我没有允许或授权你做过任何事

什么都不要做;)

开源数据

出版或广播供公众消费的

是否可在网上或以其他方式向公众提供

是通过订阅还是购买的方式提供给公众

会被随便的观察者看到或听到吗

在向公众开放的会议上提供的资料

是通过参观任何地方或参加任何向公众开放的活动而获得的吗

数据就是力量

我们被来自各种网络资源的海量信息狂轰滥炸

数十万小时的视频、数百万张图片、搜索引擎无法索引的文本;这还不包括限制访问背后的数据。

“数据是一种宝贵的东西，它会比系统本身更持久。”

    ——蒂姆·伯纳斯·李

每天利用数据的力量

人工智能和数据科学是我们日常生活的一部分。从智能设备，图像识别，新闻源，到网络安全和情报。

行业需求是真实的

领英表示：过去四年，该职业社交服务对美国劳工专家的招聘规模每年增长74%。

网络情报

互联网是世界上最大的信息数据库，而且正在呈指数级增长。

需要利用数据挖掘和AI/ML来获取、处理、分析和识别威胁和风险，以增强跨组织的决策。

开源情报

OSINT是一种从公开来源(如社交媒体、新闻媒体、博客、网站等)收集数据的做法。这包括数据挖掘和爬行技术，数据提取和数据分析。

开源表示所收集数据的性质。并不是指开源软件或公共情报。

社交媒体

IP地址

域的查找

反向图片搜索

电话号码

在线文档

在线列表

地理位置和图像

车牌等

政府资源-例如结婚证、契约、法庭程序等

更多的。。。

关键领域

情报社区

执法

IT安全专家

私家侦探

律师事务所

公司

保险公司

金融公司

红队(测试笔)

恶意黑客

恐怖主义组织

情报流程

1.需求

2.规划和方向

3.集合

4.处理和清洗

5.分析和生产

6.传播

OSINT过程

1.确定您可以找到信息的来源

2. 收集数据——从源获取相关数据

3.数据处理——从数据中获取意义

4. 分析-连接来自不同来源的数据

5. 报告

情报周期中的Al使用

从人工过程部分或完全自动化

机器辅助分析是至关重要的，特别是在我们工作与现实世界的操作

适用于AI无人监督和训练模拟的数据收集和分析

ML在过程中的角色

“机器学习将自动执行这个功能，并通过基于AI对大量数据集的分析，找出哪些是可行的，哪些是无效的，从而迭代地训练收集和分析算法。”

数据发现和数据挖掘

从你知道的开始

• 定义输出—您想找到什么?

• 收集数据

• 优化条件并清理数据

挑战

• 数据量

• 数据的可靠性

• 检查数据需要人力、时间和资源

数据发现和数据挖掘

应用和自动化数据收集:

• 分类

  标签

    元数据

聚类

重复数据删除

关联规则

异常值检测

谷歌Dork智能搜索

使用先进的搜索技术来发现有趣的信息

这也可以在Bing, Duckduckgo和其他搜索引擎中找到

防御Dorking——保护你自己和你的组织。

了解更多信息的好资源:

https://exposingtheinvisible.org/gus/google-dorking /

数据分析系统-聚合

允许用户设置从关键术语和特定数据源到排除和地理围栏的集合的需求。

然后，该系统利用各种数据挖掘技术的组合为用户收集和筛选数据。

以内聚的方式呈现收集到的数据，允许用户交互和调查结果。

数据分析系统-提炼

使用第三方验证的数据来扩充数据，增强现有数据的价值，帮助验证收集的准确性和有效性。

人口统计数据添加了诸如婚姻状况、亲属、地址、法庭记录等信息。

地理数据添加位置信息，如纬度和经度、附近地点、城市边界等。

社交媒体和新闻数据增加了排名、影响力、关注者、影响力等。

文献分析与充实

作者信息

地理信息

图像识别和EXIF数据

情绪分析

与搜索条件的相关性和排名

越来越多的工具具有惊人的能力和潜力

Recon-ng：一个强大的python工具，可以自动化的OSINT活动，如数据收集

Maltego：搜索展现人和公司之间的关系

theHarvester：一个简单的工具，旨在捕捉存在于组织自有网络之外的公共数据

Shodan：一个专注于物联网的强大工具

Babel X：使用AI进行数据聚合和分析

Rsoe-edis：用于紧急情况和灾害事件报告的地理空间工具

Shodan：

物联网索引

找到网络摄像头，红绿灯，路由器，智能设备，冰箱，任何连接到互联网的东西

Maltego：

交互式数据挖掘，以丰富的可视化显示集合中不同数据之间的关系。

巴别街

“全球领先的基于AI的数据到知识的公司”

B2B SaaS公司

分享见解

rsoe-edis.org

监视、聚合、分析和通知

专注于紧急情况和灾害信息报告

OSINT工具的优势

数据聚合——将非结构化数据转化为可查询、可过滤的结构化数据。可分类、可消化的数据。

分析和充实——使用额外的元数据和第三方信息来增加数据，以帮助分析、验证、标签、分组和重复删除。

可视化-创建思维导图，可视化关系，地理视图，数据延时。

自动报警和报告持续的监控和自动化允许报警和报告。

案例

事件监控

找人

工作流

事件监控:超级碗XLIX

收集了超过10亿个与超级碗XLIX和凤凰城地区相关的帖子，包括4万个地理位置的帖子。

124000多人被过滤和分析。

其中48份已转交给必要的人员作进一步分析。

最终，在游戏中对Babel X的多次使用中，有三个特定的帖子被确定为对场地可能的威胁。每一个都被成功地审查和批准。

巴别街获得了国家观众中心颁发的金鹰奖(NCS4)

跟踪实验室

众包开源情报

TraceLabs.org

众包 OSINT寻找失踪人员的行动

资料会送交有关执法部门，以采取适当行动

在世界各地协助了300多个案例

搜索队

众包OSINT寻找失踪的人

Trace Labs旨在成为改善失踪人员位置和家庭团聚状况的催化剂。我们为破坏家庭的问题提供一个现代的、成本有效的、透明的解决方案。

从名字开始

• spokeo.com

• thatsthem.com

• beenverified.com

• fastpeoplesearch.com

• truepeoplesearch.com

• familytreenow.com

• people.yandex.ru

从一个用户名开始

反向用户名搜索

• Socialcatfish.com

• Usersearch.org

• Peekyou.com

用户名搜索

• Instantusername.com

• Namechk.com

• Whatsmyname.com

在你开始使用OSINT之前

OSINT调查人员常用的自我保护策略:

• 了解可以减少他们匿名性的问题

• 使用虚拟机

• 使用模拟器

• 创建一次性档案(电子邮件或社交媒体)

• 使用vpn

• 利用不同的web浏览器和插件

OSINT资源

OSINT框架：交互式图表-帮助你知道从哪里开始，做什么，以及使用什么工具。

WebBreacher.com -迈卡·霍夫曼的博客

Intertechniques.com - 迈克尔·巴泽尔

Osintcurio.us

免责声明

此信息仅供教育用途，不会用于个人或非法目的。

请尊重他人隐私，未经同意，不要做任何“令人毛骨悚然”的事情。

如果你折磨数据足够长时间，它会坦白一切。

~ R. Coase

情报的流程

OSINT概念和开源数据操作系统

OSINT工具

AI/ML和数据科学在OSINT中的应用

OSINT工具和用例

总结

OSINT完全基于公开的数据，比如开放网络的内容。

人工智能是扩大和改进OSINT的关键。特别是，它使人类分析人员能够及时和果断地收集、丰富、分析和传播信息。

人工交互和对过程的输入是至关重要的，人工智能不能完全替代人工智能。

上述资料原文PDF及机器翻译已上传知识星球

长按识别下面的二维码可加入星球

里面已有三千余篇资料可供下载

越早加入越便宜

续费五折优惠

机器翻译支持： 北京百分点科技集团股份有限公司

电话：400-6240-800 

邮箱：[email protected] 2022

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【PPT】在数据科学和人工智能中的应用：网络情报——OSINT