个人认为，学习OSINT技术前，应该对OSINT及情报体系、情报分析工作本身进行充分了解，所以第一篇内容，可能看起来“废话”较多，更多为概念性的东西
#参考的互联网资源包括：维基百科、丁爸情报分析等
【说明】：
笔者自身也处于OSINT搜集技术的学习之中，本文只是阐述个人对于OSINT方向的部分理解，所以文章如有很多不足之处，虚心接受各位前辈的指正。
也期待有前来交流的师傅能共同学习，本文也只是做为一个很感兴趣的技术方向的学习记录，并不是想教别人什么，所以也恳请：不喜勿喷
[OSINT]开源情报搜集技术概念：
开源情报（OSINT）指所有公开可用的信息。
开源情报搜集技术，则描述通过利用公共可用资源来收集情报的行为。
在信息时代之前，国家安全、战略、战术、犯罪等情报分析都是专门的机构和人员进行的，普通民众很难有机会参与
随着全球信息化的发展，各种民间公司和普通民众也有机会参与到国家情报分析的行业中来，随着信息化的爆炸，更多概念的落地应用和产生，公开的数据量指数级上升，此时民间参与到情报分析行业已是必要的。
应用场景：
不同的组织，例如政府部门，非政府组织（NGO）组织和商业公司，在很大程度上依赖OSINT，而不是私有和机密信息。
OSINT来源与其他形式的情报有所区别，因为公众必须在不违反任何版权或隐私法的情况下合法地访问它们。
这种区别使得收集OSINT源的能力不仅限于安全服务。例如，企业可以通过利用这些资源来获取有关其竞争对手的情报而受益。
总之，要对你所能接触到的一切事物，保持相对高的敏感性，因为：信息不一定非要成为秘密才有价值。
同时，以我个人理解，从某些角度来讲，OSINT搜集能力落地的难度绝对不低于渗透测试，根据我以往从事的渗透测试工作的经验来讲，99%等于0%，比如前期的信息或资产搜集或者漏洞探测做了再多，也并不能体现结果，只有拿到目标权限或数据，才算有效成果。而OSINT搜集技术，能力落地（即通过你的能力达到有效成果以满足需求方）的门槛可能要更加的高。
OSINT类型
OSINT包括所有可公开访问的信息源（不局限于任何形式），可以在线或离线找到信息：
-
互联网：各类各领域的网站，论坛，博客，社交网站，视频共享网站（如YouTube.com），Wiki，注册域名的Whois记录，元数据（比如浏览页面时，并非直接显示在页面前端，而是以元素的形式隐藏在源码中，也为元数据）和数字文件，暗网资源，地理位置数据，IP地址，人员搜索引擎以及可以在网上找到的所有内容。 -
传统大众媒体（例如电视，广播，报纸，书籍，杂志）。 -
专业期刊，学术出版物，论文，会议论文集，会议纪要，公司简介，年度报告，公司新闻，员工简介和简历等 -
图像和视频，包括元数据。 -
地理空间信息（例如，地图和商业图像产品）
此部分并没有全部写，因为涉及太多角度，目前参考了一些文章，大多对于OSINT相对分类为如上所示。
美国情报体系分析：
美国情报体系概况：
美国情报体系，由17个组织组成，进行各类情报活动，以支持美国的外交政策和国家安全。
美国情报体系旗下的情报机构包括情报机构、军事情报组织和联邦行政机关内的民事情报与调查办公室。
美国情报体系由国家情报总监（内阁层级）的领导，直接由美国总统领导并对其汇报。
由第12333号行政命令决定的美国情报体系的六大目标：
-
搜集总统、国家安全委员会、国务卿、国防部长和其他行政部门官员履行职责时所需的资讯。 -
制作和传播情报。 -
搜集有关针对美国的情报、国际恐怖主义或并麻醉药品活动以及其他外国势力、组织、个人或其代理人针对美国的敌对活动信息并进行防范行动。 -
为支持美国在海外的外交政策目标并使美国政府作用不明显或不公开而策划并执行的特殊活动，并负责支持这些活动；但这些活动不得影响美国国内政治进程、舆论、政策及媒体。这些活动包括但不限于外交活动、征集和制作情报，以及有关的支持活动。 -
美国境内外的管理及协助活动必须获得授权。 -
其他美国总统可能不时提出的情报活动。
美国情报体系的机构成员：
提取于维基百科：
可见，美国情报体系，主要由如下组成：
-
独立机构（中央情报局CIA）； -
国防部分（NSA、DIA、NRO、NGA）； -
为国防部服务的情报元素（陆海空太、海军陆战队） -
其他部门和机构（国务院、国土安全部、司法部、能源部、财政部）
民间参与情报分析行业的必要性：
根据《华盛顿邮报》在2017年的一篇报道:
美国情报体系在10,000个地区拥有1,271个政府机构与1,931个私营公司。这些组织从事着反恐、国土安全及情报工作，雇佣超过854,000名持有绝密证件的雇员。
根据国家情报总监办公室在2008年发表的一份报告，私人承包商在美国情报体系占人力资源的29%；而占用情报人力预算的49%。仅仅NSA自己就跟超过250家公司签约进行情报工作合作，包括著名的诺斯罗普·格鲁门公司以及SAIC(总部设在圣迭戈的SAIC是美国著名的跨国联合体，它旗下包括西门子、通用动力、IMA、ITT技术公司、诺基亚和埃尔比特等最具实力的高技术公司。)以及加利福尼亚州帕洛阿尔托的帕兰提尔技术公司(Palantir Technologies)也是与美国情报部门广泛合作的专业情报分析公司。
上面数据可以直观看到，美国情报体系展开的工作中，有大量民间参与的影子。
而在中国，随时互联网普及与快速发展，海量的鲜活数据暴露于互联网中，也逐渐被情报分析工作所重视，例如，通过BOSS直聘查找，可看到国内很多公司，都在聘请专门的情报分析人员，辅助进行商业活动，比如通过利用这些资源来获取有关其竞争对手的情报而受益，同时，也有很多公司会参与到国家机构的相关情报分析活动中。
但是，对比中美的情报机构和人员情况后，发现的是，我们无论官方的情报机构还是民间的情报分析队伍，规模和民间渗透度都相差较多，都还有很长的路要走，才能赶上美国情报的步伐。
这一点在我的认知里认为，从个人角度出发，一方面情报分析工作的能力落地门槛较高（上面有说过，结合我自己往常渗透测试方向的经验来看），一方面是很多资源或信息库，较难以纯个人的手段获取，从而创造一些“实际有效”的价值并得到认可。
但是，“知己知彼，百战不殆”，情报分析无论各行各业，其作用都是非常重要的，比如本人从事的渗透测试行业，可能暂时技不如人接触不到太高的平台，但还是能感知到，网络安全工作和情报工作的交集其实很深。
哪些方面会有OSINT技术的需求：
这里引用一下《Open Source Intelligence Methods and Tools》中的内容，书的PDF版本可以联系后台私信我，私聊发送给有需要的师傅，然后直接本地翻译器看即可。
1.政府：
政府机构，特别是军事部门，被认为是OSINT来源的最大消费者。各国政府需要OSINT来源用于不同目的，例如国家安全，反恐，恐怖分子的网络跟踪，了解国内外公众对不同主题的看法，为决策者提供所需信息以影响其内部和外部政策以及利用电视等外国媒体来获取信息，如外部发生的不同事件。
2.国际组织：
联合国等国际组织使用OSINT来源来支持全球的维和行动。像国际红十字会这样的人道主义组织，在危机或灾难时期，使用OSINT的资源来协助他们的救援工作。他们使用OSINT情报，通过分析社交媒体网站和Internet消息传递应用程序来预测未来的恐怖行动，从而保护其供应链免受恐怖组织的袭击。
3.执法机构：
警察使用OSINT来源保护公民免受虐待，性暴力，身份盗窃和其他犯罪。这可以通过监视社交媒体渠道中有趣的关键字和图片来完成，以帮助防止犯罪升级。
4.商业公司：
信息就是力量，并且公司使用OSINT来源来调查新市场，监视竞争对手的活动，计划营销活动并预测可能影响其当前运营和未来增长的任何事物。
企业还将OSINT情报用于其他非财务目的，例如：
A.为防止数据泄漏，要知道机密信息的企业暴露和其网络的安全漏洞是造成未来网络威胁的原因。
B.通过分析组织内部和外部的OSINT来源，然后将这些信息与其他信息进行组合，以制定有效的网络风险管理策略，从而帮助他们保护财务利益，声誉和客户基础，从而制定威胁情报策略。
（目前国内很多公司这方面的业务和安全服务业务有交集，本人也从事过这部分工作）
5.渗透测试人员和黑帽黑客/犯罪组织：
OSINT被黑客和渗透测试人员广泛使用，以在线收集有关特定目标的情报。它也被认为是协助进行社会工程攻击的宝贵工具。任何渗透测试方法的第一阶段都是从侦察（换句话说就是OSINT）开始的。
6.隐私意识强的人：
这些是普通人，他们可能想检查局外人如何闯入他们的计算设备，以及ISP对它们的了解。他们还需要知道其在线暴露程度，以弥合任何安全漏洞并删除可能无意中发布的任何私人数据。OSINT是查看您的数字身份如何向外界显示的绝佳工具，可让您维护自己的隐私。个人还可以使用OSINT来防止身份盗用，例如，在有人冒充您的情况下。
7.恐怖组织：
恐怖分子使用OSINT来源计划攻击，在攻击目标之前收集有关目标的信息（例如，使用Google Maps等卫星图像调查目标位置时），通过分析社交媒体网站吸引更多战斗人员，获取偶然获得的军事信息，政府（例如如何制造炸弹），并使用不同的媒体渠道在全球范围内进行宣传。
那么不难看出，在上述的很多场景中，多次提到了：社交媒体、网站、图像等渠道来获取OSINT，那再次引用上文提到过的常见渠道，也就是OSINT的主要信息源类型：
互联网：各类各领域的网站，论坛，博客，社交网站，视频共享网站（如YouTube.com），Wiki，注册域名的Whois记录，元数据（比如浏览页面时，并非直接显示在页面前端，而是以元素的形式隐藏在源码中，也为元数据）和数字文件，暗网资源，地理位置数据，IP地址，人员搜索引擎以及可以在网上找到的所有内容。
传统大众媒体（例如电视，广播，报纸，书籍，杂志）。
专业期刊，学术出版物，论文，会议论文集，会议纪要，公司简介，年度报告，公司新闻，员工简介和简历等
图像和视频，包括元数据。（大多用来开展图情分析，比如网络上经常看到，通过一张照片判断你的实际位置的文章，就是此类方式）
地理空间信息（例如，地图和商业图像产品）
那么，开展针对于OSINT的信息搜集，都有哪些方式呢？
开展OSINT的信息搜集类型：
基本分为：被动搜集、半被动搜集、主动搜集。其实这部分工作对于我们从事渗透测试行业的人员极其熟悉，也更好理解：
被动搜集：
理论上所有OSINT搜集工作都应该采用的形式。可以理解为：与目标及目标资产没有直接的交互，仅通过可公开获得的资源收集有关目标的信息（比如通过维基百科等第三方信息展示平台，进行搜集）
半被动搜集：
轻度调查，这种类型的收集将有限的流量发送到目标服务器以获取有关它们的常规信息。通俗来说，你去他官网进行浏览，或者查看公开信息，你客户端与他网站服务器实际产生了有限的交互网络流量，对吧？这种，即属于半被动搜集了，一般属于典型的Internet流量。
主动搜集：
这部分很常见于渗透测试工作中，在这种类型中，直接与系统进行交互以收集有关它的情报。由于收集信息的人员/实体将使用先进的技术来收集有关目标IT基础结构的技术数据，例如探测开放端口与服务，扫描系统或应用层（Web）的漏洞，扫描服务器上存在的第三方组件、程序等，因此目标可以意识到你侦察的过程。
该流量如果看起来像可疑或恶意行为，则会在目标的入侵检测系统（IDS）或入侵防御系统（IPS）上留下痕迹。对目标进行社会工程攻击也被视为一种主动信息收集。
开展OSINT工作的难点：
庞大的数据量：
收集OSINT将产生大量的数据，必须对其进行分析以考虑其价值。当然，存在许多用于此目的的自动化工具，并且许多政府和巨型公司都开发了自己的一套人工智能工具和技术来过滤获取的数据。但是，海量数据仍然是OSINT收集器面临的挑战。
来源的可靠性：
请记住，OSINT来源（尤其是在情报环境中使用时）需要先由分类来源进行彻底验证，然后才能被信任。
人工：
如前所述，庞大的数据量被认为是OSINT收集的最大挑战。人们需要查看自动化工具的输出，以了解所收集的数据是否可靠可靠。他们还需要将其与一些分类数据（适用于某些军事和商业信息）进行比较，以确保其可靠性和相关性。这将有效地消耗时间和宝贵的人力资源。
常用OSINT搜集框架在线网站：
里面很多搜集工具和平台，需要自己的马甲账号，有些注册也可能比较麻烦，后面会筛选整理出一些，下面两者都提供了很多OSINT
Awesome-OSINT框架：
地址：https://github.com/jivoi/awesome-osintOSINTframework：
地址：https://osintframework.com/
开展OSINT搜集的主要方向和切入点：
目标类别：
针对个人或组织（也包括机构、企业、大型目标等），实际上可能存在很多交叉
入手点：
主要包括了我们从搜集目标的哪些信息开始入手：（这里不区分目标类别，也可能有很多点是存在交集的，这很正常）
● 用户名/姓名
● 电子邮箱
● 域名
● IP和MAC地址
● 图片/视频/文档
● 社交网络
● 即时通讯
● 人物关系
● 约会平台
● 电话号码
● 公共信息
● 工作信息
● 交通信息
● 地理位置信息
● 搜索引擎收录
● 论坛/博客/IRC
● 存档信息（互联网历史记录）
● 元数据
● 使用设备
● 恐怖主义
● 暗网
● 虚拟货币
● 漏洞或泄露
● 威胁情报
● 运营安全性
开展搜集的底层逻辑-搜集框架
将这些信息进行归纳分类，整理出一些基本的框架，也就是搜集的底层逻辑：
（但是我自己对这方面也在学习之中，可能有些不足的地方需要继续学习，并接受前辈们的指正）
针对于个人——塑造人物社会画像：
这里做渗透测试时，可能更多辅佐于社工钓鱼等工作展开，但在OSINT搜集工作中，对目标人物社会画像可以尽可能全面和细致，关注的点也有可能比往常更多。有些信息在渗透测试中并不是很必要去掌握或看起来无意义，但此时并不然。就如同最开始讲过的：信息不一定非要成为秘密才有价值。
其实逻辑本质上，就是以人物画像为基础而展开，如：
一、目标人物的基础属性：
指目标人物本身的客观信息，都可以留作记录，后续展开或结合其他入手点进行搜集，如：
1. 照片/视频：
本人照片，家庭人员照片，以及互联网上发布过的生活照片、取景地照片等，对其内容进行分析，或查看图片的元数据，检查图片是否原图，是否有修改痕迹，或直接用以图搜图工具进行关联检索；视频同理，拍摄地点及时间，元数据，是否有过修饰
2. 姓名/用户名：
本人姓名，直接利用真实名字进行搜索，注意搜索英文名字的各种变体。以及在各种平台可能用过的马甲信息，ID名等，搜索不同的社交媒体平台是否有相同或者相似的用户名
3. 性别：
本人客观性别：男女，或是否涉及主观性别（LGBT自由性别问题），如：加拿大关于性别问题可能说法较多，如果存在这也可能是一个入手点，比如根据他关于LGBT发表过的言论或照片，搜集或推测更多的情报信息
4. 国籍：
包括是否较强民族主义
5. 宗教信仰：
如基督教、伊斯兰教、犹太教、印度教、佛教或其他民间宗教，以及非附属宗教
6. 出生日期：
不同年代出生的人，其时代背景、生活经历、认知或阅历都有可能有较大区别
7. 教育经历/文化水平
8. 家庭状态：
是否结婚，夫妻关系是否和睦，是否生子，是否有来自家庭的压力
9. 兴趣爱好：
包括喜欢关注于哪些领域的信息？当然此部分可能很多属于后面的行为分类
10. 地址及联系信息：
包括手机号、电子邮箱、地址信息等。
手机号可以从该号码归属地开始，比如使用维基百科的世界电话号码表，也可以使用专门的电话查询工具或者电话黄页等工具；
对于电子邮箱，可根据邮箱地址，还可搜索该邮箱名称，看看有无相同名称的其他邮箱等；
对于地址信息，包括居住地址，办公地址等，不少人员搜索和电话搜索工具都包含有地址搜索功能，一些房屋买卖网站也可以用于地址检索
11. 社会经历：
包括目标人物的工作经历、生平事迹等
12. 出行信息：
包括都去过哪些地方出差/留学/旅游/生活等，以及是否能掌握其出行时所使用的交通工具信息，是否能掌握对应航班状态等
13. 家庭人员信息：
家庭包括哪些父辈、子辈、兄弟姐妹、夫妻、祖辈等信息
14. 工作信息：
组织信息，工作地点，薪资待遇等
15. 个人名下资产信息：
比如银行卡信息，根据卡号查询银行卡归属地，以及通过一些手段获取到开户网点、开户行地址及该行联系电话等
以及名下都有哪些房、车、公司等，这些资产都通过什么方式、在哪里购买
二、目标人物的网络账号：
根据相关人物的社交习惯，喜欢在一些社交平台中放入自己的照片，自己的信息，目标人物的网络账号是为涉事活动的影响力的支撑，他们通常都会在公开的平台中发布涉事内容：
主要包括的社交平台与即时通讯软件：
1. Twitter
2. Facebook
3. Linkedin
4. Youtube
5. Reddit
6. Instagram
7. Skype
8. snapchat
9. Kik
10. YikYak
11. others
关注的主要方向：
社交账号的用户名、注册时间、简介、头像、发帖时间、发帖规律、关注者、被关注者、留言、点赞、使用设备、发帖地址、发帖内容、加入的群等各种信息。
三、目标人物的网络行为：
基于掌握的人物基础属性和网络账号，来寻找：
其在社交平台或论坛、网站上发布、转发的内容（涉事文章、言论等），以及其他网络上的活动为主：
-
比如，发布过的帖子：保存帖子内容，然后分析该内容，以及是原创还是转发，分析发帖用户及其社交网络，也可以借助一些工具分析两个或者多个账号的共同关注人。 -
如果存在涉事，查看都关注或转发或发表了哪些涉事文章，是否为涉事参与集资等 -
比如，是否持有虚拟货币以及是否能掌握交易信息...... -
比如，是否在互联网中存在个人网站、博客等（一个网站或者网页除了直接看网页或者网站的介绍及其内容，还可以分析网站的注册备案信息，了解网站的注册人、注册电话、注册邮箱、注册地址等信息，还可查询网站的IP、服务器等信息；另外还可查询这些网页的历史信息，包括已经删除的信息。） -
比如，是否在互联网中发布过个人简历、文档、论文等
四、目标人物的组织信息：
基于就职/服务的组织/机构/商业公司，通过对背后服务对象的情报搜集，分析该组织的属性如何，是否涉事等，主要包括：
1. 组织的基本信息：
比如，目标人物就职于某个商业公司，可以搜集该商业公司的：
-
商业登记信息（可以通过公司搜索工具，不同地区的商业公司研究平台等搜集他的商业登记信息等） -
经营范围/业务涉及领域 -
公司与其他组织合作信息，是否包含涉事组织 -
公司开设部门、职位信息 -
互联网中有关该公司的评论信息 -
公司专利信息 -
公司招投标信息 -
公司财务信息，如财报 -
公司会议纪要信息 -
也可以根据目标人物所加入的组织，通过找寻专业背景调查公司，进行背调
2. 组织的人员信息：
公司人员属性，是否存在涉事人员，是否发布/转发过涉事内容
3. 组织的对外信息：
官方账号
是否存在涉事言论
4. 资金和网络资产供应链信息
五、目标人物的社交关系：
-
密切互动的好友 -
密切涉事言论涉及到的其他人物（常见于论坛和评论区） -
资金和网络资产供应链 -
组织或参与的活动 -
约会活动 /*未完待续
本篇主要记录了OSINT的基本概念及分类，和基本的搜集框架，并没有附加搜集手法中涉及的工具或平台地址，或使用方式，整体内容较为基础而且偏概念，因为本人也是学习之中，虽然很早就对这个方向感兴趣，但是无奈接触的机会不多，毕竟本人主业是渗透测试方向，而且之前做过的工作主要是针对于企业角度的OSINT，对个人展开的经验仍然较少，随着后面的学习，希望可以发质量更高的笔记出来。*/
感谢观看
原文始发于微信公众号（阿原茶庄）：【开源情报搜集-OSINT】学习记录：第一篇
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论