前言
基于ChatGPT问答，总结出的资产管理平台架构思路，分为功能介绍、数据库、核心功能、执行流程、总结。
功能介绍
资产发现与监控：
-
业务变更监控：
-
实现对业务变更的监控，包括网站内容变更、页面结构调整等，及时更新资产信息。
-
子域名监测：
-
引入子域名监测机制，检测新添加的子域名，确保完整覆盖目标范围。
-
端口服务监控：
-
持续监控已知端口服务的状态，及时发现端口的开放或关闭变化。
-
爬虫模块：
-
主动发现 Web 资产，包括域名、子域名、页面结构等。
-
抓取网页内容，包括 HTML、JavaScript、JSON、以及有效HTTP响应。
-
探测页面中的链接，发现新的子域名、内部链接。
-
处理动态生成的页面，支持 JavaScript 渲染。
-
模拟用户行为，支持表单提交和页面交互。
-
监控页面内容变更，业务变更。
-
资产去重过滤与分类
-
去重机制：
-
避免重复记录相同资产信息。
-
分类与标记：
-
多维度的分类机制，如域名分类、业务分类、安全级别分类。
-
自动标记利用算法和规则自动对资产进行标记和分类。
-
允许手动标记和分类资产，提供灵活性和定制化。
-
关联性分析：
-
利用关联性分析技术，发现和分类相互关联的资产。
-
元数据标签：
-
为资产引入元数据标签，用于进一步分类和过滤。
-
平台框架与插件化扩展：
-
模块化设计：
-
将整个平台划分为独立的模块，每个模块负责一个特定的功能，降低耦合度。
-
使用模块之间的清晰接口定义，以确保模块之间的交互可扩展和易于维护。
-
插件架构：
-
设计插件化架构，允许用户或开发者轻松添加新功能模块，扩展平台的功能。
-
提供良好的插件开发文档和示例，降低插件开发的门槛。
-
开放API：
-
提供开放API，使外部系统能够与平台进行集成。
-
通过 API 实现的功能应该与内部功能一样完整，确保对外部和内部的一致性。
-
信息整合与可视化：
-
实时状态仪表板：
-
设计实时状态仪表板，展示Web资产的整体状态、业务变更情况等。
-
关联性可视化：
-
提供关联性可视化，展示不同资产之间的关系，帮助用户更全面地理解整体情况。
-
自动化任务与定时执行：
-
智能定时任务调度：
-
引入智能调度算法，根据资产变化情况调整定时任务执行频率，提高效率。
-
自适应更新策略：
-
实现自适应更新策略，根据不同资产的变化频率调整更新的灵活性。
-
资产快速定位：
-
定位工具：
-
提供定位工具，帮助用户快速定位和解决Web资产相关的问题。
-
日志分析：
-
引入日志分析功能，记录操作日志和系统状态，有助于问题追踪和审计。
-
漏洞检测：
-
主动少探测：
-
避免对目标系统进行过于频繁和大量的扫描，以降低对业务和网络性能的影响和避免被防火墙识别到。
-
实施智能调度算法，根据目标系统的特性和负载情况，选择适当的时间进行扫描。
-
异常识别与监控：
-
引入异常识别机制，监控目标系统的正常行为。
-
制定基线行为模型，当系统行为偏离基线时，触发异常识别。
-
精准漏洞检测：
-
针对异常识别的结果，只对异常部分进行深入的漏洞检测。
-
集中注意力在异常行为附近，提高检测的精准性。
-
模糊测试和变异测试：
-
在漏洞检测中引入模糊测试和变异测试，对系统输入进行不规则的、异常的输入测试，发现潜在的漏洞。
-
通过变异测试模拟攻击者的行为，发现系统的弱点。
-
漏洞扫描引擎优化：
-
选择高效且精准的漏洞扫描引擎，具备自动化修复建议的功能。
-
定期更新漏洞库，确保漏洞检测的准确性和全面性。
-
基于业务逻辑的漏洞检测：
-
不仅仅依赖于底层的技术扫描，还基于业务逻辑进行漏洞检测。
-
关注业务逻辑中的潜在风险，如权限绕过、逻辑漏洞等。
-
漏洞报告的优化：
-
生成漏洞报告时，提供详细的上下文信息，包括漏洞的触发路径、系统环境等，标注漏洞的风险级别。
-
定制与灵活性：
-
插件系统升级：
-
不断优化插件系统，支持用户更灵活地定制工具的功能，满足更多定制化需求。
-
脚本化支持：
-
提供脚本化支持，使用户能够通过脚本进行更细致的定制。
-
文档与注释：
-
详细编写代码注释，以及系统使用和维护的文档。
-
提供开发者文档，能够迅速理解和扩展系统。
-
日志与监控
-
实施全面的日志记录机制，记录系统运行时的关键信息。
-
集成监控工具，对系统进行实时监控，以便迅速发现和解决问题。
数据库
-
域名表（Domains Table）：
-
保存域名、解析IP和开放的端口服务。
-
站点表（Sites Table）：
-
保存域名、端口组合成的站点，以及与站点相关的信息，例如普通HTTP请求的响应信息。
-
HTML内容表（HTML Content Table）：
-
保存HTML、JavaScript、JSON以及其他有效内容。
-
HTTP爬虫结果表（HTTP Crawler Results Table）：
-
保存HTTP数据和Chrome动态渲染获取的数据，包括页面title、渲染后的HTML内容、页面截图等。
-
HTTP待处理表（HTTP Pending Table）：
-
保存待进行Chrome渲染的URL链接，以及相关信息，用于下一轮爬取。
-
漏洞检测去重表（Vulnerability Detection Parameters Deduplication Table）：
用于记录漏洞检测的参数，防止重复提交相同的漏洞检测请求。包括字段如漏洞检测参数ID、域名、漏洞检测参数等。
-
漏洞检测结果表（Vulnerability Detection Results Table）：
用于记录漏洞检测的结果信息，包括漏洞类型等。包括字段如漏洞检测结果ID、域名、漏洞类型等。
核心功能
资产管理平台
-
域名接口API
-
站点接口API
-
HTTP请求待处理API
-
漏洞安全检测API
爬虫服务
对HTTP待处理表持续循环读取，深度爬取新的待处理资产，包括子域名、站点、HTTP请求。
漏洞检测服务
对HTTP爬虫结果表持续循环读取，持续检测漏洞风险。
执行流程
-
配置文件设置：
-
用户创建配置文件，其中包括：
-
域名范围的设定，例如
*.example.com。 -
数据库连接信息，包括账号、密码、数据库名称等。
-
其他程序运行配置，如爬虫频率、漏洞扫描周期等
-
初始化：
-
使用配置文件中的数据库连接信息，在数据库中创建所需的数据表，包括：
-
域名表，用于记录域名、解析IP等信息。
-
站点表，记录域名和端口的组合成的站点信息。
-
HTTP爬虫结果表，保存HTTP请求响应信息。
-
HTML内容表，保存站点的HTTP响应的文本信息。
-
HTTP待处理表，保存待进行Chrome渲染的URL信息。
-
DNS爆破：
-
对配置文件设置的域名进行，进行DNS子域名爆破，获取子域名信息。
-
将爆破到的存在的子域名添加到域名表。
-
端口扫描：
-
读取域名表中未处理过的子域名信息。
-
扫描开放端口，将端口开放信息保存到域名表的ports列。
-
读取站点：
-
读取域名表中的子域名和端口信息。
-
针对每个子域名和端口组合执行HTTP请求，获取站点信息，如HTTP请求响应包、 HTTP响应码。
-
保存站点的响应体内容到HTML内容表。
-
Chrome动态渲染：
-
对站点表中未处理过的站点进行Chrome动态渲染，获取页面Title、渲染后的HTML、页面截图等信息，保存在站点表相应的列。
-
在动态爬取中，会触发页面内动态资源，将页面内的动态资源，处理成HTTP请求格式，简易过滤去重后保存进HTTP待处理表。
-
抽取页面内的URL,处理成HTTP请求格式，简易过滤去重去重后保存进HTTP待处理表。
-
并将HTTP响应体内容到HTML内容表。
-
读取HTTP待处理表：
-
读取HTTP待处理表中的HTTP请求数据，与HTTP爬虫结果表对比去重。
-
不存在则判断是否为新的子域名，或者WEB站点,分别调用相关API，把新资产处理后放进对应的数据库，等待处理。
-
进行分类，通过文件类型或者文件后缀，分类出只需要HTTP请求还是需要Chrome渲染。
-
Chrome渲染，保存相关数据获取页面Title、渲染后的HTML、页面截图等信息，保存在站点表相应的列。
-
在动态爬取中，会触发页面内动态资源，将页面内的动态资源，处理成HTTP请求格式，简易过滤去重后保存进HTTP待处理表。
-
抽取页面内的URL,处理成HTTP请求格式，简易过滤去重后保存进HTTP待处理表。
-
并将HTTP请求响应和Chrome渲染的HTML结果和HTTP响应体内容到HTML内容表。
-
循环资产发现
对执行流程的4-7进行持续循环，直到子域名没有待处理、站点表没有待处理、HTTP待处理表没有待处理。
-
漏洞检测
-
读取HTTP结果表，对HTTP请求参数名进行过滤去重，保存进漏洞检测去重表。
-
发现没有检测过接口参数值进行漏洞检测。
-
保存漏洞检测结果到漏洞检测结果表。
总结
优势：
-
全面的资产发现与监控： 平台涵盖了业务变更监控、子域名监测、端口服务监控等多方面的资产发现与监控功能，确保对目标范围的全面覆盖。
-
模块化设计与插件扩展： 平台采用模块化设计，支持插件化扩展，用户可以根据需要轻松添加新功能模块，增强平台的可扩展性和灵活性。
-
定时任务与自适应更新策略： 引入智能调度算法，自适应更新策略，提高了任务执行的效率，确保资产信息及时更新。
-
漏洞检测精准性： 通过异常识别机制，实现主动少探测和精准漏洞检测，避免对目标系统的过于频繁扫描，提高漏洞检测的准确性。
-
自动化任务与定时执行： 实现了智能定时任务调度和自适应更新策略，提高了平台的自动化程度，降低了用户的操作负担。
-
灵活的定制与开放API： 提供了插件系统升级和脚本化支持，用户能够通过脚本进行细致的定制。同时，平台开放API，支持与外部系统的集成。
劣势：
-
复杂性与学习曲线： 由于平台功能的全面性和模块化设计，使用者可能需要一定时间来熟悉和掌握系统的各个模块，存在一定的学习曲线。
-
性能优化挑战： 爬虫和漏洞检测等涉及大量数据和网络操作，可能面临性能优化的挑战，需要细致地进行优化，以确保系统的高效运行。
-
持续维护与更新： 由于平台包含多个模块和功能，需要持续的维护和更新，以适应新的需求和技术变化。
总体而言，该平台具备全面的资产管理功能，但在使用时需要权衡系统的复杂性和学习曲线，同时注重性能优化和安全性的设计。根据具体使用场景和需求，可以进一步调整和优化系统设计。
欢迎相关技术交流，微信: guimaizi
原文始发于微信公众号（鬼麦子）：资产管理平台架构思路
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论