资产管理平台架构思路

admin
admin
admin
140552
文章
117
评论
2023年12月11日14:46:05评论16 views字数 4020阅读13分24秒阅读模式


前言

基于ChatGPT问答，总结出的资产管理平台架构思路，分为功能介绍、数据库、核心功能、执行流程、总结。

资产管理平台架构思路

功能介绍

资产发现与监控：

  • 业务变更监控：

    • 实现对业务变更的监控，包括网站内容变更、页面结构调整等，及时更新资产信息。

  • 子域名监测：

    • 引入子域名监测机制，检测新添加的子域名，确保完整覆盖目标范围。

  • 端口服务监控：

    • 持续监控已知端口服务的状态，及时发现端口的开放或关闭变化。

  • 爬虫模块：

    • 主动发现 Web 资产，包括域名、子域名、页面结构等。

    • 抓取网页内容，包括 HTML、JavaScript、JSON、以及有效HTTP响应。

    • 探测页面中的链接，发现新的子域名、内部链接。

    • 处理动态生成的页面，支持 JavaScript 渲染。

    • 模拟用户行为，支持表单提交和页面交互。

    • 监控页面内容变更，业务变更。


  • 资产去重过滤与分类

    1. 去重机制：

      1. 避免重复记录相同资产信息。

    2. 分类与标记：

      1. 多维度的分类机制，如域名分类、业务分类、安全级别分类。

      2. 自动标记利用算法和规则自动对资产进行标记和分类。

      3. 允许手动标记和分类资产，提供灵活性和定制化。

    3. 关联性分析：

      1. 利用关联性分析技术，发现和分类相互关联的资产。

    4. 元数据标签：

      1. 为资产引入元数据标签，用于进一步分类和过滤。

  • 平台框架与插件化扩展：

      1. 模块化设计：

        1. 将整个平台划分为独立的模块，每个模块负责一个特定的功能，降低耦合度。

        2. 使用模块之间的清晰接口定义，以确保模块之间的交互可扩展和易于维护。

      2. 插件架构：

        1. 设计插件化架构，允许用户或开发者轻松添加新功能模块，扩展平台的功能。

        2. 提供良好的插件开发文档和示例，降低插件开发的门槛。

      3. 开放API：

        1. 提供开放API，使外部系统能够与平台进行集成。

        2. 通过 API 实现的功能应该与内部功能一样完整，确保对外部和内部的一致性。

  • 信息整合与可视化：

    1. 实时状态仪表板：

      1. 设计实时状态仪表板，展示Web资产的整体状态、业务变更情况等。

    2. 关联性可视化：

      1. 提供关联性可视化，展示不同资产之间的关系，帮助用户更全面地理解整体情况。

  • 自动化任务与定时执行：

    1. 智能定时任务调度：

      1. 引入智能调度算法，根据资产变化情况调整定时任务执行频率，提高效率。

    2. 自适应更新策略：

      1. 实现自适应更新策略，根据不同资产的变化频率调整更新的灵活性。

  • 资产快速定位：

    • 定位工具：

      • 提供定位工具，帮助用户快速定位和解决Web资产相关的问题。

    • 日志分析：

      • 引入日志分析功能，记录操作日志和系统状态，有助于问题追踪和审计。

  • 漏洞检测：

    1. 主动少探测：

      1. 避免对目标系统进行过于频繁和大量的扫描，以降低对业务和网络性能的影响和避免被防火墙识别到。

      2. 实施智能调度算法，根据目标系统的特性和负载情况，选择适当的时间进行扫描。

    2. 异常识别与监控：

      1. 引入异常识别机制，监控目标系统的正常行为。

      2. 制定基线行为模型，当系统行为偏离基线时，触发异常识别。

    3. 精准漏洞检测：

      1. 针对异常识别的结果，只对异常部分进行深入的漏洞检测。

      2. 集中注意力在异常行为附近，提高检测的精准性。

    4. 模糊测试和变异测试：

      1. 在漏洞检测中引入模糊测试和变异测试，对系统输入进行不规则的、异常的输入测试，发现潜在的漏洞。

      2. 通过变异测试模拟攻击者的行为，发现系统的弱点。

    5. 漏洞扫描引擎优化：

      1. 选择高效且精准的漏洞扫描引擎，具备自动化修复建议的功能。

      2. 定期更新漏洞库，确保漏洞检测的准确性和全面性。

    6. 基于业务逻辑的漏洞检测：

      1. 不仅仅依赖于底层的技术扫描，还基于业务逻辑进行漏洞检测。

      2. 关注业务逻辑中的潜在风险，如权限绕过、逻辑漏洞等。

    7. 漏洞报告的优化：

      1. 生成漏洞报告时，提供详细的上下文信息，包括漏洞的触发路径、系统环境等，标注漏洞的风险级别。

  • 定制与灵活性：

    1. 插件系统升级：

      1. 不断优化插件系统，支持用户更灵活地定制工具的功能，满足更多定制化需求。

    2. 脚本化支持：

      1. 提供脚本化支持，使用户能够通过脚本进行更细致的定制。

  • 文档与注释：

    1. 详细编写代码注释，以及系统使用和维护的文档。

    2. 提供开发者文档，能够迅速理解和扩展系统。

  • 日志与监控

    1. 实施全面的日志记录机制，记录系统运行时的关键信息。

    2. 集成监控工具，对系统进行实时监控，以便迅速发现和解决问题。



数据库

  1. 域名表（Domains Table）：

    • 保存域名、解析IP和开放的端口服务。

  2. 站点表（Sites Table）：

    • 保存域名、端口组合成的站点，以及与站点相关的信息，例如普通HTTP请求的响应信息。

  3. HTML内容表（HTML Content Table）：

    • 保存HTML、JavaScript、JSON以及其他有效内容。

  4. HTTP爬虫结果表（HTTP Crawler Results Table）：

    • 保存HTTP数据和Chrome动态渲染获取的数据，包括页面title、渲染后的HTML内容、页面截图等。

  5. HTTP待处理表（HTTP Pending Table）：

    • 保存待进行Chrome渲染的URL链接，以及相关信息，用于下一轮爬取。

  6. 漏洞检测去重表（Vulnerability Detection Parameters Deduplication Table）：

    用于记录漏洞检测的参数，防止重复提交相同的漏洞检测请求。包括字段如漏洞检测参数ID、域名、漏洞检测参数等。

  7. 漏洞检测结果表（Vulnerability Detection Results Table）：

    用于记录漏洞检测的结果信息，包括漏洞类型等。包括字段如漏洞检测结果ID、域名、漏洞类型等。


核心功能

资产管理平台

  • 域名接口API

  • 站点接口API

  • HTTP请求待处理API

  • 漏洞安全检测API


爬虫服务

对HTTP待处理表持续循环读取，深度爬取新的待处理资产，包括子域名、站点、HTTP请求。

漏洞检测服务

对HTTP爬虫结果表持续循环读取，持续检测漏洞风险。


执行流程

  1. 配置文件设置：

    1. 用户创建配置文件，其中包括：

    • 域名范围的设定，例如 *.example.com。

    • 数据库连接信息，包括账号、密码、数据库名称等。

    • 其他程序运行配置，如爬虫频率、漏洞扫描周期等

  2. 初始化：

    1. 使用配置文件中的数据库连接信息，在数据库中创建所需的数据表，包括：

    • 域名表，用于记录域名、解析IP等信息。

    • 站点表，记录域名和端口的组合成的站点信息。

    • HTTP爬虫结果表，保存HTTP请求响应信息。

    • HTML内容表，保存站点的HTTP响应的文本信息。

    • HTTP待处理表，保存待进行Chrome渲染的URL信息。

  3. DNS爆破：

    • 对配置文件设置的域名进行，进行DNS子域名爆破，获取子域名信息。

    • 将爆破到的存在的子域名添加到域名表。

  4. 端口扫描：

    • 读取域名表中未处理过的子域名信息。

    • 扫描开放端口，将端口开放信息保存到域名表的ports列。

  5. 读取站点：

    • 读取域名表中的子域名和端口信息。

    • 针对每个子域名和端口组合执行HTTP请求，获取站点信息，如HTTP请求响应包、 HTTP响应码。

    • 保存站点的响应体内容到HTML内容表。

  6. Chrome动态渲染：

    • 对站点表中未处理过的站点进行Chrome动态渲染，获取页面Title、渲染后的HTML、页面截图等信息，保存在站点表相应的列。

    • 在动态爬取中，会触发页面内动态资源，将页面内的动态资源，处理成HTTP请求格式，简易过滤去重后保存进HTTP待处理表。

    • 抽取页面内的URL,处理成HTTP请求格式，简易过滤去重去重后保存进HTTP待处理表。

    • 并将HTTP响应体内容到HTML内容表。

  7. 读取HTTP待处理表：

    • 读取HTTP待处理表中的HTTP请求数据，与HTTP爬虫结果表对比去重。

    • 不存在则判断是否为新的子域名，或者WEB站点,分别调用相关API，把新资产处理后放进对应的数据库，等待处理。

    • 进行分类，通过文件类型或者文件后缀，分类出只需要HTTP请求还是需要Chrome渲染。

    • Chrome渲染，保存相关数据获取页面Title、渲染后的HTML、页面截图等信息，保存在站点表相应的列。

    • 在动态爬取中，会触发页面内动态资源，将页面内的动态资源，处理成HTTP请求格式，简易过滤去重后保存进HTTP待处理表。

    • 抽取页面内的URL,处理成HTTP请求格式，简易过滤去重后保存进HTTP待处理表。

    • 并将HTTP请求响应和Chrome渲染的HTML结果和HTTP响应体内容到HTML内容表。

  8. 循环资产发现

对执行流程的4-7进行持续循环，直到子域名没有待处理、站点表没有待处理、HTTP待处理表没有待处理。

  1. 漏洞检测

    • 读取HTTP结果表，对HTTP请求参数名进行过滤去重，保存进漏洞检测去重表。

    • 发现没有检测过接口参数值进行漏洞检测。

    • 保存漏洞检测结果到漏洞检测结果表。


总结

优势：

  1. 全面的资产发现与监控： 平台涵盖了业务变更监控、子域名监测、端口服务监控等多方面的资产发现与监控功能，确保对目标范围的全面覆盖。

  2. 模块化设计与插件扩展： 平台采用模块化设计，支持插件化扩展，用户可以根据需要轻松添加新功能模块，增强平台的可扩展性和灵活性。

  3. 定时任务与自适应更新策略： 引入智能调度算法，自适应更新策略，提高了任务执行的效率，确保资产信息及时更新。

  4. 漏洞检测精准性： 通过异常识别机制，实现主动少探测和精准漏洞检测，避免对目标系统的过于频繁扫描，提高漏洞检测的准确性。

  5. 自动化任务与定时执行： 实现了智能定时任务调度和自适应更新策略，提高了平台的自动化程度，降低了用户的操作负担。

  6. 灵活的定制与开放API： 提供了插件系统升级和脚本化支持，用户能够通过脚本进行细致的定制。同时，平台开放API，支持与外部系统的集成。

劣势：

  1. 复杂性与学习曲线： 由于平台功能的全面性和模块化设计，使用者可能需要一定时间来熟悉和掌握系统的各个模块，存在一定的学习曲线。

  2. 性能优化挑战： 爬虫和漏洞检测等涉及大量数据和网络操作，可能面临性能优化的挑战，需要细致地进行优化，以确保系统的高效运行。

  3. 持续维护与更新： 由于平台包含多个模块和功能，需要持续的维护和更新，以适应新的需求和技术变化。

总体而言，该平台具备全面的资产管理功能，但在使用时需要权衡系统的复杂性和学习曲线，同时注重性能优化和安全性的设计。根据具体使用场景和需求，可以进一步调整和优化系统设计。


欢迎相关技术交流，微信: guimaizi

     

原文始发于微信公众号（鬼麦子）：资产管理平台架构思路

免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年12月11日14:46:05
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出)：
                   资产管理平台架构思路https://cn-sec.com/archives/2283560.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉.

发表评论

匿名网友 填写信息