分享一批优质开源库和科技前沿辅助工具

admin 2025年3月7日14:43:07评论54 views字数 1874阅读6分14秒阅读模式

part1

点击上方蓝字关注我们

将二进制空间安全设为"星标⭐️"

第一时间收到文章更新

第一个是网络安全类开源软件集合, 该集合星标12.8K, 包含网络安全方向多个优秀开源库,不用一个一个去找了。

地址: 

https://github.com/sbilly/awesome-security

拥有的内容包括:

  • 扫描/渗透测试

  • 监控/日志

  • 入侵检测系统/入侵防御系统/主机入侵检测系统/主机入侵防御系统

  • 蜜罐

  • 完整数据包捕获和取证

  • 嗅探器/VPN

  • 防火墙和反垃圾邮件。

  • 防病毒/反恶意软件等

第二个是DeepSeek实用集成工具汇总, 种类非常丰富:应用程序、AI Agent框架、RAG框架、即使通讯插件、浏览器插件、编程插件等。

地址: 

https://github.com/deepseek-ai/awesome-deepseek-integration/blob/main/README_cn.md

如图:

分享一批优质开源库和科技前沿辅助工具
分享一批优质开源库和科技前沿辅助工具

第三个是上周DeepSeek的开源周, 发布了一系列GPU性能优化的开源代码。

(1). FlashMLA

开源地址:https://github.com/deepseek-ai/FlashMLA

这个东西可以这么理解: 在 H800 SXM5 这款高性能计算芯片上,它的 内存数据传输速度(也就是数据在芯片和存储器之间的交换速度)可以达到 每秒 3000 GB(约 3TB),相当于每秒可以传输 数百部高清电影 的数据量。

而在 计算能力 方面,它的 最高算力 可以达到 每秒 580 万亿次浮点计算(TFLOPS),这表示它可以在极短的时间内进行大量复杂的数学运算,适合用于 人工智能、大数据分析、科学计算等高强度任务

此外,它使用的是 CUDA 12.8 版本,这是 NVIDIA 开发的一种专门用于 GPU 并行计算的软件工具,可以让开发者更高效地编写程序,充分发挥 GPU 的强大计算能力。

(2).DeepEP

开源地址: https://github.com/deepseek-ai/DeepEP

这个开源库干了这些事情:

  • 高速数据传输:DeepEP 让 GPU 之间的数据交换变得更快(高吞吐量、低延迟),这在 MoE 训练中很重要。

  • 支持低精度计算:它可以处理 FP8 这种低精度数据格式,提高计算效率。

  • 智能数据转发:DeepEP 可以根据不同硬件的带宽情况,优化数据在 GPU 内部(NVLink)和 GPU 之间(RDMA)的传输,避免速度瓶颈。

  • 支持大规模计算:它允许控制 GPU 内部的计算单元(SM),更好地分配资源。

  • 超低延迟:在推理(预测)阶段,DeepEP 通过特殊的 RDMA 技术(远程直接内存访问),大幅降低数据传输的等待时间,让 AI 响应更快。

  • 计算和通信同时进行:DeepEP 采用了一种 “钩子”机制,可以让计算和数据传输同时进行,而不会占用 GPU 的计算核心,提高整体效率。

剩下的几个都是针对特定领域的技术优化, 有兴趣的可以自行研究, 这也从侧面揭开了 DeepSeek性能如此优秀的根本原因:

(3).DeepGEMM

地址: https://github.com/deepseek-ai/DeepGEMM

(4).profile-data

地址: https://github.com/deepseek-ai/profile-data

(5). DualPipe

地址:https://github.com/deepseek-ai/DualPipe

(6). EPLB

地址: https://github.com/deepseek-ai/eplb

(7).3FS

地址: https://github.com/deepseek-ai/3FS

第四个, 就是这几天非常炸裂的manus AI ,官方地址: https://manus.im/usecases, 别看是个英文网站, 创始人其实是个中国人,总部在上海, 现在只有100人不到的员工。

manus AI的理念跟DeepSeek不太一样, DeepSeek主要提供思考过程, 决策建议, 而manus AI直接就是把事儿给你干完了, 出成品。有点AGI的影子在里面。

但manus AI的背后的技术可能只是各种技术的套壳, 没有像DeepSeek那样在硬件层做深入研究。manus AI的集成方式可能是背后有一批AI虚拟机代理分析用户指令, 然后利用像claude-sonnet这样的模型自动生成对应的代码, 比如它的自动分析表格功能, 呈现出来的现成表格可能就需要Python代码来进行生成。

这种利用各领域擅长的AI组合方式预测今年肯定会大量流行。

原文始发于微信公众号(二进制空间安全):分享一批优质开源库和科技前沿辅助工具

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年3月7日14:43:07
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   分享一批优质开源库和科技前沿辅助工具https://cn-sec.com/archives/3810255.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息