总第613篇 | 2025年第010篇本文介绍了OR算法+ML模型混合推理能力建设思路及业务背景,此场景相比常规模型推理更具特殊性和复杂性,在工程实现上面临多维挑战,因此本文分别从性能、稳定性和扩展性...
vLLM 环境安装
vLLM 框架的并发性能确实要比 ollama 更高,但安装使用也更复杂。对于并发要求不高的场景使用 ollama 也够用了,并且 ollama 部署、升级都比较方便。虽然 ollama 很好,但 v...
Aliyun2025 题解:easy-cuda-rev PTX汇编+cuda加速
1题目描述2提取PTX汇编根据题目描述,题目考察PTX汇编,首先使用工具提取程序中的PTX cuobjdump -ptx .easy_cuda > test.txt提取结果:Fatbin elf...
浅析CUDA逆向与PTX汇编
嗨嗨嗨👋表哥有话说又跟大家见面喽! 不知道大家有没有忘记往期知识呀?再回顾一下吧! 浅析CUDA逆向与PTX汇编from DAS 12月 月赛 黑客不许哭 && aliyunctf 2...
KTransformers高性能LLM推理优化框架
清华大学MADSys团队联合趋境科技(Approaching.AI)给出了KTransformers这个全新的开源解决方案。不需要A100/H100多卡集群,单张RTX4090也能跑满血版DeepSe...
Linux 系统安装 nvidia 驱动
nvidia 驱动安装完成后,测试 nvidia-smi 工具是否能使用,可以作为nvidia 驱动是否安装成功的标准:在安装显卡驱动前要先查看显卡型号:$ lspci| grep -inv确定显卡型...
网上关于DeepSeek的说法,哪些是错误的?
1stDeepSeek成功绕过了NVIDIA CUDA?错误!这是个流传很广的说法,意指DeepSeek通过绕过CUDA,彻底摆脱了NVIDIA的依赖。听起来确实很提气,但这个言论的依据是DeepSe...
NVIDIA Container Toolkit 执行代码攻击漏洞
点击上方蓝字关注我们吧~英伟达(NVIDIA)发布了一项安全更新,以解决其NVIDIA容器工具包和NVIDIA GPU操作符中的一个关键漏洞,该漏洞可能允许攻击者执行任意代码,提升权限,并获得对主机文...
UbuntuServer24.04上使用NVIDIA GeForce RTX 4060Ti部署并训练DeepSeek R1大模型
用户想要在Ubuntu Server 24.04系统上,使用NVIDIA GeForce RTX 4060 Ti显卡本地部署DeepSeek R1大模型进行训练。我需要一步步帮他梳理可能的步骤,...
DeepSeek到底强在哪?
今年春节基本就两个主题,一个是DeepSeek、另一个是《哪吒》,每当互联网某个东西爆火后,各种营销号就开启了大明白模式,管它技术懂不懂先写几篇“冲突文”蹭上流量再说,以讹传讹越传越多....大年初四...
【原创】Ubuntu Server 18.04上,使用一张4060Ti显卡本地部署DeepSeek V3大模型训练
在Ubuntu Server 18.04上,使用一张4060Ti显卡本地部署DeepSeek V3大模型训练。首先,我需要理清楚步骤,确保每个环节都正确。不过,用户提到的DeepSeek V3可能是指...
DeepSeek 本地部署
DeepSeek 春节前后火了一段时间,原本想本地部署,试试用来做代码审计或者流量分析,一直忙于拜年和相亲没时间搞,假期最后一天想做一下,发现已经有人做了一些工具。懒得做的,直接拿来用。今天就水一篇文...