NVIDIA让AI写显卡内核级优化:三倍性能、还会找漏洞忽悠人类

倚天百科 百科资讯 1

9月29日消息,随着AI技术的提升,在大部分编程任务中已经比程序员写的又快又好,剩下要攻坚的就是一些高难度的内核级代码,NVIDIA已经让AI来写CUDA优化代码了。

NVIDIA的研究团队日前发了个报告,介绍了他们用AI Agent重写了Kimi Delta Attention(简称KDA)GPU内核的过程,KDA是Kimi的大模型正在使用的核心机制之一,而这种底层高难度代码往往需要资深工程师及芯片架构师反复调优才能做到一定的性能优化。

现在可以用AI来直接写这种GPU内核级代码了,而且比人类写的还要好——NVIDIA用AI Agent实现了2.96倍的性能,内核也已经开源。

这个3倍性能还不是极限,是全部任务的平均值,如果说极限性能,部分场景下比这个还要高,这就要说到AI的忽悠能力了,人类设定了目标,AI去执行的时候也会用巧,这次就给它找到了机会作弊。

从这个报告来看,Agent会直接把测试数据的统计规律写进代码中,结果轻松跑出3.74倍的性能优化,甚至在保留32个token的情况下做到极限5.16倍的性能优化,只不过这些提升只能在测试中实现,遇到真实情况就会出错或者没啥用。

最终的2.96倍性能优化就是在排除了AI用这些取巧、忽悠的数据之后才得到的,并且是可以验证的,不然人类就被AI忽悠成功了。