有人说,我做一款AI芯片,只要原生支持PyTorch就好了呀,用户直接用PyTorch跑模型,根本接触不到CUDA呀。
没错,一般的用户只要在PyTorch层面做应用,但是总是有新的模型架构出来,这些架构都需要做特定的性能优化才能在一个芯片上得到较高的性能,这时候就涉及到算子开发了。
比如说一开始LLM在GPU上的性能不好,后来社区针对Nvidia GPU做了flash attention等的优化才把LLM的性能提升到了比较可观的程度。
CUDA已经被各种开源AI框…。
上一篇 : 中国外交部及有关使领馆正迅速组织撤离在以、伊的中国公民,目前当地情况如何?
下一篇 : 巴基斯坦援助伊朗防空,大家怎么看?
.NET 应该读“刀NET”还是“点NET”?...
知乎里面有哪些高质量的完结言情古言***?...
真的有这种又苗条身材又爆炸的么?...
单依纯版《李白》「我本是辅助,今晚来打野」,为何能成为年轻人情绪共振的出口?...