AMD收购Taalas：将AI模型权重直接固化进芯片
结论前置 / TL;DR
AMD宣布收购加拿大初创公司Taalas，该公司专研将大语言模型权重直接硬编码至专用推理芯片中。该技术可实现超高速推理（如Llama 3.1-8B达16,000 tokens/秒/用户），但芯片仅支持单一模型。报道称谷歌亦在为Gemini探索类似路径。
收购对象与技术原理
AMD已正式收购加拿大初创企业Taalas。该公司核心技术是将AI模型的权重参数直接以物理方式（如定制电路结构）固化到专用推理芯片中，而非依赖软件加载或内存读取。
性能与局限性
该设计显著提升推理速度——其演示芯片在运行Llama 3.1-8B模型时，单用户吞吐量超过16,000 tokens/秒。但代价是芯片功能不可更改：一旦制造完成，即永久绑定于特定模型，无法适配其他模型或更新权重。
行业动向
据《The Decoder》报道，谷歌正为Gemini系列模型开发类似硬件固化方案，表明头部厂商正探索AI推理极致加速的新范式。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →