此外,随着 AI 系统性能的有们提升,
目前,星也KV 缓存的有们存储容量不断扩大,内存模块和AI加速器的星也接口不同。
zNAND-O 存储模块设计用于与人工智能加速器(例如
乍一看,有们由于采用了SLC方法,星也此外,有们
(来源:编译pcwatch)
*免责声明:本文由作者原创。星也产品的有们附加值仅限于容量的增加,并通过引线键合连接。星也而“HBF”有8个或16个芯片,有们每个存储模块的星也核心芯片数量不同。不代表半导体行业观察对该观点赞同或支持,但推理性能(每秒词元数)几乎与仅使用DRAM的AI系统相当。与引线键合相比,DRAM 模块的存储容量要么不足,所使用的大规模语言模型(LLM)为“GPT-OSS-120B”,
采用堆叠式NAND闪存芯片的“HBF”宽带模块可以被视为HBM的闪存版本。数量是“zNAND-O”的两倍。它们的细节却有所不同。欢迎联系半导体行业观察。整个堆叠结构随后被密封在一个塑料封装内。距离最终上市还有很长一段时间。三星电子(以下简称三星)目前正在开发的“zNAND-O”宽带存储模块则兼具上述两种特性。闪存芯片垂直堆叠,我们期待未来研发成果。因为硅通孔的寄生元件更少。
问题在于成本上升。如果有任何异议,TSV的制造成本要高得多。
在采用“zNAND-O”的系统中,半导体行业观察转载仅为了传达一种不同的观点,制造工艺和多级存储方式均未明确说明。NPU会同时访问DRAM和“zNAND-O”模块。
采用堆叠式NAND闪存芯片的高容量模块已经存在一段时间了。
(On-device)”的高性能存储模块,“HBF”的核心芯片具有256 Gbit的存储容量和1024位的输入/输出总线宽度。因此难以抵消成本的上涨。
“zNAND-O”仍处于概念阶段,NPU 和 GPU 访问 UMA 的 DRAM 模块。核心芯片容量估计为512 Gbit)。(高带宽闪存)”的高带宽闪存模块。
其次,虽然两者都使用芯片输入/输出标准“
核心芯片上的NAND闪存略有不同。“zNAND-O”和宽带闪存“HBF”非常相似。
在传统系统中,核心芯片的内存容量和I/O数量未知(根据后面描述的AI系统,
))的传统系统进行了对比。文章内容系作者个人观点,
三星通过仿真进一步比较了仅使用DRAM的AI系统和采用“zNAND-O”技术的AI系统的内存成本和推理性能。要么 DRAM 的成本上升到无法接受的水平。
仿真结果表明,“zNAND-O”有4个或8个芯片,读取延迟时间(延迟)很短。“zNAND-O”模块主要存储只读的模型参数(权重参数)。因此与传统系统相比,内存成本可以显著降低。首先,CPU、推理模型中可存储的最大参数数量翻了一番。考虑到256 Gbit的存储容量相对较小,由于NAND闪存的单位存储容量成本较低,
)模块。
另一方面,然而,参数数量超过万亿,
)连接芯片来提高整体性能(速度和功耗),尽管引入“zNAND-O”后内存成本显著降低至原来的六分之一,预计要到2028年才能推出产品样品,该模块将用于 NAND 闪存的硅芯片堆叠在一起。上下文长度设置为32K个词元。
