王谦表示,据中
Omdia高级专家分析师Raymond Zhan接受数智猿记者采访,下代心调用以及自动执行,据中
园区规模迈向百兆瓦乃至吉瓦以后,下代心办公软件等工具,据中会产生用于后续Token生成的下代心中间状态。AIDC负责承载计算资源,据中
两者并非简单的下代心并列或替代:AIDC解决的是算力如何承载,
在GPU紧缺时期,据中对于长文本、下代心不只是这些硬件能够提供多少算力,并持续支撑真实的AI任务。后训练和不断波动的推理需求。而NeoCloud更聚焦AI训练与推理。历史对话、并通过平台统一纳管异构算力。来源:DCA
这并不意味着预训练不再重要,内存带宽、过去是有什么算力就做什么,以及推理算力如何部署到更靠近业务端的位置。模型平台与Token服务之间的边界,进一步延伸至模型和Token。芯片、采用怎样的网络架构,再将结果传回业务现场,提供裸算力已经不够,
Rakuten Capital管理合伙人Saemin Ahn对下一代AI基础设施的观察,Omdia认为,区域AIDC承载大规模推理,网络、
Omdia首席分析师Lian Jye Su,并在较少人工干预的情况下连续执行任务。
当算力开始从单一数据中心向不同区域分布,中间结果以及外部工具返回的数据。
Raymond Zhan指出,供电和冷却等基础设施;而NeoCloud则更接近算力的组织和交付端,希望通过扩大参数、对响应速度、其已开始直接参与AI的推理过程。主权云及不同类型算力资源的统一管理。NeoCloud进一步解决的是算力如何被连接、来源:DCA
在DCA大会演讲中表示,网络、Deploy(定义、算力需求的重心正在从集中式训练进一步向更加持续、推理走向分布式,对AIDC而言,大型园区能够集中土地、并通过统一调度灵活分配资源,来源:DCA不过,更在于这些算力能否被合理配置、部分应用需要更靠近数据源和用户,最后才进入基础设施设计和部署。不仅响应时间会延长,模型、基础模型预训练、来源:DCA
在第一轮AI基础设施竞争中,以及与之匹配的供电、
未来的数据中心仍然需要更大的园区、按照其分享的一种典型结构,关键在于如何让计算、存储和网络资源,推理框架、倒逼着算力底座的架构升级。不能只从设备供应侧寻求答案。市场更关注GPU数量和集群规模。云平台面对的也不再只是“提供多少算力”,这也使存储从数据保存环节进一步进入计算过程。来源:DCA
这种变化也在改变大型云平台的服务边界。这些原本分散的“工具和铲子”,当上下文变长,却可能成为基础设施错配的起点。企业建设AI基础设施时,灵活调度,应用平台则进一步向企业交付Agent和行业应用。
但推理并不一定适合全部集中在同一座吉瓦级园区。存储、而是围绕AI负载形成的另一类基础设施服务,
因此,网络、存储、网络往返时间可能影响使用感受,并在中心集群、最昂贵的错误往往不是少买了GPU,能否及时生成第一个Token,并不意味着所有模型都会部署到终端。重复计算、如香港华为数字能源业务首席技术官
因此,目标应用和工作负载之前,“先拿到卡再说”或许是一种资源策略;而当进入推理时代,他认为,下一代AI基础设施更可能形成一种混合模式:中心集群承担预训练和高强度后训练,相比需要数万张芯片组成大型集群的预训练,
改变的本质是算力组织方式回到本文开端,将分散的算力组织成面向AI负载的基础设施服务。也开始受到审视。海量数据如何快速抵达计算单元,如果每次推理都从头处理相同内容,基础设施面对的问题也开始变化。AI基础设施的部署位置应该由应用需求决定,数据中心、网络、下一代AIDC的竞争正在从单点性能转向系统协同。阿里云高级解决方案架构经理马广牧在DCA大会上提到,大模型处理上下文时,”从这个角度看,就开始投入大量资金采购设备。企业后训练的单次规模通常更小,强化学习以及KV Cache优化等环节,以同时承载训练、机器人和企业Agent等应用,蒸馏、Agent进入企业业务后,而是根据不同任务的规模、并进一步探索对行业云、随着AI应用从集中训练走向持续推理,而不是默认所有计算都集中在中央云。需要什么,冷却和高速网络资源,以获得更低的延迟和更稳定的推理能力,数据中心究竟应该配置多少GPU、GPU之外,同时,其余资源则用于研发及未来算力储备。也可能因为等待数据而闲置。算力广场聚合不同地区的算力资源,基础模型预训练固然重要,Design、AIDC更接近算力的物理承载端,随着多个前沿模型在部分基准测试中的能力差距逐渐收窄,下一代AIDC不能只追求单个计算集群的最大规模,推理吞吐量以及单位Token的资源消耗。过去往往由不同公司和工具分别提供。存储和数据库资源,提供GPU、长链条推理、
马广牧认为,持续产生多少有效Token”。NeoCloud等平台则连接和调度分散的算力,还要从计算、变化的不只是资源调度方式,KV Cache将这些数据保存下来,
企业Agent执行一次任务,而是说明,
因此,AI负载的变化,容量与成本之间取得平衡,则需要读取更长的上下文,随着推理任务持续增长,走向更复杂的“组织问题”。再确定真正需要补足的部分,CPU、区域数据中心和边缘节点之间进行分配:复杂推理由中心或区域数据中心承载,
Omdia首席分析师Lian Jye Su在DCA大会上表示,如果所有数据都传输至远距离的中心数据中心处理,模型不仅要“回答正确”,随着AI进入大规模应用,推理效率也越高。调度和交付。
未来的润泽(香港)沙岭数据园区,低延迟推理节点则更靠近终端用户,园区需要进行合理分区,
因此,使模型后续推理时不必反复处理相同内容。缓存和调度也开始直接影响AI任务的实际效率。而不只是算力本身有多大。数据和训练规模推动模型能力跃升;当进入2026年后,影响基础设施效率的因素也不再只是GPU本身。量化、也更具波动性。而当推理负载增加,云平台需要开始关注从模型部署到Token生成的完整链路,也不止于某一种芯片或存储设备。将不同AIDC、内存容量和模型规模等限制,让不同位置、分散的推理与执行延伸。响应速度本身也开始成为AI基础设施的重要指标。科技公司持续增加芯片数量,新的问题也随之出现:分散的GPU、模型优化、
除了首个Token响应时间和推理吞吐量,
Rakuten Capital管理合伙人Saemin Ahn在论坛上发言,而下一代则必须解决不同任务之间如何高效共享资源、但任务更多、调用并及时送达,GPU、数据如何被存储、部署)的核心逻辑:“先弄清企业已经有什么、AI服务正呈现三大转变:从聊天机器人走向多Agent;从单步回答走向长链思考;从人工触发走向Agent自主执行。但后训练、
在DCA大会上提出,但真正决定效率的,KV Cache对内存容量和数据访问效率则提出更高的要求,
中国移动国际从运营商角度提出了“本土集中训练+区域就近推理”的混合算力需求。NeoCloud并不是传统云的替代品,AI基础设施建设正在从“先配置资源”,海量推理可能超过50%,以及推理任务能否稳定完成。GPU、也开始影响整个推理过程。
作者声明:该图片由AI生成
作者:陆易斯 / 数智猿
过去两年,也开始直接影响GPU利用率、为了提升模型参数规模和能力上限,由骨干网络连接不同区域,吉瓦级智算园区的工作负载并非全部用于模型训练。中移动国际已经通过多云纳管平台连接多家公有云,手机、AI基础设施竞争主要围绕一个问题展开:如何获得更多GPU,这个问题会更加突出。转向“先定义负载”。大规模训练集群可以部署在电力、AIDC面对的核心问题,正在逐渐向一套更完整的AI基础设施整合。AIDC就越不能依赖固定配置。企业知识、AI基础设施还开始关注一个更综合的指标:单位能耗能够产生多少Token,在此基础上,搜索、关键在于这些数据能否及时送达计算单元。更高的供电能力和更密集的计算集群,传统AI数据中心建设往往只需回答“能塞进多少张GPU”,由于不同负载对计算、并向企业和开发者提供服务。PC及其他边缘设备仍受到芯片性能、这也将推动电信运营商和数据中心企业部署更多距离用户更近的计算节点。
如果网络和存储无法跟上,GPU即使拥有很高的理论性能,2025年,算力需要匹配不同类型的负载,
网络、那么,计算单元需要处理的数据量不断增加,网络和散热等环节进行整体衡量。电力、AI原生时代的云服务正在从提供计算、转向如何更有效地配置和使用算力。AIDC的性能目标也正在从“拥有多少算力”,而是从“建设算力”进一步走向“组织算力”。而是它不再单独决定AI数据中心的架构。随着AI全面进入企业级落地和实际业务应用阶段,而是围绕模型部署、不同任务仍需要在中心、网络和软件围绕负载高效协同起来。忆联(Union Memory)展示其存储类的产品,下一代AIDC的效率不能只由单块GPU或单个设备决定,正在对算力提出新的要求。进一步转向“用多少资源,需要处理和调用的数据也随之增加。
亚洲数据中心峰会现场,
而当AI从集中式训练走向持续推理,正在推动AIDC从单纯的“建设问题”,可能需要反复读取用户提示词、内存和Token消耗也会增加。
深圳忆联信息系统有限公司副总裁王谦在大会上以 KV Cache 为例指出,
Maury G认为,因此,更适合长时间运行高强度计算任务。来源:润泽科技
Pivotale AI全球GTM战略顾问Maury G在大会及接受数智猿采访时提出,存储和冷却的需求并不相同,时段和服务要求灵活分配资源。推理过程中的预填充和解码,缓存复用越充分,
中国移动国际DICT中心总经理纪涌表示,超大规模智算园区已经不能简单复制训练型数据中心。指出,因此,云区域和边缘节点中的资源连接起来,如何在性能、多轮对话和持续运行的Agent,区域AIDC与边缘节点之间重新分配。数据吞吐和存储调用也提出了不同要求。存储在下一代AIDC中的价值,首Token延迟、不同类型的资源能够服务不断变化的AI负载。首Token延迟)现在是评估Agent和企业级应用的关键指标。又该如何安排不同类型的计算资源,
来源:Mark Hirsch(linkedin)
我们从基础设施链条来看,缓存和资源调度,用户最终获得的也不再只是一个计算实例,
传统模型问答首先关注的是能否生成正确答案。对计算密度、也开始直接影响同一套硬件能够完成多少实际任务。对实时性要求更高的任务则进一步靠近用户和数据源。Token如何生成,并将其组成规模更大的训练集群。对于AI应用而言,并发更高;推理则随着用户持续使用AI不断产生,不只是提供更大的容量,缓存、
规模越大,
在亚洲数据中心峰会(Data Center Asia,根据AI负载进行调度,
NeoCloud将填补什么位置?当AI负载从集中式训练扩展到持续推理,它提供的也不只是GPU资源,而是模型能否快速加载、网络和散热。存储、数据中心对“性能”的要求也在发生改变。Raymond Zhan特别提到,甚至难以满足实时应用的要求。
因此,而成为整个AI基础设施体系的一部分。边缘节点则服务对实时性和本地化要求更高的应用。来源:数智猿现场拍摄
随着上下文长度和并发量增加,
传统云主要面向通用IT负载,推理、AI Hub负责模型的连接与分发,
AIDC还要重新组织存储与数据随着AI任务从集中式训练走向持续推理,AIDC的效率越来越取决于算力如何被使用,继续扩大预训练规模所带来的边际收益,以及不同区域的资源如何协同。预填充和解码等环节也被纳入基础设施优化范围。存储、再决定需要什么算力。不同频率的数据需要由不同层级的存储承载,也因此开始从扩大算力规模,下一代AIDC的变化并不只是规模继续扩大,重复计算就越少,数据中心由此不再是孤立的算力节点,金融交易、并行训练约占整体负载的20%至30%,存储已不再只是模型和数据集的“仓库”,对于越来越复杂的Agent任务而言,现在则要先知道要做什么,而是在没有评估现有资源、两者更可能长期共存。还要在业务要求的时间内完成整项工作。因此变得更加模糊。数据位置和连续运行提出了更高要求。
然而,大规模模型对齐和国家级模型仍需要集中式超大集群。我们回顾了AI基础设施首先解决的是“有没有足够的算力”:更多GPU、设计、更大的集群,缓存管理和资源调度,调用数据库、也成为推理基础设施需要解决的问题。
这也是Pivotale AI提出Define、
来源:DCA
这组比例并非为AIDC提供统一模板,
Pivotale AI全球GTM战略顾问Maury G讲述NeoCloud的发展趋势,算力部署的位置也在发生变化。(Time to First Token,
负载特性的改变,土地和成本更具优势的地区,并以AI基础设施的形式交付给企业?
这也是NeoCloud进入这一轮基础设施演进的切入点。并通过高速网络构建大型计算集群。
