GenAI的内存解决方案 第一部分：能力的变化
GenAI 应用需要高速、高带宽且低延迟的内存，以便实时处理海量数据。在需要实时决策和预测的推理环节，数据的快速访问就显得尤为关键。
所需能力：
具有传统接口的动态随机存取存储器（DRAM）在带宽和延迟方面存在局限，因此像高带宽内存（HBM）这类利用硅通孔（TSV）堆叠 DRAM 的技术，就成为满足这些性能需求的关键解决方案。与内存设计相关的挑战与应对办法，以及内存技术的新兴趋势，正塑造着高性能计算的未来与竞争格局。
未来，像3D-IC和（或）CoWoS等封装技术的进步，将在智能手机、PC 等不同领域得到应用。智能手机受空间和成本限制，人们会尝试多种办法，在不增加成本与空间占用的前提下，降低延迟、减少能耗。
目前仍不清楚到 2030 年哪些类型的GenAI模型和应用会流行，以及具体数量是多少。因此，支持架构层面的进步并构建生态系统，以便能够应对任何变化，将是至关重要的。
GenAI存储解决方案第二部分：HBM的竞争态势
内存设计的挑战与解决方案以及内存技术的最新趋势正在塑造高性能计算的未来及其竞争格局。
竞争态势：
1.Samsung落后
Samsung在高带宽内存（HBM）方面落后，原因是多方面的低效，例如，在推进先进测试与封装环节行动保守，过于关注成本，却未能很好地应对客户在散热和功耗方面更具挑战性的需求。
2.SK Hynix继续领先
SK Hynix已采取重要措施来满足NVIDIA对功率和热量的限制要求。这包括内存单元设计、堆叠阶段的后端处理，并在基础芯片上添加逻辑电路（IVC，内部电压降压转换器）。SK Hynix 灵活的企业文化使其能够承担风险并取得预期的结果。
3.Micron奋起直追
Micron直到 2025 年才推出高带宽内存（HBM），这是因为此前它一直支持一种名为 3D Cube 的类似高带宽内存技术。不过，美光此次直接进军 HBM3e 领域。与SK类似，Micron在 HBM 中采用 1b DRAM 存储单元，积极采用经 SK Hynix验证的键合设备，并且主动在基础芯片上添加逻辑电路（IVC）来降低内部电压。
4.Samsung迎头追赶
Samsung可能会缓慢复苏，这期间会留下竞争空间，让对手有机可乘。Samsung计划在 2025 年第一季度末对 HBM3e 进行改进，效仿同行，在基础芯片中增加更多逻辑电路，以芯片尺寸为代价来控制功耗和散热。如果成功，Samsung的HBM出货量估计将从保守的80亿-90亿吉比特增长到2025年的110亿-120亿吉比特。
5.中国的HBM
中国计划到2025年实现HBM3的国产化。从GPU制造到HBM DRAM单元、基础芯片和OSAT（外包半导体组装测试），中国都能实现国内自主供应。然而，预计从2026年起，挑战将加剧，因为美国针对先进设备的管制，很可能使下一代制程工艺在保持合理良率的前提下，难以兼顾速度、散热与功耗。
GenAI的存储解决方案 第三部分：中国制造
预计中国在存储市场对于买家和供应商的影响力都将增强。这种影响力的程度，将取决于GenAI所塑造的新需求环境、技术变革，以及中美之间的相关政策。
“中国制造” 的存储产品规模有多大？
1.国产DRAM
预计在2024年中国DRAM制造商CXMT将占全球产能的13%、出货量的6%和收入的3.7%。到2025年，其产能有望增长至与美国第三大 DRAM 制造商Micron相近的水平。相较于产能，生产和收入较低，原因在于技术滞后、良品率低以及定价因素。不过，预计这一差距将会缩小。
2.每片晶圆的比特生产量减少42%
预计2024年，中国半导体制造商CXMT每片晶圆生产的比特数量将比竞争对手少42%。到2025年，这一差距可能会缩小至32%。然而，CXMT需要成功实施HKMG技术，以改善功耗和速度。尽管LPDDR4的良率约为80%，但公司战略产品DDR5的2025年良率尚未超过50%。
3.新机遇与美国监管
CXMT借助中国本土市场，打入了对低功耗制程有需求的移动市场。随着AI在电动汽车领域的扩展，中国可能迎来新的机遇。由于美国设备监管，中国正努力通过 3D 技术等变革性手段，或实现关键零部件与材料的国产化，来缩小差距。然而，设备国产化预计在未来 1 – 2 年内逐步推进，这将是一项极具挑战性的任务。