AI初创公司d-Matrix开发了一种新的3D内存架构，称为3DIMC，他们声称这可能会改变处理人工智能工作负载的游戏规则。
运行经过训练的神经网络的过程，称为推理，构成了主要公司服务器的计算负载的大部分。在这里，d-Matrix的工程师识别出一个关键的硬件瓶颈：虽然HBM内存在训练AI模型方面无可争议地是冠军，但在日常使用中却不太理想，耗电且造成带宽限制。
d-Matrix的解决方案是对芯片组装方式的彻底重新设计。他们的技术被称为数字内存计算（DIMC），采用3D堆叠的方法。专用计算芯片被放置在LPDDR5内存芯片的顶部，通过中介连接。这使得计算可以直接在内存阵列内部进行，极大地减少了数据移动、延迟和功耗。
第一款测试芯片，名为Pavehawk，已经在公司的实验室中运行。但d-Matrix正在展望未来，并宣布了其下一代架构，代号为Raptor。该公司承诺Raptor将充分发挥该技术的潜力：推理速度提高十倍，同时与传统HBM相比，功耗降低90%。
从经济角度来看，一个可行的HBM替代品正好在此时出现。市场目前由三家巨头主导：SK海力士、三星和美光，这自然使产品价格居高不下。如果d-Matrix的3DIMC或类似的专用内存在AI行业得到广泛采用，高性能HBM确实可能变得更加容易为主流用户和游戏领域所接受。
主要原因是需求的简单转变。如果最大的客户转向这些新的、更高效的推理解决方案，主要的HBM制造商将被迫寻找新的市场来利用他们的生产能力。这可能导致供应过剩，从而导致HBM价格显著下降。最终，现在被视为顶级AI加速器和专业GPU专用的昂贵组件，可能最终会变得对高端游戏显卡更加实惠。