据动察 Beating 监测，DeepSeek 以 MIT 许可证开源 TileKernels，将内部训练和推理实际使用的 GPU 底层计算代码公开。GPU 内核（kernel）是直接在显卡上运行的计算程序，决定模型训练和推理的速度上限。TileKernels 全部用 Python 编写，依赖 GPU 内核专用语言 TileLang 自动完成底层优化，不需要手写 CUDA C++。DeepSeek 称多数内核已接近硬件性能极限。 代码中出现两个全新架构组件：Engram 和 Manifold HyperConnection（mHC）。两者均未出现在 DeepSeek-V3、R1 等任何已发表论文中。从代码结构看，Engram 是一种融合了 RMSNorm 的门控机制，包含完整的前向/反向传播与梯度归约，属于模型主干中的关键层；mHC 包含 Sinkhorn 归一化，处理层间的混合拆分与连接，可能是比普通残差连接更复杂的信息流动机制。两者均被封装为可训练层，且代码明确适配 SM100（Blackwell）架构，高度指向 DeepSeek 尚未发布的新一代模型。 库还覆盖 MoE（混合专家）路由与门控、多种低精度量化（FP8、FP4 等）、批量转置等常规环节。代码可通过 pip install tile-kernels 安装，运行需要 H100/H200 或 Blackwell 系列 GPU。
