NVIDIA Tensor 核心技术最先运用在 NVIDIA Volta™ 架构上,不只大幅加速人工智能,也将训练时间从数周降至数小时,同时显著提升推论速度。NVIDIA Ampere 架构以这些创新技术为基础,采用全新精度标准 Tensor Float 32 (TF32) 与 64 位浮点 (FP64),以加速并简化人工智能应用,同时将 Tensor 核心效能拓展至高效能运算。
TF32 与 FP32 运作方式相同,无需更改任何程序代码即可将人工智能速度提升至最高 20 倍。透过 NVIDIA 自动混合精度,研究人员只要多加几行程序代码,就可以利用自动混合精度和 FP16 将效能提升 2 倍。而 NVIDIA Ampere 架构 Tensor 核心 GPU 中的 Tensor 核心透过支持 bfloat16、INT8 与 INT4,能为人工智能训练和推论创造极致多元的加速器。A100 和 A30 GPU 不只将强大的 Tensor 核心导入高效能运算,也支持完整矩阵运算、通过 IEEE 认证,并使用 FP64 精度。