作用：不损失最终质量的情况下减少内存消耗和训练时间
关键思想：是使用较低的精度将模型的梯度和参数保持在memory中，即不是使用全精度 (例如float32)，而是使用半精度 (例如float16) 将张量保持在memory中。但是，当以较低的精度计算梯度时，某些值可能很小，以至于它们被视为零，这种现象称为 “overflow”。为了防止 “overflow溢出”，原始论文的作者提出了一种梯度缩放方法。
声明：本站所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
