BF16格式数据
本文共 416 字，大约阅读时间需要 1 分钟。
BF16是一种相对较新的浮点数格式，又叫BFloat16或Brain Float16。
深度学习中一般不需要FP64，FP32这种高精度的浮点格式。虽然这两种浮点格式数据精度高，但也增加了存储成本和处理过程中的时间成本。如果有一种数据格式能解决FP64，FP32这两种数据格式的这两个缺点，同时又能满足一定的精度要求，那无疑会大大提高深度学习模型的推理速度和部署灵活性。这种数据格式就是BF16，使用BF16算法的预测精度与FP32相似，但不如FP32精确（谷歌曾说过，这是因为神经网络对指数的大小比尾数敏感得多）。对于大多数应用程序，尤其是计算机视觉和语音方面，这种折衷是可以接受的。
BF16的指数位比FP16多，跟FP32一样，不过小数位比较少。这样设计说明了设计者希望在16bits的空间中，通过降低精度（比FP16的精度还低）的方式，来获得更大的数值空间（Dynamic Range），三种浮点数据格式指标比较如下所示：
转载地址：http://carti.baihongyu.com/
你可能感兴趣的文章
OpenFeign学习(六)：OpenFign进行表单提交参数或传输文件
查看>>
Ribbon 学习(三)：RestTemplate 请求负载流程解析
查看>>
深入理解HashMap
查看>>
XML生成（三）：JDOM生成
查看>>
Ubuntu Could not open lock file /var/lib/dpkg/lock - open (13:Permission denied)
查看>>
collect2: ld returned 1 exit status
查看>>
C#入门
查看>>
C#中ColorDialog需点两次确定才会退出的问题
查看>>
数据库
查看>>
nginx反代 499 502 bad gateway 和timeout
查看>>
linux虚拟机安装tar.gz版jdk步骤详解
查看>>
k8s web终端连接工具
查看>>
手绘VS码绘（一）：静态图绘制(码绘使用P5.js)
查看>>
《达芬奇的人生密码》观后感
查看>>
基于“分形”编写的交互应用
查看>>
链睿和家乐福合作推出下一代零售业隐私保护技术
查看>>
Unifrax宣布新建SiFAB™生产线
查看>>
艾默生纪念谷轮™在空调和制冷领域的百年创新成就
查看>>
NEXO代币持有者获得20,428,359.89美元股息
查看>>
Piper Sandler为EverArc收购Perimeter Solutions提供咨询服务
查看>>