半精度浮動小数点数に関する思考実験

2016/08/03(水)半精度浮動小数点数に関する思考実験

半精度浮動小数点数というものがあります。よく使われている単精度(float, 32bit)、倍精度(double, 64bit)に対して、全長16bitと単精度の半分で浮動小数点数を表現するものです。IEEE754-2008でbinary16としてフォーマットが定められています。deep learningの隆盛とともに「精度が低くてもとにかく速く」計算するニーズが高まり、GPUでハードウェアサポートされるなど、最近注目を集めています(ような気がします)。

IEEE754-2008の半精度では、16bitを符号s(1bit)+指数部e(5bit)+仮数部m(10bit)に分割しています。指数部のオフセットは15で、従って正規化数は

x = (-1)^s × 1.m × 2^e-15

のように、非正規化数は

x = (-1)^s × 0.m × 2^-14

のように実数xと対応します。

ところで、URRという浮動小数点数の表現形式をご存知でしょうか。浜田穂積先生が80年代(IEEE754制定より前!)に提案された浮動小数点数の表現形式です。詳細は

を見ていただくとして、簡単に言えば、指数部と仮数部の区切りを可変にし、1に近い数(=指数部を表現するのに必要なbit数が少ない)ときには指数部を短くして仮数部を長くして精度を稼ぎ、非常に小さい数や非常に大きい数を表現するときには仮数部の長さを犠牲にして指数部に長いbitを割り当てる、というものです。このとき、何も考えずに指数部と仮数部を結合してしまうとその区切りが分からなくなってしまいますが、そこは指数部を表現するのに「bit列の末尾が分かるような自然数の表現方法」を用いることで解決します。例えば、Eliasのガンマ符号やデルタ符号といった符号化の方法がよく知られています。

さて、半精度浮動小数点数は、bit数が少ないこともあって表現できる数値の範囲が非常に狭く、簡単にアンダーフローやオーバーフローを起こしてしまいます。正の最大数は何と65504です。正の最小数は、精度を保っている正規化数で2^-14≃6.1×10^-5、非正規化数まで考えても2^-24≃5.96×10^-8にすぎません。

そこで、URR的な考え方を用いて16bit浮動小数点数を構成したらどうなるか考えてみました。URRは-infやNaNが無いなど、現代のIEEE754に慣れた我々には使いにくいところもあるので、指数部と仮数部の区切りを可変にするという思想はそのままで、適当にフォーマットを定めます。指数部は、Eliasのデルタ符号を用いることにします。デルタ符号は1,2,3,…の自然数しか表せないので、指数部とデルタ符号で表す数値を

デルタ符号	1	2	3	4	5	…	255	256	…	508	509	510	511
指数部	0	-1	1	-2	2	…	127	-128	…	-254	±0	±inf	NaN
デルタ符号の長さ	1	3	3	5	5	…	14	15	…	15	15	15	15

のように対応させることにしました。指数部の最後の3つを特殊な数に割り当てています。仮数部は、IEEE754に倣って先頭の1を格納しない「ケチ表現」にします。このフォーマットとIEEE754-2008のbinary16で、指数部と仮数部の長さの関係を表にしてみます。

	提案方式の仮数部長	IEEE754-2008の仮数部長
2^-254	1	-
⋮	⋮	⋮
2^-128	1	-
2^-127	2	-
⋮	⋮	⋮
2^-24	6	1
2^-23	6	2
2^-22	6	3
⋮	⋮	⋮
2^-16	6	9
2^-15	7	10
2^-14	7	11
⋮	⋮	⋮
2^-8	7	11
2^-7	8	11
⋮	⋮	⋮
2^-4	8	11
2^-3	11	11
2^-2	11	11
2^-1	13	11
2⁰	15	11
2¹	13	11
2²	11	11
2³	11	11
2⁴	8	11
⋮	⋮	⋮
2⁷	8	11
2⁸	7	11
⋮	⋮	⋮
2¹⁴	7	11
2¹⁵	7	11
2¹⁶	6	-
⋮	⋮	⋮
2¹²⁷	2	-
2¹²⁸	1	-
⋮	⋮	⋮
2²⁵³	1	-

これを見ると、1付近では仮数部が長くなり、1から離れると徐々に仮数部が短くなっていき、(精度は低いものの)小さな数から大きな数まで表現できていることが分かります。全長16bitなどという極端に厳しい場面でこそ、このようなフォーマットが生きると思うのですがいかがでしょうか。

もちろんハードウェアのサポートが無くソフトウェアエミュレーションでは速度は絶望的ですが、将来このような優れたフォーマットが気軽に使えるようになればいいなと思っています。FPGAとかで作って遊んだりできないかなあ。