Main Content

量子化

実際値 "V" の量子化 Q は、ビットの重み付き総和で表されます。一般勾配とバイアス エンコード スキームのコンテキストでは、符号なし固定小数点量の近似実際値 V~ は以下から取得します。

V~=S·[i=0ws1bi2i]+B,

符号付き固定小数点量の近似実際値は以下から取得します。

V~=S·[bws12ws1+i=0ws2bi2i]+B,

ここで、

  • bi は 2 進数で、i=0,1,...,ws1 に対して bi=1,0 です。

  • ws はビット単位のワード サイズで、ws = 1, 2, 3,..., 128 です。

  • S は、S=F2E によって与えられます。2 進小数点はワードと隣接している必要はないので、スケーリングは制限されません。F は勾配調整係数で、[1.0, 2.0) の範囲の値です。

bi"ビット乗算器"2i"重み" と呼ばれます。

固定小数点形式

8 ビットの符号付きおよび符号なし固定小数点値の形式を以下の図に示します。

これらの数値が符号付きデータ型か符合なしデータ型かの情報は、ワード内で明示的にエンコードされていないため、調べただけではわかりません。

MSB = 0 であるため、2 進数 0011.0101 は、符号なしと 2 の補数の表現に対して同じ値を生成します。B = 0 を設定し、適切な重み、ビット乗算器、およびスケーリングを使用すると、値は次のようになります。

V~=(F2E)Q=2E[i=0ws1bi2i]=24(0×27+0×26+1×25+1×24+0×23+1×22+0×21+1×20)=3.3125.

逆に、MSB = 1 であるため、2 進数 1011.0101 は、符号なしと 2 の補数の表現に対して異なる値を生成します。

B = 0 を設定し、適切な重み、ビット乗算器、およびスケーリングを使用すると、符号なしの値は次のようになります。

V~=(F2E)Q=2E[i=0ws1bi2i]=24(1×27+0×26+1×25+1×24+0×23+1×22+0×21+1×20)=11.3125,

ただし、2 の補数の値は次のようになります。

V~=(F2E)Q=2E[bws12ws1+i=0ws2bi2i]=24(1×27+0×26+1×25+1×24+0×23+1×22+0×21+1×20)=4.6875.

参考

|