SONY NNC:各レイヤーの色分け

参考リンク：SONY NNC　各レイヤーの色分け

SONY NNC Components(IO, LOSS)

[IO]

Input：データ入力。

[Loss]　損失関数：これが機械学習効果の評価軸となるので、大事。出力層になっている。

SquaredEror：二乗誤差

HuberLoss ：Huber損失。真値の周辺は二乗誤差で評価し、それから離れると二乗の代わりに直線で評価する。こうすると、真値から離れたところの評価値が大きくなりすぎず、真値周辺の値をより評価することができる。

AbsoluteError：絶対誤差。真値と測定値の差。

EpsilonInsentiveLoss：イプシロン(ε)許容損失。サポートベクターマシン(SVM)で使う。

BinaryCrossEntropy：二値交差エントロピー法。

SigmoidCrossEntropy：シグモイド交差エントロピー法。ニューラルネットワーク途中の活性化関数はシグモイド関数を使い、最後はソフトマックス関数で確率分布にした後、交差エントロピー法を損失関数として評価する。

CategoricalCrossEntropy：多クラス交差エントロピー法。

SoftmaxCrossEntropy：ソフトマック交差エントロピー法。

KLMultinominal：K-L（カルバック・ライブラー）多項式

参考ホームページ
・レイヤーリファレンス（sony nnc）

・機械学習で抑えておくべき損失関数（回帰編）

・カルバック・ライブラー情報量

フラッカーズの前輪グリスアップ

丸石フラッカーズの前輪ハブをグリスアップした。右側のダイナモ回転子が入っているほうはベアリングを出せずに、隙間からグリススプレーをしただけで終わった。

Sony NNC Components

[IO]

Input

[Loss]　

SquaredEror:

HuberLoss:

AbsoluteError

EpsilonInsentiveLoss

BinaryCrossEntropy：

SigmoidCrossEntropy：

CategoricalCrossEntropy：

SoftmaxCrossEntropy：

KLMultinominal

[Parameter]

Parameter

WorkingMemory

[Basic]

Affine

Convolution

DepthwiseConvolution

Deconvolution

DepthwiseDeconvolution

Embed

[Pooling]

MaxPooling

AveragePooling

GlobalAveragePooling

SumPooling

Unpooling

[Activation]

Tanh:

Sigmoid:

Abs:

ReLU:

CReLU:

LeakyReLU:

PReLU:

ELU:

CELU:

SELU:

Swish:

Softmax:

[LoopControl]

RepeatStart:

RepeatEnd:

RecurrentInput:

RecurrentOutput:

Delay:

[Quantize]

FixedPointQuantize:

Pow2Quantize:

BinaryConnectAffine:

BinaryConnectConvolution:

BinaryWeightAffine:

BinaryWeightConvolution:

BinaryTanh:

BinarySigmoid:

[Unit]

Unit:

Argument:

LSTM:

[Spectral]

FFT:

IFFT:

[Math]

Sum:

Mean:

Prod:

Max:

Min:

Log:

Exp:

Sign:

BatchMatmul:

Round:

Ceil:

Floor:

[Trigonometric]

Sin:

Cos:

Tan:

Sinh:

Cosh:

ASin:

ACos:

ATan:

ASinh:

ACosh:

ATanh:

[Arithmetic(Scalar)]

AddScalar:

MulScalar:

RSubScalar:

RDivScalar:

PowScalar:

RPowScalar:

MaximumScalar:

MinimumScalar:

[Arithmetic(2 Input)]

Add2:

Sub2:

Mul2:

Div2:

Pow2:

Maximum2:

Minimum2:

[Logical]

LogicalAnd:

LogicalOr:

LogicalXor:

Equal:

NotEqual:

GreaterEqual:

Greater:

LessEqual:

Less:

LogicalAndScalar:

LogicalOrScalar:

LogicalXorScalar:

EqualScalar:

NotEqualScalar:

GreaterEqualScalar:

GreaterScalar:

LessEqualScalar:

LessScalar:

LogicalNot:

[Validation]

BinaryError:

TopNError:

[Others]

BatchNormalization:

Dropout:

Concatenate:

Reshape:

Broadcast:

BroadcastTo:

Pad:

Flip:

Shift:

Transpose:

Slice:

Stack:

MatrixDiag:

MatrixDiagPart:

ClipGradByValue:

ClipGradByNorm:

TopKData:

TopKGrad:

Sort:

Prune:

Interpolate:

NmsDetection2d:

VATNoise:

Unlink:

Identity:

Comment:

[Others(Pre Process)]

OneHot:

RandomCrop:

RandomFlip:

RandomShift:

MeanSubtraction:

ImageArugmentation:

[Setting]

StructureSearch