Užrašai

Užrašai, ReLU


ReLU - rectified linear unit (angl.)

ReLU
ReLU grafikas:
ReLU grafikas

Python:

def ReLU( x ):
    return max( 0.0, x )

C:

#include <stdio.h>
#include <stdlib.h>

double ReLU(double x)
{
    if(x>0)
    {
        return x;
    }
    else
    {
        return 0.0;
    }
}

int main()
{
    double x, rezultatas;

    x = 0.0;

    rezultatas = ReLU(x);

    printf("ReLU x: %f rezultatas: %f\n", x, rezultatas);

    return 0;
}

ReLU x: -2.000000 rezultatas: 0.000000
ReLU x: -1.000000 rezultatas: 0.000000
ReLU x: -0.500000 rezultatas: 0.000000
ReLU x: 0.000000 rezultatas: 0.000000
ReLU x: 0.500000 rezultatas: 0.500000
ReLU x: 1.000000 rezultatas: 1.000000
ReLU x: 2.000000 rezultatas: 2.000000


LeakyReLU


ReLU
LReLU grafikas
Python:

def LeakyReLU( x ):
    if x>0:
        return x
    else:
        return x * 0.01



PReLU (Parametric ReLU)


ReLU
PReLU grafikai
Python:

def PReLU(x, a):
    if x > 0:
        return x
    else:
        return x * a




Nuorodos:

Rectifier (neural networks), Wiki (angl.)