Relu激活函数
Relu函数为f(x)= max(0,x)
1.sigmoid与tanh有饱和区，Relu函数在x>0时导数一直是1，因为梯度的连乘表达式包括各层激活函数的导数以及各层的权重，reLU解决了激活函数的导数问题，所以有助于缓解梯度消失，也能在一定程度上解决梯度爆炸，从而加快训练速度。
2.无论是正向传播还是反向传播，计算量显著小于sigmoid和tanh。
from keras.models import Sequential from keras.layers import Dense, Flatten, Dropout from keras.layers.convolutional import Conv2D, MaxPooling2D from keras.utils.np_utils import to_categorical
import numpy as np
seed = 7 np.random.seed(seed) # 创建模型序列 model = Sequential() #第一层卷积网络，使用96个卷积核，大小为11x11步长为4， 要求输入的图片为227x227， 3个通道，不加边，激活函数使用relu model.add(Conv2D(96, (11, 11), strides=(1, 1), input_shape=(28, 28, 1), padding='same', activation='relu', kernel_initializer='uniform')) # 池化层 model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2))) # 第二层加边使用256个5x5的卷积核，加边，激活函数为relu model.add(Conv2D(256, (5, 5), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform')) #使用池化层，步长为2 model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2))) # 第三层卷积，大小为3x3的卷积核使用384个 model.add(Conv2D(384, (3, 3), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform')) # 第四层卷积,同第三层 model.add(Conv2D(384, (3, 3), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform')) # 第五层卷积使用的卷积核为256个，其他同上 model.add(Conv2D(256, (3, 3), strides=(1, 1), padding='same', activation='relu', kernel_initializer='uniform')) model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2))) model.add(Flatten()) model.add(Dense(4096, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(4096, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(10, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) model.summary() 参考来源：(https://blog.csdn.net/qq_41559533/article/details/83718778 )
联系：highspeedlogic
QQ ：1224848052
微信：HuangL1121
邮箱：1224848052@qq.com
网站：http://www.mat7lab.com/
网站：http://www.hslogic.com/
微信扫一扫：
