Welcome(〃'▽'〃)!

这里可能没有什么厉害的技术帖,但是会有一些实用的小教程

利用卷积神经网络提升识别MNIST的准确率——Tensorflow学习笔记(二)

在上一篇学习笔记中,我们构建了一个简单的神经网络,通过softmax回归实现了简单的图像识别,准确率在92%左右。

在本篇文章中,我们通过卷积神经网络来提升识别的准确率,最终可以达到99%的准确率。

如果你还不知道卷积神经网络是什么,那么可以看一下这篇文章:神经网络的直观解释

首先依旧是引入必要的库:

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

读取数据:

mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)

定义两个placeholder存放输入的图片和正确的标签

x = tf.placeholder(tf.float32,[None,784])
y_ = tf.placeholder(tf.float32,[None,10])

由于我们需要对图片进行卷积操作,所以我们要先将图片恢复成28*28的形式

x_image = tf.reshape(x, [-1, 28, 28, 1])

接下来定义生成权重和偏置的函数。这个模型中的权重在初始化时应该加入少量的噪声来打破对称性以及避免0梯度,由于我们使用的是ReLU神经元,因此比较好的做法是用一个较小的正数来初始化偏置项:

def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)

定义卷积层和池化层:

def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1,1,1,1], padding='SAME')
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')

定义各层:

第一层由一个卷积接一个max pooling完成,卷积在每个5×5的patch中算出32个特征,卷积的权重张量形状是[5, 5, 1, 32],前两个维度是patch的大小,接着是输入的通道数目,最后是输出的通道数目。 而对于每一个输出通道都有一个对应的偏置量。为了用这一层,我们把x变成一个4d向量,其第2、第3维对应图片的宽、高,最后一维代表图片的颜色通道数(因为是灰度图所以这里的通道数为1,如果是rgb彩色图,则为3)。我们把x_image和权值向量进行卷积,加上偏置项,然后应用ReLU激活函数,最后进行max pooling。

W_conv1 = weight_variable([5,5,1,32])
b_conv1 = bias_variable([32])
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

第二层中,每个5×5的patch会得到64个特征。

W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

现在,图片尺寸减小到7×7,我们加入一个有1024个神经元的全连接层,用于处理整个图片。我们把池化层输出的张量reshape成一些向量,乘上权重矩阵,加上偏置,然后对其使用ReLU。

W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7764])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

为了减少过拟合,我们在输出层之前加入dropout。我们用一个placeholder来代表一个神经元的输出在dropout中保持不变的概率。这样我们可以在训练过程中启用dropout,在测试过程中关闭dropout。 TensorFlow的tf.nn.dropout操作除了可以屏蔽神经元的输出外,还会自动处理神经元输出值的scale。所以用dropout的时候可以不用考虑scale。

keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

最后一层,线性输出:

W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv=tf.matmul(h_fc1_drop, W_fc2) + b_fc2

接下来进行训练,我们使用与之前简单的单层SoftMax神经网络模型几乎相同的一套代码,唯一不同的是使用adam优化器,在feed_dict中加入额外的参数keep_prob来控制dropout比例。

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_,logits=y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
sess = tf.InteractiveSession()
init = tf.global_variables_initializer()
sess.run(init)
for i in range(2000):
batch = mnist.train.next_batch(50)
if i%100 == 0:
train_accuracy = accuracy.eval(feed_dict={x:batch[0], y_: batch[1], keep_prob: 1.0})
print("step %d, training accuracy %g" %(i, train_accuracy))
sess.run(train_step, feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
print("test accuracy %g" %accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))

运行程序,训练一万次后准确率在99%左右:

《利用卷积神经网络提升识别MNIST的准确率——Tensorflow学习笔记(二)》
点赞

发表评论

电子邮件地址不会被公开。