Nhận dạng hình ảnh tự nhiên sử dụng mô hình mạng Neuron tích chập

ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 5(126).2018, Quyển 1 105 
NHẬN DẠNG HÌNH ẢNH TỰ NHIÊN 
SỬ DỤNG MÔ HÌNH MẠNG NEURON TÍCH CHẬP 
NATURAL IMAGE RECOGNITION BASED ON CONVOLUTIONAL NEURAL NETWORK 
Vương Quang Phước1, Hồ Phước Tiến2 
1Trường Đại học Khoa học - Đại học Huế; vqphuoc@husc.edu.vn 
2Trường Đại học Bách khoa - Đại học Đà Nẵng; hptien@dut.udn.vn 
Tóm tắt - Gần đây, kỹ thuật Deep Learning đã tạo ra những bước 
tiến lớn trong việc giải quyết các bài toán về thị giác máy tính. Bằng 
cách sử dụng kiến trúc mạng neuron mới – mạng neuron tích chập 
(Convolutional Neural Network - CNN) –, ta có thể khắc phục được 
những trở ngại của mạng neuron truyền thống, tức dạng Perceptron 
đa lớp (Multilayer Perceptrons - MLP), và từ đó giúp việc huấn luyện 
mạng neuron hiệu quả hơn. Tuy nhiên, kiến trúc MLP cũng có những 
ưu điểm đối với việc xử lý cục bộ trong miền không gian. Bài báo 
trình bày một kiến trúc kết hợp giữa CNN và MLP để khai thác ưu 
điểm của hai kiến trúc này trong việc nhận dạng hình ảnh tự nhiên. 
Vai trò của các khối chức năng trong mạng sẽ được phân tích và 
đánh giá thông qua tỉ lệ nhận dạng. Việc đánh giá được thực hiện 
với bộ dữ liệu ảnh tự nhiên CIFAR-10. Quá trình thực nghiệm đã cho 
thấy những kết quả hứa hẹn về tỉ lệ nhận dạng, cũng như thể hiện 
được ưu điểm của kiến trúc kết hợp CNN và MLP. 
 Abstract - Recently, Deep Learning has brought about interesting 
improvements in solving computer vision problems. By using a new 
specific architecture, i.e. Convolutional Neural Network (CNN), 
which has more advantages than the traditional one - known as 
Multilayer Perceptrons (MLP) -, we can improve performance of the 
training process. Yet, the MLP architecture is also useful for 
localized processing in the spatial domain. This paper considers an 
architecture combining both CNN and MLP to exploit their 
advantages for the problem of natural image recognition. The 
functional blocks in the network are analyzed and evaluated using 
recognition rate. The evaluation is carried out with a well-known 
dataset (CIFAR-10). The experiment shows promising results as 
well as benefits of a combination of the CNN and MLP 
architectures. 
Từ khóa - deep learning; neuron network; MLP; CNN; mô hình kết 
hợp; nhận dạng hình ảnh; CIFAR-10. 
Key words - deep learning; neural network; MLP; CNN; 
combination of models; image recognition; CIFAR-10. 
1. Đặt vấn đề 
Deep Learning là một kỹ thuật của Machine Learning, 
cho phép huấn luyện mạng neuron nhiều lớp, cùng với một 
lượng dữ liệu lớn. Hiện nay, Deep Learning được ứng dụng 
nhiều trong các lĩnh vực thị giác máy tính, xử lý tiếng nói, 
hay xử lý ngôn ngữ tự nhiên với độ chính xác vượt trội so 
với các phương pháp truyền thống. 
Nhìn chung, những kết quả của Deep Learning gắn liền 
với mạng CNN khi cho phép thực hiện mạng neuron nhiều 
lớp và khai thác mối quan hệ không gian (ví dụ với hình 
ảnh) [1, 2]. Gần đây, Lin [3] đã đề xuất ý tưởng kết hợp 
mạng CNN với MLP truyền thống, trong đó MLP cho phép 
khai thác thông tin cục bộ. Thật ra, MLP cũng có thể xem 
như là trường hợp riêng của CNN khi mà vùng kích thích 
(receptive field) có kích thước là 1x1. Để nhấn mạnh đặc 
điểm của cấu trúc này, sau đây nhóm tác giả vẫn sẽ sử dụng 
tên gọi MLP. 
Bài báo này trình bày phương pháp giải quyết bài toán 
phân loại hình ảnh tự nhiên dựa trên mô hình kết hợp giữa 
mạng neuron tích chập (CNN) và mạng neuron truyền 
thống (MLP). Kiến trúc này giúp khai thác ưu điểm của 
mỗi kiểu mạng, nhằm nâng cao tỉ lệ nhận dạng ảnh. Ngoài 
ra, vai trò của số lượng khối con, tốc độ học (learning rate), 
cũng như cách loại bỏ ngẫu nhiên một số neuron trong 
mạng (dropout), hay quá trình tiền xử lý dữ liệu tác động 
đến kết quả nhận dạng sẽ được phân tích cụ thể trong phần 
thực nghiệm. 
2. Mô hình kết hợp giữa MLP và CNN 
Bản thân mỗi kiểu mạng MLP và CNN là một chủ đề 
lớn. Trong khuôn khổ giới hạn của bài báo, nhóm tác giả 
sẽ cố gắng trình bày những đặc điểm cơ bản về hai kiểu 
mạng neuron này, trước khi đi vào một kiến trúc kết hợp 
giữa CNN và MLP. Chi tiết về MLP và CNN có thể được 
tìm thấy ở [4]. 
2.1. Perceptron và Multi-layers Perceptron (MLP) 
Một Perceptron có các ngõ vào nhị phân xj và được gán 
tương ứng các trọng số wj - thể hiện mức tác động của ngõ 
vào đến ngõ ra [4]. 
Hình 1. Mô hình Perceptron đơn giản 
Ngõ ra sẽ được xác định là 1/0 phụ thuộc vào ∑ wjxjj 
lớn/bé hơn giá trị ngưỡng threshold: 
output = 
{
 0 nếu∑ wjxj 
j
≤ threshold
1 nếu ∑ wjxj
j
 > threshold
 (1) 
Tuy nhiên, Perceptron chỉ giải quyết được các bài toán 
tuyến tính đơn giản, mạng Perceptron đa lớp (MLP) được 
phát triển để giải các bài toán phức tạp hơn. 
Cấu trúc MLP gồm một lớp đầu vào, một lớp đầu ra và 
một hay nhiều lớp neuron ẩn. 
Các lớp ẩn sẽ làm nhiệm vụ tính toán và truyền thông 
tin từ ngõ vào đến ngõ ra, thông qua các kết nối đến toàn 
bộ node ở lớp phía trước và phía sau. 
x1 
x2 
w1 
w2 
output 
106 Vương Quang Phước, Hồ Phước Tiến 
Hình 2. Mô hình mạng MLP với 3 lớp ẩn [4] 
2.2. Mạng neuron tích chập (CNN) 
Về cơ bản, CNN bao gồm một vài lớp tích chập với các 
hàm kích hoạt phi tuyến áp vào đầu ra của lớp tích chập. 
Trong mạng MLP, mỗi neuron đầu vào được kết nối đến 
tất cả neuron của lớp kế tiếp. Ngược lại, ở mạng CNN, mỗi 
neuron trong một lớp chỉ liên kết với một số neuron lân cận 
với nó trong lớp kế trước. Lớp tích chập được thực hiện 
thông qua các bộ lọc: mỗi bộ lọc cho phép trích xuất một 
thuộc tính, như tần số, hướng; từ đó tạo nên bản đồ thuộc 
tính (feature map). Thông tin được lan truyền theo các lớp 
từ trước ra sau. Lớp cuối cùng thực hiện đánh giá để đưa ra 
quyết định ở ngõ ra. Một mô hình CNN cơ bản [1] được 
minh họa ở Hình 3. 
Hình 3. Minh họa mô hình cấu trúc mạng CNN Lenet: 
Input → [Conv → Pool]*2 → FC → Output 
2.3. Kết hợp MLP và CNN 
Với mạng CNN, các lớp tích chập cho phép khai thác 
thông tin trong miền không gian (ví dụ giữa các pixel lân 
cận nhau), nhưng không thực sự khai thác thông tin cục bộ 
(ví dụ, tại một pixel nhưng giữa các feature map khác 
nhau). Chính mạng MLP sẽ tập trung vào kiểu thông tin 
cục bộ này. 
Hình 4. (a) Khai thác thông tin theo miền không gian ở mô hình 
CNN, (b) Khai thác thông tin cục bộ ở mô hình MLP 
Hình 4 minh họa phương thức xử lý của CNN và MLP. 
Sau đây, ta sẽ xem xét các lớp chính trong kiến trúc kết hợp 
CNN-MLP, cũng như mô hình tổng thể của nó. 
2.3.1. Lớp kết hợp CNN+MLP 
Mạng MLP được thực hiện sau phép tích chập. Thực tế, 
thông qua nhiều bộ lọc, tích chập tạo ra nhiều feature map. 
Sau đó, MLP sẽ được áp dụng tại mỗi pixel nhưng với tất 
cả các thuộc tính (feature). Hình 5 minh họa lớp tích chập 
và sự kết hợp của lớp tích chập và MLP. 
(a) (b) 
Hình 5. (a) Lớp tích chập trong CNN; 
(b) Lớp tích chập kết hợp với MLP (vẽ lại theo [3]) 
2.3.2. Hàm kích hoạt phi tuyến 
Mô hình sử dụng hàm ReLU (Rectified Linear Units 
Layers) để làm hàm kích hoạt phi tuyến. Mục đích của lớp 
này là để thêm thành phần phi tuyến cho mô hình. Các lớp 
ReLU được thêm vào vì những ưu điểm dễ thiết lập, tính 
toán nhanh và hiệu quả. 
Công thức tính hàm ReLU: 
Hình 6. Lớp ReLU chuyển đổi tất cả các giá trị âm về 0 
2.3.3. Pooling 
Mục đích chính của các lớp Pooling [5] là để giảm kích 
thước dữ liệu, từ đó giảm tính toán trong mạng, đồng thời 
hạn chế overfitting – vấn đề này xảy ra khi mạng bám quá 
sát vào bộ dữ liệu huấn luyện. Pooling có thể xem như là 
phép lấy mẫu xuống. Mô hình được chọn sử dụng hai loại 
Pooling phổ biến hiện nay là Max Pooling - sử dụng cho các 
khối con, và Average Pooling - để xử lý thông tin toàn cục. 
2.3.4. Dropout 
Lớp Dropout nhằm giảm hiện tượng overfitting. 
Dropout loại bỏ một cách ngẫu nhiên một số neuron trong 
mạng bằng cách cho nó bằng 0 (bỏ kết nối). Có nghĩa là hệ 
thống sẽ quyết định ngõ ra trong khi thiếu thông tin. Lớp 
Dropout được đặc trưng bằng tỉ lệ dropout. 
Hình 7. Mạng neuron trước và sau quá trình Dropout, các node 
gạch chéo là các node đã bị loại bỏ [6] 
Ta sẽ xem xét ảnh hưởng của tỉ lệ này đến kết quả nhận 
dạng trong phần thực nghiệm. Quá trình loại bỏ ngẫu nhiên 
các node được minh họa trong Hình 7. 
x 
f(x) = max(0,x) 
ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 5(126).2018, Quyển 1 107 
2.3.5. Hàm tổn hao 
Hàm tổn hao Softmax đặt ở lớp cuối cùng trong mạng 
nhằm thực hiện giám sát quá trình huấn luyện mạng 
neuron. Hàm tổn hao sẽ so sánh kết quả dự đoán của mạng 
với nhãn thực sự đã có. Hàm có giá trị bé nếu kết quả dự 
đoán trùng với nhãn và ngược lại. 
l(y,c) = -log
eyc
∑ eykCk=1
= -y
c
+ log∑ eyk
C
k=1
 (2) 
Trong đó, y là véc-tơ đầu ra, C là số lượng nhãn, c là 
nhãn đã biết. 
Quá trình huấn luyện nhằm cập nhật các trọng số để tối 
thiểu hóa hàm tổn hao. Trong mô hình này, cũng như trong 
các mô hình Deep Learning khác, kỹ thuật lan truyền 
ngược được sử dụng cho quá trình huấn luyện. 
2.3.6. Mô hình kết hợp CNN-MLP 
Mô hình kết hợp (gọi là CNN-MLP) được xây dựng dựa 
trên ý tưởng Network in Network [3]. Cấu trúc NiN được 
đề xuất gồm 3 khối con nối tiếp và 1 lớp Average Pooling. 
Khối con hình thành dựa trên việc xen kẽ các cấu trúc 
CNN, MLP, các hàm kích hoạt phi tuyến ReLU, các lớp 
Max Pooling [5, 7], và cuối cùng là lớp Dropout để giảm 
hiện tượng overfitting. Các khối con này được sắp xếp liền 
kề nhau. Sau đó, thông tin được đưa vào lớp Average 
Pooling và lớp Softmax để quyết định giá trị ngõ ra. 
Tiếp theo, ta sẽ khảo sát mô hình trên đây để làm rõ ưu 
điểm của mô hình kết hợp CNN-MLP so với mô hình CNN 
đơn thuần. Bên cạnh đó, một số yếu tố ảnh hưởng đến mô 
hình cũng sẽ được đánh giá. 
3. Thực nghiệm và kết quả 
Bài báo sử dụng bộ cơ sở dữ liệu ảnh tự nhiên CIFAR-
10 [2] để đánh giá các mô hình. CIFAR-10, chứa 60.000 
ảnh màu, được chia thành 10 nhóm, mỗi nhóm ứng với một 
loại đối tượng như máy bay, mèo, xe tải... Mỗi ảnh có kích 
thước 32x32. Ảnh trong CIFAR-10 có sự đa dạng về độ 
chiếu sáng, hướng, vị trí, tỉ lệ của các đối tượng. 
Bộ dữ liệu này được chia thành hai phần: 50.000 ảnh 
dành cho huấn luyện, 10.000 ảnh còn lại dành cho kiểm tra. 
Sự phân chia này được dùng chung cho tất cả các mô hình 
được đánh giá trong bài báo này. 
Mèo Máy bay Xe tải Chó Chim 
Hình 8. Một số hình ảnh được chọn ngẫu nhiên từ bộ dữ liệu 
CIFAR-10 (kích thước 32x32) 
Tỉ lệ lỗi được chọn làm tiêu chí để đánh giá chất lượng 
nhận dạng của các mô hình, và được định nghĩa như sau: 
Tỉ lệ lỗi = 
Số lượng ảnh nhận dạng sai
Tổng số ảnh được nhận dạng
 × 100 (3) 
Ta thấy rằng: 
Tỉ lệ nhận dạng đúng = 100 - tỉ lệ lỗi (4) 
Quá trình thực nghiệm các mô hình được thực hiện dựa 
trên máy tính cá nhân, với cấu hình như sau: Intel Core i5-
5200U 2.2GHz (4CPU), RAM 4GB, GPU NVIDIA 
Geforce 940M - VRAM 2GB. Thời gian huấn luyện mô 
hình xấp xỉ 18 giờ, ứng với 100 chu kỳ học (mỗi chu kỳ 
học/vòng lặp/epoch mất khoảng 11 phút để hoàn thành). 
MatConvNet [8] được dùng cho việc huấn luyện. 
Sau đây ta sẽ đánh giá vai trò của MLP khi kết hợp với 
mạng CNN, cũng như ảnh hưởng của cấu trúc mạng đến 
kết quả nhận dạng. 
3.1. So sánh cấu trúc CNN thuần và cấu trúc kết hợp 
Để đánh giá chất lượng của mô hình mạng kết hợp trong 
việc nhận dạng hình ảnh tự nhiên, nhóm tác giả thực hiện 
so sánh kết quả mô hình LeNet (chỉ sử dụng CNN) và mô 
hình có kết hợp giữa CNN và MLP. 
Hình 9. So sánh tỉ lệ lỗi giữa mô hình LeNet và CNN-MLP 
Hình 9 thể hiện tỉ lệ lỗi về nhận dạng ảnh trên tập kiểm 
tra của bộ dữ liệu CIFAR-10 đối với 2 mô hình LeNet và 
CNN-MLP. Trong đánh giá này, LeNet được giữ nguyên 
theo thiết kế ở [1] và được minh họa tại Hình 3; mô hình 
CNN-MLP sử dụng cấu trúc với 3 khối con, theo ý tưởng ở 
[3]. Cả hai mô hình này đều được huấn luyện cho đến khi tỉ 
lệ nhận dạng đúng không còn thay đổi đáng kể trong các chu 
kỳ học liên tiếp (sau 100 vòng lặp). Kết quả huấn luyện và 
kiểm tra cho thấy, tỉ lệ lỗi giảm từ 19,55% (LeNet) xuống 
còn 10,13% (CNN-MLP). Kết quả này chứng tỏ rằng, quá 
trình kết hợp thêm MLP đã góp phần nâng cao chất lượng 
nhận dạng so với việc chỉ sử dụng CNN đơn thuần. 
Trên thực tế, khác biệt chính giữa mạng LeNet và 
CNN-MLP nằm ở chỗ không có và có MLP; trong khi cách 
xử lý trong khối CNN tương đối giống nhau giữa hai mạng 
này. Như vậy, khi được thực hiện sau phép tích chập, MLP 
tăng cường thêm phần xử lý cục bộ (tại mỗi vị trí không 
gian, nhưng trên các thuộc tính khác nhau – minh họa tại 
Hình 4), và có thể điều này đã cho phép trích ra những 
thuộc tính hữu ích hơn cho việc nhận dạng. 
3.2. Tác động của tốc độ học – Learning Rate (LR) 
Việc lựa chọn giá trị LR ảnh hưởng đến sự thay đổi tốc 
độ học của mô hình (sự thay đổi của các trọng số). Việc sử 
dụng LR thích hợp sẽ giúp rút ngắn được quá trình huấn 
luyện của mạng. Ở đây, nhóm tác giả sử dụng giá trị LR 
lớn cho các chu kỳ học đầu, giúp quá trình học nhanh hơn, 
sau đó thực hiện giảm LR đi 10 lần cho các chu kỳ học sau 
để quá trình tinh chỉnh các giá trị huấn luyện tốt hơn. 
Hình 10 mô tả kết quả nhận dạng khi thay đổi LR, quá 
trình thay đổi được thực hiện tại vòng lặp (chu kỳ học) thứ 
61 và vòng lặp thứ 81. 
1
9
,5
5
1
0
,1
3
Lenet CNN-MLP
Tỉ lệ lỗi (%)
Kiểm tra
108 Vương Quang Phước, Hồ Phước Tiến 
Hình 10. Tác động của learning rate đến kết quả nhận dạng 
Qua kết quả được đưa ra ở Hình 10, có thể dễ dàng nhận 
thấy một số đặc điểm thú vị sau. Đầu tiên, kết quả kiểm tra 
gần như chỉ dao động xung quanh mức tỉ lệ lỗi 15% trước 
khi có sự thay đổi về learning rate xảy ra. Thứ hai, việc 
thay đổi tỉ lệ LR đã tạo ra bước nhảy vọt về tỉ lệ nhận dạng 
lỗi trong cả quá hình huấn luyện lẫn kiểm tra như kết quả 
tại vòng lặp thứ 61 (tỉ lệ lỗi trên tập kiểm tra hạ xuống 
~11%). Cuối cùng, tại lần giảm giá trị LR ở vòng lặp thứ 
81 thì tỉ lệ nhận dạng không có sự thay đổi rõ rệt, mô hình 
gần như đạt đến trạng thái giới hạn và tỉ lệ nhận dạng đúng 
đạt ngưỡng gần tối đa. 
3.3. Vai trò của Dropout 
Như đã đề cập ở phần trên, các lớp Dropout loại bỏ một 
số ngẫu nhiên các neuron, từ đó giúp cho quá trình huấn 
luyện không bị overfitting. Ta đánh giá vai trò của lớp 
Dropout trong việc nhận dạng hình ảnh thông qua việc sử 
dụng các tỉ lệ dropout khác nhau: 0% (tức không sử dụng 
lớp dropout), 30%, 50%, 70% và 90%. Chú ý rằng tỉ lệ 
dropout thể hiện tỉ lệ neuron được loại bỏ. 
Với nội dung khảo sát khá nhiều, nhóm tác giả chỉ thực 
hiện khảo sát trên mô hình có 3 khối con (với các giá trị 
Dropout khác nhau) và ứng với mỗi mô hình, thực hiện 
huấn luyện trong 60 chu kỳ học. Kết quả đưa ra thể hiện xu 
thế học của mô hình và được mô tả ở Bảng 1. 
Bảng 1. Tỉ lệ lỗi khi thay đổi giá trị Dropout của hệ thống 
 0% 30% 50% 70% 90% 
Huấn luyện 9,31 11,35 13,43 17,1 27,7 
Kiểm tra 14,49 14,19 15,16 16,59 23,47 
Thông qua kết quả nhận được, ta thấy mô hình không 
có lớp Dropout cho tỉ lệ lỗi khi huấn luyện thấp nhất 
(9,31%). Nhưng độ chênh lệch tỉ lệ lỗi giữa quá trình huấn 
luyện và kiểm tra lại cao hơn so với các trường hợp khác. 
Mối quan hệ giữa tỉ lệ dropout, tỉ lệ lỗi khi huấn luyện 
và kiểm tra cho thấy được hiện tượng overfitting rõ ràng ở 
trường hợp không có lớp Dropout. Hiện tượng này giảm 
dần khi tăng tỉ lệ dropout. Tuy nhiên, khi tỉ lệ dropout quá 
lớn, ví dụ 90%, thì tỉ lệ lỗi nhận dạng trong huấn luyện và 
kiểm tra đều tăng vọt (thể hiện quá trình underfitting). 
Nguyên nhân gây ra hiện tượng này là thông tin bị mất khá 
nhiều trong quá trình xử lý dẫn đến phân loại không được 
chính xác. 
Thực tế, để có được tỉ lệ phân loại tối ưu nhất, yêu cầu 
phải thực hiện thử nghiệm nhiều tỉ lệ khác nhau và riêng lẻ 
cho từng mô hình. 
3.4. Ảnh hưởng của số lượng khối con trong mô hình kết 
hợp CNN-MLP 
Cho đến nay, giải thích chặt chẽ sự hoạt động của mô 
hình mạng neuron nhiều lớp (Deep Learning), ví dụ bằng 
cách sử dụng mô hình toán học, vẫn còn là câu hỏi mở. Nói 
chung, cấu trúc mạng neuron được lựa chọn bằng cách dựa 
trên kết quả đầu ra, ứng với một công việc cụ thể. Theo 
cách tiếp cận trên, bài báo này cũng xem xét ảnh hưởng của 
số lượng các khối con lên khả năng nhận dạng của mạng 
kết hợp CNN-MLP. 
Chú ý rằng, mỗi khối con chính là khối kết hợp chứa cả 
CNN, MLP, ReLU, Pooling, và Dropout. 
Hình 11. Tỉ lệ lỗi khi thay đổi số lượng khối con trong 
mô hình kết hợp 
Giữ nguyên cấu trúc các khối con, tăng số lượng các 
khối con từ 3 khối lên 4 khối và 5 khối, kết quả nhận được 
như Hình 11 (sau 100 vòng lặp). Trong trường hợp tăng số 
lượng các khối, tỉ lệ lỗi khi huấn luyện (màu xanh) tăng lên 
trong khi giá trị tỉ lệ lỗi khi kiểm tra không thay đổi quá 
lớn, cho thấy đã hạn chế được hiện tượng overfitting. Tuy 
nhiên, ở trường hợp sử dụng 4 khối con, tỉ lệ lỗi trong quá 
trình kiểm tra lại tốt hơn (10,13% → 9,89%). Và khi tăng 
số khối lên 4 hoặc 5, độ chênh lệch tỉ lệ nhận dạng sai trong 
quá trình kiểm tra và huấn luyện có xu hướng hạ xuống so 
với 2 trường hợp trước. 
Như vậy, ở đây ta có thể có hai nhận xét sau. Thứ nhất, 
tăng số lượng khối con có thể làm tăng tỉ lệ nhận dạng 
đúng, ví dụ trường hợp dùng 4 khối con - với tỉ lệ nhận 
dạng đúng lên đến 90,11% (tỉ lệ lỗi 9,89%); tức là mạng 
nhiều lớp hơn có khả năng cao hơn trong việc học được 
những thuộc tính quan trọng và cần thiết cho quá trình nhận 
dạng. Thứ hai, khi tăng số lượng khối con thì độ chênh lệch 
giữa tỉ lệ lỗi trên tập kiểm tra so với tập huấn luyện có xu 
hướng giảm. Điều này chứng tỏ mạng có xu thế hạn chế 
hiện tượng overfitting khi số lượng khối con tăng lên. Và 
còn có thể tăng thời gian huấn luyện để cải thiện kết quả. 
Trong bài báo này, do giới hạn về tài nguyên phần cứng 
nên nhóm tác giả chỉ dừng lại ở mô hình với 5 khối con. 
Có thể kết quả sẽ được cải thiện tốt hơn khi tăng số lượng 
khối con và tăng thời gian huấn luyện. 
3.5. Tác động chuẩn hóa dữ liệu và whitening 
Ngoài việc khảo sát mô hình mạng kết hợp dựa trên các 
siêu tham số, tác động của việc chuẩn hóa dữ liệu và 
whitening cũng được đánh giá. Mô hình sử dụng đánh giá 
là mô hình kết hợp đơn giản, với 3 khối con CNN-MLP 
5
,8
3
6
,8
6
7
,61
0
,1
3
9
,8
9
1
0
,5
2
3 Block 4 Block 5 Block
Tỉ lệ lỗi (%)
Huấn luyện Kiểm tra
ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 5(126).2018, Quyển 1 109 
như trong một số khảo sát đã thực hiện. Kết quả nhận được 
sau khi thực hiện 45 vòng lặp huấn luyện, lựa chọn với tỉ 
lệ dropout 0,5, áp dụng giảm learning rate tại vòng lặp thứ 
40. Bảng 2 thể hiện kết quả khảo sát được trong trường hợp 
có và không có tiền xử lý dữ liệu. 
Bảng 2. Kết quả nhận dạng trong trường hợp có và 
không có tiền xử lý dữ liệu 
Mô hình Tỉ lệ kiểm tra lỗi (%) 
1 
Thực hiện tiền xử lý dữ liệu 
(chuẩn hóa + whitening) 
11,61 
2 Không thực hiện chuẩn hóa 12,26 
3 Không thực hiện whitening 15,95 
4 Không thực hiện tiền xử lý 15,36 
Dựa vào các kết quả trên ta nhận thấy được kết quả nhận 
dạng của mô hình (1) là tốt nhất, và giảm dần theo thứ tự 
(2), (4), (3). 
Quá trình chuẩn hóa dữ liệu có tác động đến kết quả 
phân loại, tuy nhiên ảnh hưởng không lớn (chênh lệch 
~0,6% - xét trên tỉ lệ nhận dạng sai của mô hình (1) và (2)) 
đối với bộ dữ liệu CIFAR10. 
So sánh kết quả của mô hình (1) và (3), ta thấy tỉ lệ nhận 
dạng lỗi tăng vọt từ 11,61% lên 15,95%. Khác biệt giữa hai 
mô hình này là có và không có xử lý whitening. Như vậy, 
có thể thấy rằng bằng cách hạn chế sự tương quan giữa các 
phần tử trong ảnh, xử lý whitening có tác động lớn đến kết 
quả nhận dữ liệu, giúp tăng được tỉ lệ nhận dạng đúng của 
hệ thống. Ở mô hình (4), loại bỏ cả hai quá trình chuẩn hóa 
và whitening, tỉ lệ nhận dạng đúng thấp hơn so với mô hình 
(1) và (2). Và với mô hình (3) thì lại có kết quả tương đồng 
vì mức độ ảnh hưởng của chuẩn hóa dữ liệu trong các khảo 
sát này không cao. 
Các kết quả thực nghiệm trên cho thấy việc xử lý chuẩn 
hóa (tuy kết quả chưa nhận thấy quá rõ ràng) và whitening 
giúp tăng tỉ lệ nhận dạng ảnh, và đáng cân nhắc để đưa vào 
mô hình. 
3.6. Ảnh hưởng của Batch size đến kết quả nhận dạng 
Batch size quyết định số lượng ảnh được dùng cho mỗi 
lần cập nhật trọng số, ví dụ, với kích thước tập huấn luyện 
của CIFAR-10 là 50.000 ảnh. Một chu kỳ học tương ứng 
với xử lý 50.000 ảnh. Nếu chọn batch size = 20, có nghĩa 
là dữ liệu sẽ được chia thành 2.500 gói con để xử lý. Tương 
tự, nếu batch size = 200, thì số gói dữ liệu là 250 gói. Bảng 
3 là các kết quả khảo sát thu được sau 60 vòng lặp trên mô 
hình 3 khối con. 
Bảng 3 là kết quả khi có sự thay đổi về kích thước gói 
dữ liệu batch. Với kích thước Batch size nhỏ, tỉ lệ nhận 
dạng lỗi cao (47,41%). Khi kích thước tăng dần, kết quả 
khảo sát đã có những thay đổi khả quan. Nhìn chung, khi 
batch size lớn, các trọng số sẽ được cập nhật một cách ổn 
định hơn. Nhưng cũng lưu ý rằng, batch size lớn sẽ yêu cầu 
nhiều bộ nhớ hơn. 
Bảng 3. Kết quả nhận dạng khi sử dụng dữ liệu với các batch 
size khác nhau trên cùng một mô hình mạng 
Batch size 10 20 50 100 200 
Tỉ lệ lỗi (%) 47,41 22,88 17,43 15,16 14,45 
4. Kết luận 
Bài báo đã thực hiện nhận dạng ảnh tự nhiên dựa trên 
sự kết hợp giữa mạng neuron tích chập CNN và mạng 
perceptron đa lớp MLP. Trong đó, MLP được sử dụng để 
khai thác thêm thông tin cục bộ, bên cạnh thông tin về mặt 
không gian từ CNN. Kết quả thực nghiệm cho thấy sự kết 
hợp CNN-MLP cho phép cải thiện tỉ lệ nhận dạng. Ngoài 
ra, bài báo cũng phân tích tác động của tốc độ học đến việc 
rút ngắn thời gian huấn luyện, cho thấy vai trò của lớp 
dropout trong việc giảm overfitting, tầm quan trọng của 
quá trình tiền xử lý dữ liệu, cũng như kích thước gói batch 
size ảnh hưởng đến kết quả nhận dạng. Khi tăng độ sâu của 
mạng, ta nhận thấy xu hướng cải thiện chất lượng nhận 
dạng. Xu hướng này có thể càng được thể hiện rõ khi thời 
gian huấn luyện càng lớn. 
Bài báo hiện tại quan tâm đến nhận dạng ảnh với kích 
thước nhỏ. Bằng cách kết hợp với phương pháp phát hiện 
sự nổi bật [9], mô hình trên có thể sẽ giúp nhận dạng đối 
tượng trong bối cảnh thực tế hơn. 
TÀI LIỆU THAM KHẢO 
[1] Y. Lecun, L. Bottou, Y. Bengio, P. Haffner, “Gradient-based 
Learning Applied to Document Recognition”, Proceedings of The 
IEEE 86 (11), 1998, pp. 2278-2324. 
[2] A. Krizhevsky, G. Hinton, Learning Multiple Layers of Features 
from Tiny Images, Technical report, University of Toronto, 2009. 
[3] Min Lin, Qiang Chen, Shuicheng Yan, Network in Network, 
arXiv:1312.4400v3, 2014. 
[4] Michael A. Nielsen, Neural Networks and Deep Learning, 
Determination Press, 2015. 
[5] Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, 
MIT Press, 2016. 
[6] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya 
Sutskever, Ruslan Salakhutdinov, “Dropout: A Simple Way to 
Prevent Neural Networks from Overfitting”, Journal of Machine 
Learning Research, 2014, pp. 1929-1958. 
[7] Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron 
Courville, Yoshua Bengio, MaxOut Network, arXiv:1302.4389v4, 
2013. 
[8] Andrea Vedaldi, Karel Lenc, MatConvNet - Convolutional Neural 
Networks for MATLAB, arXiv:1412.4564, 2016. 
[9] T. Ho-Phuoc, Développement et mise en oeuvre de modèles 
d'attention visuelle, PhD thesis, Université Joseph Fourier, 2010. 
(BBT nhận bài: 13/9/2017, hoàn tất thủ tục phản biện: 16/5/2018)