Nghiên cứu và phát triển cơ sở dữ liệu cử chỉ tay

Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 99(11): 145 - 150 
 145
NGHIÊN CỨU VÀ PHÁT TRIỂN CƠ SỞ DỮ LIỆU CỬ CHỈ TAY 
Nguyễn Thị Tính*, Nguyễn Thị Thanh Tâm, Nguyễn Văn Tới, Lê Thu Trang 
Trường Đại học Công nghệ thông tin và Truyền thông – ĐH Thái Nguyên 
TÓM TẮT 
Bài báo này trình bày một cơ sở dữ liệu cử chỉ tay bao gồm các chữ cái, chữ số trong ngôn ngữ cử 
chỉ để phục vụ cho việc phát triển, thử nghiệm cũng như triển khai các hệ thống nhận dạng cử chỉ 
tay. Cử chỉ là một tập các biểu tượng thường được sử dụng trong giao tiếp giữa con người - con 
người. Hiện nay,việc nghiên cứu các phương pháp tự động nhận dạng cử chỉ để điều khiển các 
phương tiện máy móc như điều khiển chương trình máy tính, giao tiếp với robot cũng như ứng 
dụng trong hỗ trợ giao tiếp cho người khiếm thính đang được nhiều nhà khoa học quan tâm. Việc 
nghiên cứu, triển khai này đòi hỏi có các cơ sở dữ liệu cử chỉ đa dạng, phù hợp với môi trường ứng 
dụng thực tế. Trên thế giới đã tồn tại một số cơ sở dữ liệu cử chỉ tay nhằm đáp ứng nhu cầu này. 
Tuy nhiên, mỗi cơ sở dữ liệu đang tồn tại đó đều có những hạn chế riêng, chưa đáp ứng được sự 
phát triển nhanh chóng ở thời điểm hiện tại và tương lai. Do vậy, nhóm nghiên cứu xây dựng một 
cơ sở dữ liệu cử chỉ tay tốt hơn, khắc phục những nhược điểm của những cơ sở dữ liệu đã tồn tại. 
Cơ sở dữ liệu mà chúng tôi xây dựng dựa trên bảng chữ cái, chữ số của ngôn ngữ cử chỉ ASL 
(American Sign Language), là một tập cử chỉ chuẩn mực và được sử dụng rộng rãi. Cơ sở dữ liệu 
cử chỉ tay do chúng tôi xây dựng đa dạng. Chúng tôi tiến hành thu thập trong môi trường thực với 
những điều kiện chiếu sáng khác nhau. Cơ sở dữ liệu này có thể đáp ứng nhu cầu trong việc 
nghiên cứu, thử nghiệm các phương pháp cũng như triển khai các ứng dụng nhận dạng cử chỉ tay. 
Từ khóa: cử chỉ tay, hệ thống nhận dạng, nhận dạng cử chỉ, dữ liệu cử chỉ, American Sign Language 
GIỚI THIỆU* 
Bài toán nhận dạng cử chỉ có nhiều ứng dụng 
[1], như: phát triển các công cụ trợ giúp nói 
chuyện bằng tay, hệ thống hỗ trợ người khiếm 
thính, giúp trẻ em có thể thao tác với máy 
tính, chuẩn đoán các cảm xúc của bệnh nhân, 
đo mức độ trầm cảm, phát hiện nói dối, tương 
tác trong môi trường ảo, trợ giúp dạy học từ 
xa v.v.. Thông thường một cử chỉ có thể là cử 
chỉ tĩnh hoặc động. Một cử chỉ tĩnh được mô 
tả bởi một hình trạng duy nhất của cơ thể 
hoặc một bộ phận của cơ thể. Một cử chỉ 
động là một chuỗi các hình trạng liên tiếp. Cử 
chỉ tay được sử dụng phổ biến và đóng vai trò 
quan trọng trong giao tiếp. Để nhận dạng cử 
chỉ tay, cần phải biểu diễn cử chỉ tay, phân 
tích các cử chỉ từ đó cho phép nhận dạng. 
Thông thường, trong mỗi ứng dụng cụ thể, 
một tập cử chỉ phải được định nghĩa trước. 
Việc nhận dạng các cử chỉ thường được làm 
sau khi đã học các cử chỉ định nghĩa. 
Hiện nay, việc nghiên cứu các phương pháp 
tự động nhận dạng cử chỉ đang thu hút sự 
quan tâm của nhiều nhà khoa học trên thế 
giới. Việc nghiên cứu, triển khai này đòi hỏi 
*
 Tel: 0986 060186, Email: nttinh@ictu.edu.vn 
có các cơ sở dữ liệu cử chỉ đa dạng, phù hợp 
với môi trường ứng dụng thực tế để đánh giá 
khách quan hiệu quả của các phương pháp và 
đánh giá khả năng ứng dụng trong thực tế. Từ 
nhu cầu trên, một số cơ sở dữ liệu cử chỉ tay 
đã ra đời và đang được sử dụng [2]. Tuy 
nhiên, những cơ sở dữ liệu đang tồn tại còn 
có những hạn chế như tập cử chỉ chưa đa 
dạng, phông nền đơn giản, chỉ bao gồm các 
ảnh đen trắng...ví dự các tập cơ sở dữ liệu 
được trình bày trong phần 3, chưa đáp ứng 
được nhu cầu nghiên cứu, phát triển ở thời 
điểm hiện tại và tương lai. Do đó, cần thiết 
phải xây dựng một cơ sở dữ liệu mới, tốt hơn 
đáp ứng nhu cầu nghiên cứu, thử nghiệm 
cũng như triển khai hệ thống nhận dạng cử 
chỉ tay. Tập cơ sở dữ liệu do chúng tôi xây 
dựng có hầu hết các ưu điểm để có thể sử 
dụng cho bài toán nhận dạng cử chỉ như: ảnh 
thu được là ảnh màu, với phông nền phức tạp, 
tập các cử chỉ tay là bảng chữ cái, chữ số 
trong ngôn ngữ cử chỉ ASL đa dạng, phổ biến, 
nhiều người biết. Đây là đóng góp chính của 
chúng tôi được trình bày trong bài báo này. 
Trong các phần tiếp theo trình bày các nội 
dung: Phần 2 trình bày các phương pháp thu 
Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 99(11): 145 - 150 
 146
thập dữ liệu và lựa chọn phương pháp phù 
hợp để xây dựng tập cơ sở dữ liệu của chúng 
tôi. Phần 3 giới thiệu một số cơ sở dữ liệu đã 
tồn tại và ưu nhược điểm của chúng. Phần 4 
trình bày quá trình thu nhập dữ liệu cử chỉ tay 
và kết quả. Cuối cùng là phần kết luận hướng 
nghiên cứu tiếp theo được trình bày trong 
phần 5 của bài báo. 
CÁC PHƯƠNG PHÁP THU THẬP DỮ LIỆU 
Thu thập dữ liệu là một khâu quan trọng trong 
bài toán xác định hình trạng của bàn tay (hand 
posture) và nhận dạng cử chỉ (gesture 
recognition). Có nhiều cách để thu thập dữ 
liệu trong đó 2 phương pháp được sử dụng 
nhiều nhất là: phương pháp dùng găng tay 
chuyên dụng (glove-based) và phương pháp 
sử dụng camera để thu nhận ảnh của bàn tay 
(vision-based) [3], [4]. 
Phương pháp thu thập dữ liệu sử dụng 
găng tay chuyên dụng: Phương pháp này đòi 
hỏi người thử nghiệm phải đeo vào tay một 
găng tay chuyên dụng. Găng tay có kết nối 
với thiết bị thu nhận và xử lý dữ liệu ở bên 
ngoài thông qua các dây cáp hoặc kết nối 
không dây. Các dữ liệu thu được phải mô tả 
được góc giữa các đốt tay cũng như vị trí của 
ngón tay và bàn tay. Kiểu dữ liệu đưa ra phụ 
thuộc hoàn toàn vào loại thiết bị sử dụng 
như các thiết bị đo sử dụng từ tính, âm tính, 
quán tính. 
Phương pháp thu nhận ảnh bàn tay sử 
dụng camera: Một trong số những hạn chế 
lớn nhất của phương pháp thu thập dữ liệu cử 
chỉ bàn tay sử dụng găng tay chuyên dụng là 
người sử dụng phải đeo vào một găng tay có 
tích hợp các bộ phát sóng điện từ, sóng siêu 
âm, ánh sáng, hoặc các thiết bị đo gia tốc, vận 
tốc, v.v.. Găng tay sau đó phải được kết nối 
(có dây, hoặc không dây) với máy tính để xử 
lý và nhận dạng. Việc đeo thiết bị khiến 
người sử dụng bị khó chịu vì cồng kềnh, bất 
tiện. Khi đeo vào một thiết bị như thế, các cử 
động của bàn tay cũng trở nên mất tự nhiên. 
Ngoài ra, giá thành của các loại găng tay khá 
đắt. Phương pháp thu nhận ảnh bằng camera 
tỏ ra hiệu quả hơn. 
Phương pháp dùng camera để thu nhận ảnh 
của bàn tay dùng trong bài toán nhận dạng cử 
chỉ dựa trên các kỹ thuật xử lý ảnh và nhận 
dạng là phù hợp với bài toán nhận dạng cử chỉ 
vì hai lý do chính sau: 1) Đơn giản, gọn nhẹ, 
không đòi hỏi phải đeo vào một loại găng tay 
đặc biệt, các thao tác của bàn tay tự nhiên, 
thoải mái. 2) Phạm vi thu nhận dữ liệu không 
bị hạn chế do tránh được việc gắn các thiết bị 
cồng kềnh vào bàn tay. 
Với các lợi thế về nhiều mặt, phương pháp sử 
dụng camera để thu nhận ảnh của bàn tay từ 
đó cho phép xác định hình trạng cũng như 
nhận dạng cử chỉ trở thành xu hướng chính 
hiện nay. Với mục đích xây dựng cơ sở dữ 
liệu cử chỉ tay cho hướng tiếp cận dựa trên thị 
giác máy tính, chúng tôi sử dụng phương 
pháp thu nhận ảnh bàn tay sử dụng camera. 
MỘT SỐ CƠ SỞ DỮ LIỆU ẢNH CỬ CHỈ 
ĐÃ CÓ 
Trong phần 2, chúng tôi đã phân tích các ưu 
nhược điểm của hai loại phương pháp thu 
nhận dữ liệu để phục vụ cho bài toán nhận 
dạng. Trong phần này chúng tôi trình bày kết 
quả khảo sát, phân tích, đánh giá các cơ sở dữ 
liệu đã tồn tại [2]. 
Cơ sở dữ liệu Cambridge [5]: Bộ dữ liệu 
này gồm 900 ảnh của 9 lớp cử chỉ khác nhau. 
Các lớp cử chỉ này được định nghĩa bởi 3 
hình trạng cơ bản của bàn tay và 3 cử động 
đơn giản. Mỗi lớp cử chỉ được mô tả bởi 100 
ảnh (5 loại ánh sáng khác nhau x 10 chuyển 
động ngẫu nhiên x 2 chủ thể khác nhau). Cơ 
sở dữ liệu này có ưu điểm là tập cơ sở dữ liệu 
gồm các ảnh màu, vì thế cho phép các giải 
thuật sử dụng tính chất của màu da để phát 
hiện bàn tay, mô tả về hệ cơ sở dữ liệu tương 
đối rõ ràng. Tuy nhiên cơ sở dữ liệu này vẫn 
có nhược điểm đó là nền của ảnh còn đơn 
giản (màu ghi xám đồng đều), 9 lớp cử chỉ 
đơn giản, các ngón tay và lòng bàn tay đều 
vẫn nằm trên một mặt phẳng. 
Cơ sở dữ liệu IDIAP-I [6], [7]: Cơ sở dữ 
liệu bao gồm 7 loại cử chỉ khác nhau tạo từ 6 
phép quay và một cử chỉ đẩy: quay lên, quay 
xuống, quay trước, quay sau, quay trái, quay 
phải, đẩy. Nhược điểm đó của cơ sở dữ liệu này 
là mỗi tay đeo một găng có màu dễ phân biệt. 
Cơ sở dữ liệu IDIAP-II [6], [7]: Cơ sở dữ 
liệu chứa hàng nghìn ảnh chụp 6 lớp cử chỉ 
Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 99(11): 145 - 150 
 147
khác nhau trên nền từ đơn giản đến phức tạp. 
Mỗi hình trạng của bàn tay được chuẩn hóa 
trong một cửa sổ với kích thước 20x20 với ký 
hiệu A, 18x20 cho ký hiệu C, 5; 18x30 cho ký 
hiệu B, Point,V. Cơ sở dữ liệu có ưu điểm là 
các cử chỉ tĩnh cũng như một số các cử chỉ 
động được mô tả. Nhược điểm là: ảnh đen 
trắng nên không thích hợp với các giải thuật 
sử dụng thuộc tính về màu sắc. 
Cơ sở dữ liệu FRUNKFURT [8]: Bộ dữ liệu 
bao gồm 10 tập cử chỉ (sign) thu nhận từ 24 
tay người khác nhau trên 3 loại phông nền 
khác nhau (nền đen, nền trắng, nền ngẫu 
nhiên). Ảnh đen trắng 8 bít. Tổng cộng có 
720 ảnh. Bộ dữ liệu này có điểm mạnh là: tập 
cử chỉ tương đối phức tạp, sự thu nhận ảnh 
của tay trên phông nền phức tạp cho phép thử 
nghiệm tính hiệu quả của thuật toán nhận 
dạng trong các điều kiện thu nhận khác nhau. 
Tuy nhiên, vẫn có những điểm yếu đó là: ảnh 
đen trắng vì thế không thể áp dụng các giải 
thuật sử dụng màu, các bộ cử chỉ để thử 
nghiệm mặc dù đã phức tạp hơn, trên phông 
nền phức tạp hơn nhưng vẫn cùng kích thước, 
hướng quay, v.v.. so với ảnh mẫu vì thế 
không thử nghiệm được hiệu quả bất biến 
của thuật toán đối với góc quay, sự thay 
đổi về thang đo (scale change) cũng như trong 
các điều kiện ánh sáng khác nhau. 
Cơ sở dữ liệu AALBORG – I:Cơ sở dữ liệu 
được xây dựng với 2060 ảnh đen trắng định 
dạng TIFF độ phân giải 248x256 trên phông 
đen. Mỗi cử chỉ được thu nhận nhiều lần 
trong những điều kiện sai khác về góc nhìn, 
thang đo, dịch chuyển, quay. Số lượng ảnh 
với từng ký tự như sau: A: 40 B: 60 C: 40 D: 
40 E: 40 F: 40 G: 100 H: 100 I: 100 K: 100 L: 
100 M: 100 N: 100 O: 100 P: 100 Q: 100 R: 
100 S: 100 T: 100 U: 100 V: 100 W: 100 X: 
100 Y: 100. Cơ sở dữ liệu này có thế mạnh là: 
một tập đầy đủ các cử chỉ tương ứng với bảng 
chữ cái. Điểm yếu của cơ sở dữ liệu là: ảnh 
đen trắng nên không cho phép sử dụng các 
giải thuật dựa trên tính chất màu sắc. 
Cơ sở dữ liệu AALBORG – II: Cơ sở dữ 
liệu bao gồm 13 loại cử chỉ phân biệt: 9 cử 
chỉ tĩnh và 4 loại cử chỉ động. Tất các các cử 
chỉ khác còn lại được xếp vào loại "không 
thuộc lớp cử chỉ định nghĩa" (unspecified 
gesture). Các ảnh được thu nhận bằng cách 
người đứng và tưởng tượng mình đang tương 
tác với các đối tượng "ảo" được đặt trên bàn 
để diễn tả các cử chỉ động (dynamique 
gesture). Một số đồ vật có thể được thêm vào 
hay bớt đi để tạo hiệu ứng phông nền, ánh 
sáng thay đổi. Các video được thu nhận có độ 
phân giải PAL (768x576). Cơ sở dữ liệu này 
có ưu điểm là hình ảnh thu nhận được có mô 
tả rất chi tiết, rõ ràng, ảnh mầu, có giá trị đối 
với các giải thuật sử dụng màu, tập cử chỉ 
tương đối đa dạng. Nhưng cơ sở dữ liệu này 
vẫn có một số nhược điểm là: các cử chỉ được 
thu nhận trong điều kiện tương đối đơn giản 
về nền, trong mặt phẳng, góc quay, ánh sáng, 
sự thay đổi về kích thước. 
Cơ sở dữ liệu INRIA: 8 videos ghi lại hình 
ảnh một người chỉ tay vào các vị trí khác 
nhau thông qua 4 camera trong điều kiện ánh 
sáng 60% ánh sáng ban ngày và 40% ánh 
sáng neon. Video được lấy mẫu với tốc độ 
25Hz độ phân giải 352x288. Cơ sở dữ liệu 
này có ưu điểm là: ảnh mầu, có thông tin về 
ground truth. Tuy nhiên còn có nhược điểm 
là: chỉ sử dụng để thử nghiệm một loại cử chỉ 
"Pointing". 
Cơ sở dữ liệu KYUSHU[9]: gồm các ảnh 
của 36 cử chỉ bàn tay (American Sign 
Language). Các tác giả đã chỉ ra tập CSDL 
được sử dụng nhưng lại không có mô tả về 
CSDL này cũng như không thể tìm thấy 
CSDL này để tải về sử dụng cho mục đích thử 
nghiệm. Cơ sở dữ liệu có ưu điểm là: 36 cử 
chỉ, thu nhận trên nền ảnh phức tạp. Những 
nhược điểm là: không tồn tại để có thể thử 
nghiệm, không có mô tả về CSDL. 
Cơ sở dữ liệu Freiburg: Có 4 cử chỉ được 
xem xét: vẫy tay; chỉ; kích thước (cử chỉ dùng 
hai tay); diễn tả sự không biết (don’t know). 
Cơ sở dữ liệu ảnh được thu thập từ ảnh của 5 
người với các điều kiện ánh sáng khác nhau, 
phông nền phức tạp. Ảnh được thu thập qua 
camera và được chụp liên tục với tốc độ 
20fps, độ phân giải 640x480. Mỗi cử chỉ bao 
gồm 75 mẫu. Cơ sở dữ liệu này có nhiều ưu 
điểm như: có sự đa dạng về chủ thể, điều kiện 
ánh sáng và phông nền, số lượng ảnh là rất 
lớn. Tuy nhiên vẫn có nhược điểm đó là: cơ 
sở dữ liệu chỉ bao gồm các ảnh của những cử 
Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 99(11): 145 - 150 
 148
chỉ liên tục, không có những cử chỉ tĩnh, chỉ 
có 4 cử chỉ. 
Từ những khảo sát, phân tích trên đây chúng 
ta thấy mỗi cơ sở dữ liệu đều tồn tại những 
nhược điểm như: nền chụp ảnh còn tương đối 
đơn giản, tập cử chỉ chưa phong phú, chưa 
đầy đủ, điều kiện thu nhận đơn giản. Như vậy 
cần phải xây dựng một cơ sở dữ liệu cử chỉ 
tay để khắc phục những nhược điểm của 
những cơ sở dữ liệu đã có. Phần tiếp theo 
chúng tôi trình bày quá trình xây dựng một 
tập cơ sở dữ liệu cử chỉ tay nhằm đáp ứng nhu 
cầu này. 
PHÁT TRIỂN CƠ SỞ DỮ LIỆU CỬ CHỈ TAY 
Chúng tôi sử dụng tập cử chỉ là bảng chữ cái, 
chữ số trong ngôn ngữ cử chỉ ASL, Hình 1 và 
Hình 2. Đây là những cử chỉ chuẩn, đầy đủ, 
đa dạng, số lượng cử chỉ lớn, có thể sử dụng 
để đánh giá các phương pháp nhận dạng cử 
chỉ một cách hiệu quả. Tập cử chỉ này phổ 
biến, được nhiều người trên thế giới biết đến. 
Nhóm nghiên cứu dùng các cử chỉ này để xây 
dựng nên một có sở dữ liệu mới lớn hơn, đầy 
đủ, đa dạng với ảnh màu, điều kiện chụp là 
môi trường thực tế. 
Hình 1. Tập các cử chỉ chữ cái 
Hình 2. Tập các cử chỉ chữ số 
Tập cơ sở dữ liệu mà chúng tôi xây dựng là 
tập ảnh màu, với đầy đủ 26 hình trạng chữ 
cái, 10 hình trạng chữ số với điều kiện phức 
tạp trong môi trường thực tế: phông nền phức 
tạp, ánh sáng thay đổi, điều kiện chụp phong 
phú, chụp trên nhiều đối tượng khác nhau. 
Cơ sở dữ liệu bao gồm hai phần: cơ sở dữ liệu 
huấn luyện để phục vụ cho các phương pháp 
tiếp cận theo hướng học máy và cơ sở dữ liệu 
thử nghiệm. 
Dữ liệu huấn luyện: Là các dữ liệu dùng cho 
việc học của một hệ nhận dạng. Trong quá 
trình huấn luyện, bộ nhận dạng sẽ học từ các 
dữ liệu này và ghi nhớ các đặc trưng của đối 
tượng cần nhận dạng. Sau này, việc nhận 
dạng sẽ thông qua các đặc trưng để nhận ra 
đối tượng. Dữ liệu huấn luyện gồm 2 tập: tập 
các ảnh chứa đối tượng cần nhận dạng 
(positive samples) và tập các ảnh không chứa 
đối tượng cần nhận dạng (negative samples). 
Dữ liệu thử nghiệm: Là dữ liệu dùng cho 
việc kiểm tra, đánh giá tỉ lệ nhận dạng của 
một hệ nhận dạng. Tập dữ liệu này phải 
không trùng với tập dữ liệu huấn luyện. Tỉ lệ 
nhận dạng đúng các mẫu trong tập thử 
nghiệm nói lên tính hiệu quả của hệ nhận 
dạng. Bởi vì các dữ liệu này không tham gia 
và quá trình huấn luyện của hệ nhận dạng cho 
nên nếu hệ nhận dạng vẫn nhận dạng đúng 
chứng tỏ các đặc trưng mà được trích rút ra 
thật sự là các đặc trưng của đối tượng. 
Xây dựng tập ảnh positive: Cơ sở dữ liệu 
gồm 36 tập ảnh positive tương ứng với 36 cử 
chỉ. Với mỗi cử chỉ, chúng tôi chụp hơn 1200 
ảnh của 60 người khác nhau bằng webcam 
hoặc camera với độ phân giải 640x480 pixels 
trong nhiều điều kiện ánh sáng và phông nền 
khác nhau: dưới ánh sáng đèn neon ở nhiều 
phòng khác nhau, ánh sáng tự nhiên vào các 
thời điểm khác nhau v.v Sau đó, loại các 
mẫu không đạt chất lượng như ảnh quá mờ, tư 
thế không rõ ràng, thực hiện sai cử chỉ, v.v... 
để còn lại 1200 mẫu cho mỗi cử chỉ. 
Tiến hành cắt ảnh để tách riêng vùng chứa cử 
chỉ tay nhằm xây dựng bộ cơ sở dữ liệu dùng 
để huấn luyện (positive samples). Cắt từ mỗi 
ảnh nguồn một vùng hình chữ nhật chứa bàn 
tay với yêu cầu: vùng hình chữ nhật bé nhất 
Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 99(11): 145 - 150 
 149
có thể nhưng phải chứa toàn bộ bàn tay và các 
ngón tay, không bao gồm cổ tay và cánh tay, 
Hình 3. Chúng tôi sử dụng tiện ích 
ImageCliper. 
Ảnh nguồnẢnh kết quả 
Hình 3. Tách vùng bàn tay ra khỏi ảnh nguồn 
Xây dựng tập dữ liệu ảnh negative: Tập dữ 
liệu gồm 1.500 ảnh đa mức xám kích thước 
640x480 ở định dạng JPG. Trong đó 1.000 
ảnh được lấy từ tập dữ liệu ảnh negative tải từ 
[10], [11]. 500 ảnh còn lại là các ảnh do 
chúng tôi bổ sung. Tất cả các ảnh này không 
chứa các cử chỉ trong tập cử chỉ mà chúng tôi 
sử dụng. Các ảnh này cũng là ảnh đa mức 
xám và ảnh màu ở định dạng JPG kích thước 
640x480. 
Xây dựng tập dữ liệu ảnh thử nghiệm: Cơ sở 
dữ liệu thử nghiệm cho 36 cử chỉ tương ứng 
có 36 tập ảnh, mỗi tập dùng thử nghiệm cho 
một cử chỉ. Các tập ảnh được thực hiện theo 
quy trình như sau: chụp bằng webcam hoặc 
camera ở độ phân giải 320x240 hoặc 640x480 
từ 100 người, mỗi người 100 ảnh cho mỗi cử 
chỉ trong các điều kiện chiếu sáng khác nhau 
và phông nền phức tạp như: dưới ánh sáng 
đèn neon ở nhiều phòng khác nhau, ánh sáng 
tự nhiên vào các thời điểm khác nhau. 
Như vậy, cơ sở dữ liệu do chúng tôi xây dựng 
có sự đa dạng về loại cử chỉ (36 cử chỉ). Đối 
tượng tham gia thu nhận đa dạng. Phông nền, 
điều kiện chiếu sáng đa dạng trong môi 
trường thực tế. Số lượng cử chỉ lớn. Cơ sở dữ 
liệu này có thể đáp ứng nhu cầu phát triển, 
thử nghiệm các thuật toán nhận dạng hình 
trạng bàn tay và đánh giá các thuật toán này ở 
nhiều khía cạnh khác nhau. 
KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU 
TIẾP THEO 
Chúng tôi đã xây dựng được một bộ cơ sở dữ 
liệu cử chỉ tay với tập cử chỉ đa dạng, số 
lượng lớn, điều kiện thu nhận phức tạp, đa 
dạng trong môi trường thực tế dựa trên tập 
quy ước của ngôn ngữ cử chỉ ASL. Nhóm 
nghiên cứu đã thực hiện chụp ảnh trong môi 
trường thực tế, sử dụng các phần mềm chuyên 
dụng để xử lý và xây dựng cơ sở dữ liệu cho 
quá trình huấn luyện. Cơ sở dữ liệu này tốt 
hơn những cơ sở dữ liệu đang tồn tại trong 
mục đích phát triển, thử nghiệm đánh giá các 
phương pháp nhận dạng cử chỉ tay cũng như 
việc phát triển hệ thống ứng dụng. Chúng tôi 
dự định sẽ sử dụng cơ sở dữ liệu này trong 
việc nghiên cứu phát triển các hệ thống nhận 
dạng cử chỉ tay, đồng thời tiếp tục đánh giá và 
bổ sung cơ sở dữ liệu để nâng cao chất lượng. 
TÀI LIỆU THAM KHẢO 
[1]. S. Mitra and T. Acharya, “Gesture 
Recognition: A Survey,” IEEE Transactions on 
Systems, Man and Cybernetics, Part C 
(Applications and Reviews), vol. 37, no. 3, pp. 
311–324, May 2007. 
[2]. T. T. T. Hai, N. Q. Cuong, M. D. Khoa, and 
V. X. Huy, “Báo cáo về nhận dạng cử chỉ bàn 
tay,” 2010. 
[3]. J. J. and L. Jr, “A Survey of Hand Posture and 
Gesture Recognition Techniques and Technology, 
Technical Report CS-99-11, Brown University, 
Department of Computer Science.,” 1999. 
[4]. R. Watson, “A Survey of Gesture Recognition 
Techniques Technical Report TCD-CS-93-11, 
Department of Computer Science Trinity College, 
Dublin 2,” 1993. 
[5]. T. Kim, S. Wong, and R. Cipolla, “Tensor 
Canonical Correlation Analysis for Action 
Classification,” in IEEE Conference on Computer 
Vision and Pattern Recognition (CVPR), 2007. 
[6]. S. Marcel, “Hand posture recognition in a 
body-face centered space,” in CHI EA ’99 CHI 
'99 extended abstracts on Human factors in 
computing systems, 1999, pp. 302–303. 
[7]. S. Marcel, O. Bernier, J.-E. Viallet, and D. 
Collobert, “Hand gesture recognition using input-
output hidden Markov models,” in Proceedings 
Fourth IEEE International Conference on 
Automatic Face and Gesture Recognition (Cat. 
No. PR00580), 2000, no. Figure 1, pp. 456–461. 
[8]. J. . Triesch and C. von der Malsburg, “Robust 
classification of hand postures against complex 
backgrounds,” in The Second International 
Conference on Automatic Face and Gesture 
Recognition, 1996., 1996, pp. 170 – 175. 
[9]. N. D. Binh and T. Ejima, “Hand Gesture 
Recognition Using Fuzzy Neural Network,” in 
GVIP 2005, 2005, no. December, pp. 19–21. 
Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 99(11): 145 - 150 
 150
[10].“
haartraining.googlecode.com/svn/trunk/data/negati
ves/.” . 
[11]. 
“
tml#z97120d9.” . 
SUMMARY 
BUILDING A NEW AND DIVERSE HAND-GESTURE DATABASE 
Nguyen Thi Tinh*, Nguyen Thi Thanh Tam, Nguyen Van Toi, Le Thu Trang 
College of Information and Communication Technology – TNU 
This article presents a hand gesture database including letters, digits in sign language for the 
purpose of the development, testing and implementation of the hand gesture recognition system. 
The hand gesture is an effective means of communication among humans. Currently, the study of 
automatic methods for gesture recognition to control machines such as computer programs, 
communication with the robot as well as applications in supporting communication for the hearing 
impaired people is interested by many scientists. The research and development require a diverse 
gesture database, consistent with the realistic application environment. There exist a number of 
hand gesture database meeting this demand. However, each type of existing databases has its own 
limitations, and cannot meet the rapid development in the present and the future. Therefore, we 
built a better database of hand gestures overcoming the disadvantages of the existing databases. 
Database that we built based on the alphabet, numbers of sign language ASL (American Sign 
Language). This is a set of standard gestures and widely used. Hand gesture database that we built 
is diverse. We collected data in real environments with different lighting conditions. This database 
can meet the needs of the research, testing methods as well as the implementation of hand gesture 
recognition application. 
Key words: hand gesture, recognition system, gesture recognition, gesture database, American 
Sign Language 
Ngày nhận bài:06/11/2012, ngày duyệt đăng:18/11/2012, ngày duyệt đăng:10/12/2012 
*
 Tel: 0986 060186, Email: nttinh@ictu.edu.vn