Nhận dạng các tư thế con người từ dữ liệu của cảm biến độ sâu sử dụng đặc trưng khoảng cách và màu da

192 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT Tập 7, Số 2, 2017 192–204 
NHẬN DẠNG CÁC TƯ THẾ CON NGƯỜI 
TỪ DỮ LIỆU CỦA CẢM BIẾN ĐỘ SÂU SỬ DỤNG ĐẶC TRƯNG 
KHOẢNG CÁCH VÀ MÀU DA 
Đinh Đồng Lưỡnga* 
 aKhoa Công nghệ Thông tin, Trường Đại học Nha Trang, Khánh Hòa, Việt Nam 
Nhận ngày 09 tháng 01 năm 2017 | Chỉnh sửa ngày 11 tháng 04 năm 2017 
Chấp nhận đăng ngày 18 tháng 05 năm 2017 
Tóm tắt 
Bài báo trình bày một cách tiếp cận mới để nhận dạng phục vụ tái tạo tư thế con người từ dữ 
liệu ảnh của cảm biến độ sâu (Kinect camera), sử dụng đặc trưng khoảng cách trên dữ liệu 
ảnh độ sâu và xác định vùng da trên ảnh màu tương ứng. Đầu tiên, thông tin từ ảnh độ sâu 
được xử lý và biểu diễn dạng đồ thị khoảng cách. Những điểm quan tâm trên cơ thể người 
hay cụ thể là các điểm khớp nối sẽ được xác định dựa vào đặc trưng khoảng và dò tìm các 
vùng bàn tay, bàn chân và mặt thông qua ảnh màu tương ứng bằng thuật giải dò tìm vùng 
da (skin detection) trên ảnh màu. Khoảng cách được tính từ các điểm trên đồ thị tới một điểm 
trọng tâm của cơ thể. Sử dụng các điểm khớp đã được tính để xác định ma trận chuyển đổi 
trên mỗi thành phần. Các ma trận được xác định sẽ được ánh xạ lên mô hình người 3D. Cuối 
cùng, mô hình người 3D phản ánh việc tái tạo tư thế của con người. Trong phần thực nghiệm, 
chúng tôi đã đánh giá kết quả của việc tái tạo lại các tư thế con người bằng phương pháp 
định tính cho kết quả cải thiện so với việc chỉ dùng đặc trưng khoảng cách và có thể thực 
hiện thời gian thực. 
Từ khóa: 3D human body model; 3D human pose recovery; Depth image; Geodesic distance. 
1. GIỚI THIỆU 
Ngày nay, việc tái tạo các tư thế của con người dựa trên thông tin ảnh độ sâu 
(depth image) đang trở thành chủ đề nóng trong lĩnh vực thị giác máy tính, đặc biệt là tái 
tạo các tư thế phức tạp khi thông tin đầu vào của đối tượng không đầy đủ. Những kết quả 
của việc phân tích, tái tạo và nhận dạng các tư thế con người có ý nghĩa quan trọng trong 
các lĩnh vực liên quan tới các dịch vụ giải trí, theo dõi giám sát người nơi công cộng, tự 
động hóa, nhận dạng các hoạt động của con người, giao tiếp giữa người và máy, trong 
các lĩnh vực chăm sóc sức khỏe và khoa học thể thao (Moeslund, Hilton, & Kruger, 2006). 
* Tác giả liên hệ: Email: luongdd@ntu.edu.vn 
 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [ĐẶC SAN CÔNG NGHỆ THÔNG TIN] 193 
Hiện nay có nhiều cách tiếp cận để giải quyết bài toán tái tạo các hoạt động của 
con người dựa trên ảnh. Tuy nhiên, việc sử dụng ảnh độ sâu phục vụ tái tạo tư thế con 
người cũng được quan tâm gần đây (Chen, Wei, & Ferryman, 2013). Để tái tạo lại các tư 
thế, các hoạt động của con người từ các ảnh độ sâu, ba cách tiếp cận chính là tiếp cận dựa 
vào những cặp ánh xạ trên hai tập của hai đối tượng (point set registration), dựa trên gán 
nhãn cho các phần trên cơ thể (body part lable), và dựa trên đồ thị khoảng cách (geodesic 
map). 
Trong cách tiếp cận thứ nhất, mục đích chính là việc tìm ra được các cặp điểm 
tương đương trên đối tượng mẫu và đối tượng cần tái tạo. Nhiều giải thuật cũng đã được 
đề xuất theo cách tiếp cận này như giải thuật ICP (Iterative Closest Point). Đây là giải 
thuật điển hình trong việc tìm ra các cặp điểm tương đương trên hai tập điểm thuộc hai 
đối tượng và nó được sử dụng rộng rãi trong lĩnh vực xác định mô hình 3D tương ứng với 
đối tượng (Tam và ctg., 2013). Trong cách tiếp cận của Kim và Kim (2008) và 
Mundermann, Corazza, và Andriacchi (2007), các tác giả sử dụng giải thuật ICP để ánh 
xạ từng phần của mô hình với đối tượng cần tái tạo thông qua các khớp nối. Tuy nhiên 
hạn chế của giải thuật này là chúng cần khởi tạo bằng việc đưa vào tư thế ban đầu và tư 
thế này luôn phải đảm bảo có sự tương tự so với mô hình cần tìm. Điều này dẫn đến việc 
ánh xạ từ các tư thế phức tạp thì điều kiện khởi tạo không được thỏa mãn dẫn đến kết quả 
không được như mong đợi do sự tối ưu cục bộ được sử dụng trong giải thuật trong việc 
xác định cặp điểm tương đương trên hai đối tượng dẫn đến kết quả bị sai. 
Cách tiếp cận dựa trên gán nhãn cho các thành phần trên cơ thể người như trong 
nghiên cứu của Shotton và ctg. (2013) và Dinh, Han, Jeon, Lee, và Kim (2013), các tác 
giả đề xuất một phương pháp hiệu quả trong việc nhận dạng các thành phần cơ thể con 
người bằng cách nhận dạng từng điểm ảnh (pixel) bằng phương pháp rừng cây ngẫu nhiên 
RFs (Random Forests). Cách tiếp cận này cho phép nhận dạng hiệu quả các thành phần 
trên cơ thể người dựa vào ảnh độ sâu thu được từ máy ảnh chuyên dụng. Số thành phần 
được nhận dạng lên tới 31 nhãn. Tuy nhiên phương pháp này gặp phải khó khăn trong 
việc xây dựng cơ sở dữ liệu cho việc huấn luyện là rất lớn và phải chứa đựng đầy đủ các 
tư thế cần nhận dạng. Vì lý do này mà độ chính xác trong nhận dạng sẽ thấp đối với các 
cơ sở dữ liệu không đủ lớn và đầy đủ. 
194 Đinh Đồng Lưỡng 
Dựa trên lý thuyết đồ thị để thực hiện các ước lượng vị trí và thông tin cho việc 
tái tạo mô hình người 3D như đề cập trong các nghiên cứu của Ganapathi, Plagemann, 
Koller, và Thrun (2010) và Schwarz, Mkhitaryan, Mateus, và Navab (2012). Cách tiếp 
cận này tập trung biểu diễn lại tập điểm của ảnh độ sâu thành dạng đồ thị trọng số và sau 
đó xây dựng đồ thị khoảng cách được tính từ tất cả các đỉnh tới một điểm trọng tâm của 
đối tượng thuộc đồ thị. Cách tiếp cận này có chi phí tính toán thấp. Tuy nhiên, việc giải 
quyết các trường hợp có tư thế phức tạp còn nhiều hạn chế và không ổn định do việc xây 
dựng đồ thị khoảng cách thiếu thông tin. 
Để loại bỏ những hạn chế như đã trình bày trên, bài báo này trình bày cách tiếp 
cận để tái tạo tư thế toàn bộ con người từ ảnh độ sâu được thu nhận từ máy ảnh 3D (depth 
camera) và sử dụng đặc trưng khoảng cách kết hợp với việc gán nhãn và dò tìm vùng da 
của đối tượng trên ảnh màu được thu nhận từ máy ảnh 3D để nâng cao hiệu quả của 
phương pháp đề xuất. Ý tưởng cơ bản thực hiện gồm: Thông tin 3D của mỗi điểm ảnh 
được lấy từ ảnh độ sâu sẽ được biểu diễn dưới dạng đồ thị gồm các đỉnh và cạnh. Các 
điểm được quan tâm trong vùng tương ứng là các điểm khớp (landmarks) của mô hình 
người. Các vị trí này sẽ được tìm dựa trên đồ thị khoảng cách. Vị trí các điểm khớp trên 
cơ thể được xác định sẽ được ánh xạ sang mô hình người 3D đã được thiết lập sẵn, mô 
hình cơ thể người gồm khối Ellipsoid, mỗi khối sẽ tương ứng với một bộ phận cơ thể. Kết 
quả của việc tái tạo tư thế được cập nhật qua mô hình 3D. 
Trong bài báo này, Mục 1 là giới thiệu tổng quan về bài toán và kiến thức liên 
quan đã và đang nghiên cứu; Mục 2 trình bày phương pháp được đề xuất; Mục 3 trình 
bày một số kết quả đạt được của phương pháp đề xuất. Cuối cùng là kết luận bài báo. 
2. PHƯƠNG PHÁP ĐỀ XUẤT 
Hình 1 trình bày các bước tái tạo tư thế của con người tự động dựa theo mô hình 
từ dữ liệu ảnh độ sâu được thu nhận từ cảm biến độ sâu. Mỗi ảnh độ sâu sau khi được loại 
bỏ thông tin nền (background) chỉ còn lại thông tin về toàn bộ cơ thể người (human depth 
silhouette). Tập các điểm ảnh sẽ được biểu diễn thành đồ thị trọng số gồm các đỉnh tương 
ứng các điểm ảnh. Việc dò tìm vị trí các điểm chính (primary landmarks) trên cơ thể 
người như đầu, hai tay và hai chân được thực hiện trên ảnh độ sâu dựa trên đồ thị khoảng 
 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [ĐẶC SAN CÔNG NGHỆ THÔNG TIN] 195 
cách. Những điểm khác (secondary landmarks) như khuỷu tay, đầu gối chân được tính từ 
các điểm chính và các thông tin gán nhãn trên mỗi điểm ảnh và những ràng buộc trên mô 
hình cơ thể để đạt được kết quả mong muốn. Trong nghiên cứu này chúng tôi sử dụng 
đặc trưng khoảng cách Euclidean được tính giữa hai điểm trên cơ thể, biết rằng khoảng 
cách các điểm trên một đối tượng là không thay đổi khi con người cử động và thay đổi tư 
thế. 
Hình 1. Lưu đồ các bước tái tạo tư thế con người từ ảnh độ sâu dựa vào đặc trưng 
khoảng cách 
2.1. Thu nhận và biểu diễn ảnh độ sâu 
Trong nghiên cứu này chúng tôi sử dụng thiết bị Kinect (Kinect Xbox 360) của 
hãng Microsoft để thu nhận ảnh. Để biểu diễn dữ liệu ảnh độ sâu được chụp từ Kinect 
thành dữ liệu trong không gian 3D. Gọi X, Y, Z là tọa độ trong không gian 3D tương ứng 
trên các trục x, y, và z. Mối quan hệ giữa các điểm (pixels) trong ảnh độ sâu và các điểm 
trong không gian 3D được tính như sau: 
DZ
f
Z
vY
f
Z
cX ,, (1) 
Ở đây tham số f là độ dài ống kính (focal length), D là giá trị độ sâu của ảnh tương 
ứng khoảng cách được tính từ máy ảnh tới đối tượng được thu nhận, c và v là chỉ số hàng 
và chỉ số cột của điểm ảnh. Kết quả chuyển đổi các điểm ảnh sang không gian 3D được 
minh họa như trong Hình 2. 
196 Đinh Đồng Lưỡng 
(a) 
(b) 
Hình 2. Biểu diễn ảnh trong không gian 3D 
Ghi chú: (a) Ảnh độ sâu (depth image); (b) Ảnh trong không gian 3D 
2.2. Xây dựng đồ thị từ dữ liệu ảnh 3D 
Sau khi đã biểu diễn các ảnh độ sâu dưới dạng tập điểm trong không gian 3D. Gọi 
xi,j là một điểm được biểu diễn trong không gian 3D tương ứng với điểm ảnh tại ví trí (i,j) 
trong ảnh độ sâu. Chúng ta sẽ xây dựng đồ thị Gt=(Vt, Et), ở đây Vt là tập các đỉnh xi,j và 
Et  Vt x Vt là các cạnh của đồ thị Gt. Hai đỉnh trong đồ thị được gọi là láng giềng hay 
không thì dựa vào giá trị khoảng cách giữa hai đỉnh này. Khoảng cách giữa hai đỉnh bất 
kỳ trong đồ thị được tính như sau: 
1),(),(|,|),{(  
TT
klijttklijt lkjixxVVxxE  (2) 
Ở đây ‖𝑥𝑖𝑗 , 𝑥𝑘𝑙‖2 độ dài Euclidean và 
‖(𝑖, 𝑗)𝑇 − (𝑘, 𝑙)𝑇‖∞ là giá trị lớn nhất được 
chuẩn hóa và (𝑖, 𝑗)𝑇, (𝑘, 𝑙)𝑇là tọa độ của hai điểm trong ảnh trong không gian 2D. Đối 
với mỗi cạnh e=(x,y) Et, chúng ta lưu trữ một trọng số w=||x-y||2. Vì vậy, việc kết nối 
các điểm trong không gian 3D với khoảng cách Euclidean của chúng nhỏ hơn . Sử dụng 
Gt để có thể tính khoảng cách (geodesic distance) dG(x,y) giữa hai điểm x,y Vt và được 
tính như trong (3). 
 ),( )(),( yxSPeG ewyxd (3) 
Ở đây SP(x, y) chứa đựng tất cả các cạnh (SP: Shortest path) trên đường đi từ x 
tới y là ngắn nhất. Để thực hiện tìm đường đi ngắn nhất giữa hai đỉnh bất kỳ chúng tôi sử 
dụng giải thuật Dijkstra. 
 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [ĐẶC SAN CÔNG NGHỆ THÔNG TIN] 197 
2.3. Xây dựng đồ thị khoảng cách 
Từ đồ thị Gt=(Vt, Et) đã được tạo, chúng tôi xây dựng đồ thị khoảng cách được 
tính từ tất cả các điểm của đồ thị Gt tới một điểm trên đồ thị được coi là tâm đồ thị, tương 
ứng ví trị điểm tâm của cơ thể người (human centroid point), chúng ta có thể quan sát các 
điểm này trên các đối tượng trong Hình 3 là các điểm thường nằm ở vùng “bụng” trên cơ 
thể người. Khoảng cách các điểm tới điểm trọng tâm này được coi như không thay đổi 
khi tư thế thay đổi như minh họa trên Hình 3. 
(a) 
(b) 
(c) 
(d) 
Hình 3. Minh họa các đồ thị khoảng cách được lượng tử hóa thành các mã màu 
(Blue: Min; Red: Max distance) trên đối tượng có tư thế khác nhau 
Ghi chú: (a) Ảnh độ sâu; (b) Đồ thị khoảng cách tương ứng ảnh (a); (c) Ảnh độ sâu; 
(d) Đồ thị khoảng cách tương ứng ảnh (c) 
2.4. Dò tìm các điểm khớp (anatomical landmarks) 
Sau khi xây dựng đồ thị khoảng cách, chúng tôi xác định vị trí của các điểm khớp 
trên cơ thể người. Trong bài toán này chúng tôi xác định 17 vị trí khớp trên cơ thể như 
trình bày trên Hình 4. Trong đó 6 điểm chính (primary landmarks) và 11 điểm khác 
(secondary landmarks). 
Hình 4. Vị trí của các điểm khớp trên cơ thể người 
2.4.1. Định vị các điểm chính (primary landmarks) 
Các điểm chính trên cơ thể gồm 6 điểm bao gồm điểm vùng đầu, vùng tay trái, 
tay phải, chân trái, chân phải và điểm trọng tâm. Vị trí của các điểm này được xác định 
198 Đinh Đồng Lưỡng 
trong vùng bàn tay trái phải, chân trái phải, đầu và vùng bụng. Đầu tiên là dò tìm vị trí 
trọng tâm trên cơ thể, đây cũng là điểm trọng tâm của đồ thị khoảng cách. Để dò tìm 5 
điểm còn lại được dựa vào đồ thị khoảng cách với giá trị ngưỡng 𝜏 đã được lấy bằng thực 
nghiệm. Từ đồ thị khoảng cách, các vùng có khoảng cách lớn nhất từ điểm trọng tâm sẽ 
được sử dụng để dò tìm các điểm chính. Để có được các điểm ngưỡng chính xác chúng 
tôi sử dụng tư thế đầu tiên đứng thẳng hai tay giơ ngang được gọi là T-pose cho việc khởi 
tạo đối mỗi đối tượng là khác nhau. 
2.4.2. Định vị các điểm khác (secondary landmarks) 
Sau khi xác định được các điểm chính, chúng tôi sử dụng các phép đo để nội suy 
ra 11 điểm khác tương ứng các vị trí khớp nối trên cơ thể gồm cổ, vai trái, phải, đầu gối 
tay trái, phải, hông, đầu gối, mắt cá chân trái, phải. Để tăng độ chính xác chúng tôi sử 
dụng thêm thông tin về nhãn đã được gán bằng giải thuật phân lớp Random Forest 
(Shotton và ctg., 2011; Dinh và ctg., 2013). Năm nhánh của đồ thị khoảng cách được tìm 
dựa trên 5 điểm chính đã biết trước. Kết hợp đồ thị khoảng cách và đồ thị gán nhãn ta dò 
tìm các điểm phụ khác (secondary landmarks) các bước được chi tiết được trình bày trên 
Hình 5. 
Hình 5. Xác định các điểm phụ (secondary landmarks) 
2.4.3. Dò tìm các điểm khớp trong tư thế phức tạp 
Trong một số tư thế mà ở đó một số thành phần trên đối tượng bị che khuất, dẫn 
đến thông tin trên ảnh độ sâu không được đầy đủ, điều này dẫn đến việc xây dựng đồ thị 
khoảng cách bị thiếu thông tin và kết quả dò tìm các khớp có thể bị thiếu hoặc sai lệch. 
Để giải quyết trường hợp này, chúng tôi sử dụng thêm phương pháp dò tìm vùng da tay 
bằng phương pháp skin dectection và nhận dạng vùng mặt trên ảnh màu để tăng độ chính 
xác dò tìm các điểm primary landmarks cũng như để nâng cao kết quả dò tìm các 
secondary landmarks. 
 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [ĐẶC SAN CÔNG NGHỆ THÔNG TIN] 199 
2.5. Xây dựng mô hình 3D sử dụng điểm khớp 
Mô hình người 3D được xây dựng từ các Ellipsoid và các điểm khớp (Thang và 
ctg., 2010). Ở đây mỗi phần của cơ thể được biểu diễn tương ứng một Ellipsoid và được 
điều khiển bởi một ma trận tham số (kinematic parameter). Công thức của mỗi Ellipsoid 
trong không gian 4D được biểu diễn như sau (Thang và ctg., 2010). 
02)( XDSQSQXXq v
TT
v
T (4) 
Ở đây D=diag[a-2, b-2, c-2] là thông tin về kích thước của Ellipsoid, S là vị trí 
trọng tâm của Ellipsoid trong hệ trục tọa độ, 𝑄𝜃 là ma trận chuyển đổi và 𝑋 = [𝑥, 𝑦, 𝑧, 1]
𝑇 
là tọa độ của các điểm thuộc Ellipsoid trong 3D. Các khớp nối trong mô hình 3D có thể 
đạt 3 bậc tự do (DOF: Degree of freedom), trong khi đó sự chuyển đổi từ hệ trục toàn cục 
sang hệ trục cục bộ tại vị trí ‘hông’ trong mô hình đạt 6 bậc tự do (3 phép quay và 3 phép 
dịch chuyển theo ba trục). Toàn bộ mô hình người 3D được mô tả trong Hình 6. Để giống 
hơn với con người, chúng tôi sử dụng các khối super-quadrics thay cho Ellipsoid như 
công thức mô tả ở (5). 
0
00
2
0
2
0
0,
2
111 cz
c
z
c
sz
b
y
a
x d
 (5) 
Ở đây a0, b0 và c0 xác định kích thước của khối super-quadric theo các trục x, y và 
z tương ứng. 
Hình 6. Mô hình người 3D với mỗi phần là một Ellipsoid (super-quadrics) 
Việc ước lượng tổng cộng 17 điểm khớp được sử dụng để cập nhật cho các tham 
số của mô hình để phản ánh những thay đổi của đối tượng. Cụ thể, chúng tôi ước lượng 
8 vector hướng để cập nhật lên 8 khối của mô hình tương ứng: Phần trên, dưới của tay 
trái, tay phải, phần trên, dưới của chân trái và chân phải. Chi tiết của mô hình và cập nhật 
các tham số của mô hình chi tiết trong Dinh và ctg. (2013) và Thang và ctg. (2010). 
200 Đinh Đồng Lưỡng 
3. THỰC NGHIỆM 
3.1. Thiết lập thực nghiệm 
Chúng tôi đánh giá việc tái tạo các tư thế con người sử dụng cảm biến ảnh độ sâu 
(Kinect camera, PrimeSense). Kinect cho phép thu nhận được cả ảnh độ sâu và ảnh màu 
với độ phân giải 640x480 pixels. Mỗi chuỗi dữ liệu được thu để thực hiện trong mỗi thí 
nghiệm có độ dài 500 khung hình. Đối tượng thực hiện đoạn thí nghiệm được yêu cầu 
đứng cách cảm biến Kinect từ 2 đến 4m. Đánh giá kết quả đạt được của bài báo được dựa 
trên ước lượng định tính (qualitative evaluation), kết quả tái tạo được thể hiện ngay trên 
cái bóng của dữ liệu gốc đầu vào của tư thế cần tái tạo. 
3.2. Dò tìm các điểm chính 
Trong thí nghiệm này, chúng tôi đã xây dựng đồ thị khoảng cách để dò tìm các 
điểm primary landmarks đối với các tư thế đơn giản. Đầu tiên chúng tôi cố gắng tìm ra 
các vị trí của các điểm primary landmarks (vùng tay trái, phải, vùng chân trái, phải, vùng 
đầu và điểm trọng tâm vùng bụng) trên các tư thế đơn giản. 
Hình 7. Kết quả của việc dò tìm các điểm chính (primary landmarks) 
Ghi chú: Hàng trên là đối tượng biễu diễn bằng đồ thị khoảng cách, hàng dưới là 6 vị trí landmark được 
xác định trên mỗi tư thế 
Việc xác định điểm trọng tâm dựa trên tính trung bình theo ba tọa độ x, y, z của 
toàn bộ các điểm thuộc cơ thể người. Các điểm trên vị trí đầu, hai tay và hai chân dựa 
trên đồ thì khoảng cách. Hình 8 trình bày một số tư thế phức tạp, việc xác định các điểm 
primary landmarks có thể bị thiếu hoặc sai do đồ thị khoảng cách được xây dựng bị thiếu 
thông tin các đỉnh cũng như khoảng cách. Trong trường hợp này nếu chỉ sử dụng đặc 
 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [ĐẶC SAN CÔNG NGHỆ THÔNG TIN] 201 
trưng khoảng cách thì kết quả xác định các điểm chính là thấp như trình bày ở hàng 2 của 
Hình 8. Để nâng cao hiệu quả của hệ thống, chúng tôi có sử dụng thêm kỹ thuật hỗ trợ 
tìm primary landmarks thông qua dò tìm vùng da bằng thuật giải skin detection trên ảnh 
màu tương ứng để hỗ trợ việc tìm các điểm primary landmarks thường quan sát thấy là 
vùng da như mặt, hai tay và hai chân. 
Hình 8. Kết quả dò tìm các primary landmarks cho các tư thế phức tạp 
Ghi chú: Hàng thứ 1 là biểu diễn đồ thị khoảng cách được tính từ tất cả các điểm tới điểm trọng tâm đối 
tượng; Hàng thứ 2 là kết quả dò tìm các primary landmarks sử dụng đặc trưng khoảng cách; Hàng thứ 3 là 
kết quả dò tìm các primary landmarks, dò tìm vùng da và nhận dạng vùng mặt. Hàng thứ 4 là kết quả dò 
tìm kết hợp giữa đặc trưng khoảng cách và kỹ thuật dò tìm vùng da và nhận dạng vùng mặt 
3.3. Tái tạo tư thế trên mô hình 3D 
Việc xác định các vị trí các khớp trên ảnh độ sâu được sử dụng để ánh xạ lên mô 
hình 3D. Thông tin về vị trí của 17 điểm và dựa trên khớp này để tính ra 8 vector hướng 
tương ứng với 8 khối trên mô hình gồm phần trên, dưới của tay trái, phải, phần trên, dưới 
của chân trái và phải thông qua các ma trận biến đổi (transformation matrix) Q cho mỗi 
phần của trên mô hình 3D. Kết quả được trình bày trên Hình 9. 
202 Đinh Đồng Lưỡng 
Hình 9. Tái tạo các tư thế đơn giản của con người từ ảnh độ sâu 
Ghi chú: Hàng thứ 1 là đồ thị khoảng cách; Hàng thứ 2 là kết quả dò tìm các vị trí khớp trên ảnh; 
Hàng thứ 3 là kết quả việc tái tạo các hoạt động con người trên mô hình 3D 
Hình 10. Tái tạo các tư thế phức tạp trên hai tay của con người 
Ghi chú: Hàng thứ 1 là đồ thị khoảng cách; Hàng thứ 2 là kết quả dò tìm các vị trí khớp trên ảnh; 
Hàng thứ 3 là kết quả việc tái tạo các hoạt động con người trên mô hình 3D 
Hình 11. Tái tạo các tư thế phức tạp trên hai tay và hai chân của con người 
Ghi chú: Hàng thứ 1 là đồ thị khoảng cách; Hàng thứ 2 là kết quả dò tìm các vị trí khớp trên ảnh; 
Hàng thứ 3 là kết quả việc tái tạo các hoạt động con người trên mô hình 3D 
4. KẾT LUẬN 
Chúng tôi đã đề xuất một hệ thống để tái tạo các tư thế con người từ ảnh độ sâu 
sử dụng đặc trưng khoảng cách kết hợp với việc dò tìm vùng da trên ảnh màu tương ứng 
để hỗ trợ việc tìm các primary landmarks cho kết quả tốt hơn. Việc xây dựng một đồ thị 
 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [ĐẶC SAN CÔNG NGHỆ THÔNG TIN] 203 
khoảng cách từ các điểm trên ảnh độ sâu cho phép dò tìm các điểm khớp trên cơ thể một 
cách hiệu quả trên các tư thế đơn giản như có thành phần không bị bắt chéo nhau, giao 
nhau và tiếp xúc nhau. Để nâng cao hiệu quả hệ thống đối với các tư thế phức tạp, chúng 
tôi đã tích hợp thêm các kỹ thuật gán nhãn cho các vị trí landmarks trong trường hợp 
phương pháp dùng đặc trưng khoảng cách không xác định được bằng cách dò tìm vùng 
da trên ảnh màu tương ứng để tăng kết quả tái tạo. 
TÀI LIỆU THAM KHẢO 
Chen, L., Wei, H., & Ferryman, J. (2013). A survey of human motion analysis using depth 
imagery. Pattern Recognition Letters, 34(15), 1995-2006. 
Dinh, D. L., Han, H. S., Jeon, H. J., Lee, S., & Kim, T. S. (2013). Principal direction 
analysis-based real-time 3D human pose reconstruction from a single depth image. 
Paper presented at The Fourth Symposium on Information and Communication 
Technology, Vietnam. 
Ganapathi, V., Plagemann, C., Koller, D., & Thrun, S. (2010). Real time motion capture 
using a single time-of-flight camera. Paper presented at The IEEE Conference on 
Computer Vision and Pattern Recognition (CVPR), USA. 
Kim, D., & Kim, D. (2008). A novel fitting algorithm using the ICP and the particle filters 
for robust 3D human body motion tracking. Paper presented at The ACM Workshop 
on Vision Networks for Behavior Analysis, Canada. 
Moeslund, T. B., Hilton, A., & Kruger, V. (2006). A survey of advances in vision-based 
human motion capture and analysis. Computer Vision and Image Understanding, 
104(2), 90-126. 
Mundermann, L., Corazza, S., & Andriacchi, T. P. (2007). Accurately measuring human 
movement using articulated ICP with soft-joint constraints and a repository of 
articulated models. Paper presented at the 2007 IEEE Conference on Computer 
Vision and Pattern Recognition, USA. 
Schwarz, L. A., Mkhitaryan, A., Mateus, D., & Navab, N. (2012). Human skeleton 
tracking from depth data using geodesic distance and optical flow. Image and Vision 
Computering, 30(3), 217-226. 
Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A., 
& Blake, A. (2013). Real-time human pose recognition in parts from single depth 
images. Communications of the ACM, 56(1), 116-124. 
Tam, G. K. L., Cheng, Z. Q., Lai, Y. K., Langbein, F. C., Liu, Y. H., Marshall, D., Martin, 
R. R., Sun, X. F., & Rosin, P. L. (2013). Registration of 3D point clouds and meshes: 
A survey from rigid to nonrigid. IEEE Transactions on Visualization and Computer 
Graphics, 19(7), 1199-1217. 
204 Đinh Đồng Lưỡng 
Thang, N. D., Kim, T. S., Lee, Y. K., & Lee, S. (2011). Estimation of 3-D human body 
posture via co-registration of 3-D human model and sequential stereo information. 
Applied Intelligence, 35(2), 163-177. 
HUMAN POSE RECOGNITION USING GEODESIC DISTANCE 
AND COLOR FEATURES WITH DEPTH CAMERA 
Dinh Dong Luonga* 
aThe Faculty of Information Technology, Nhatrang University, Khanhhoa, Vietnam 
*Corresponding author: Email: luongdd@ntu.edu.vn 
Article history 
Received: January 09th, 2017 | Received in revised form: April 11th, 2017 
Accepted: May 18th, 2017 
Abstract 
The paper presents an approach to recover a full-body 3D human pose using geodesic and 
color features captured by a depth camera. The 3D information obtained from the depth 
images is employed to represent the points belonging to a human body in the form of a graph. 
The interest points or landmark locations with definite geodesic distances from the human 
body centroid are extracted to locate areas of the hand, foot, and face based on color images 
using a skin detection algorithm. Utilizing the anatomical landmark locations, joint angles 
of the body parts are computed. The estimated joint angles are then mapped to the body parts 
of a 3D human body model, which consists of a set of connected parts. Finally, the 3D human 
model reflects the human pose estimate. In our experiments, we assessed the detection of 
anatomical landmarks by our algorithm and then the 3D pose recovery for simple hand 
gestures, complex hand gestures, simple full body movements and complex body movements. 
The qualitative results of pose approximations depict the fact that the presented methodology 
is efficient enough to get good estimates of various full body movements. 
Keywords: 3D human body model; 3D human pose recovery; Depth image; Geodesic 
distance.