Luật khẳng định, phủ định và ứng dụng
Lập luận khẳng định và phủ định được ứng dụng nhiều trong thực tế, đặc biệt là trong y
học. Trong bài báo này chúng tôi giới thiệu một số khái niệm mở rộng luật phủ định, luật
tối thiểu, thuật toán phát hiện tất cả luật khẳng định, phủ định tối thiểu do chúng tôi đề
xuất. Thử nghiệm trên một số tập dữ liệu của Đại học California, Irvine (UCI) và ứng dụng
trên cơ sở dữ liệu (CSDL) dạy-học của Trường Đại học Nha Trang đã cho thấy tính tin cậy
và ứng dụng thực tế của thuật toán do chúng tôi đề xuất.
Bạn đang xem tài liệu "Luật khẳng định, phủ định và ứng dụng", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
Tóm tắt nội dung tài liệu: Luật khẳng định, phủ định và ứng dụng
TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT Tập 8, Số 3, 2018 77–87 77 LUẬT KHẲNG ĐỊNH, PHỦ ĐỊNH VÀ ỨNG DỤNG Nguyễn Đức Thuầna*, Phạm Quang Tùngb, Hồ Thị Thu Saa aKhoa Công nghệ Thông tin, Trường Đại học Nha Trang, Khánh Hòa, Việt Nam bKhoa Cơ bản, Trường Sĩ quan Không quân, Khánh Hòa, Việt Nam *Tác giả liên hệ: Email: thuan.inf@ntu.edu.vn Lịch sử bài báo Nhận ngày 13 tháng 03 năm 2018 Chỉnh sửa ngày 13 tháng 08 năm 2018 | Chấp nhận đăng ngày 20 tháng 08 năm 2018 Tóm tắt Lập luận khẳng định và phủ định được ứng dụng nhiều trong thực tế, đặc biệt là trong y học. Trong bài báo này chúng tôi giới thiệu một số khái niệm mở rộng luật phủ định, luật tối thiểu, thuật toán phát hiện tất cả luật khẳng định, phủ định tối thiểu do chúng tôi đề xuất. Thử nghiệm trên một số tập dữ liệu của Đại học California, Irvine (UCI) và ứng dụng trên cơ sở dữ liệu (CSDL) dạy-học của Trường Đại học Nha Trang đã cho thấy tính tin cậy và ứng dụng thực tế của thuật toán do chúng tôi đề xuất. Từ khóa: Luật khẳng định; Luật khẳng định tối thiểu; Luật phủ định; Luật phủ định tối thiểu; Luật tối thiểu. Mã số định danh bài báo: Loại bài báo: Bài báo nghiên cứu gốc có bình duyệt Bản quyền © 2018 Các tác giả. Cấp phép: Bài báo này được cấp phép theo CC BY-NC-ND 4.0 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] 78 POSITIVE, NEGATIVE RULE AND APPLICATION Nguyen Duc Thuana*, Pham Quang Tungb, Ho Thi Thu Saa aThe Faculty of Information Technology, Nhatrang University, Khanhhoa, Vietnam bThe Faculty of Fundamental Sciences, Nhatrang Air Force Officer College, Khanhhoa, Vietnam *Corresponding author: Email: thuan.inf@ntu.edu.vn Article history Received: March 13th, 2018 Received in revised form: August 13th, 2018 | Accepted: August 20th, 2018 Abstract Positive and negative reasoning have been found to be very useful in practice, as is clear from the record of many real-life applications, especially in medicine. In this paper, we introduce the concepts of extended negative rule, minimal rule, and their properties. Then, an algorithm to generate all minimal positive and minimal negative rules is introduced. Experimental results obtained on data sets from the UCI repository of machine learning databases and the result of an experiment performed on a real-world dataset, the teaching and learning database at Nhatrang University were discussed. Keywords: Minimal negative rule; Minimal positive rule; Minimal rule; Negative rule; Positive rule. Article identifier: Article type: (peer-reviewed) Full-length research article Copyright © 2018 The author(s). Licensing: This article is licensed under a CC BY-NC-ND 4.0 Nguyễn Đức Thuần, Phạm Quang Tùng, và Hồ Thị Thu Sa 79 1. GIỚI THIỆU Các phương pháp sinh luật thường quan tâm đến các luật dạng if X then Y (X → Y). Tuy nhiên, trong một số lĩnh vực ngoài lập luận khẳng định còn cần thiết phải lập luận bác bỏ (negative reasoning), nhất là trong lĩnh vực y tế. Mỗi luật phủ định cũng có dạng if X then Y, nhưng X và Y có thể là một hạng tử phủ định (negative term). Trong những năm gần đây việc khai thác luật phủ định được nhiều tác giả quan tâm. Nhiều thuật toán được phát triển cho việc khai thác luật khẳng định và phủ định. Wu, Zhang, và Zhang (2004) thảo luận cách sử dụng luật kết hợp phủ định và xây dựng các ràng buộc để rút gọn không gian tìm kiếm. Ji và Tan (2004) đã nghiên cứu việc rút trích các luật khẳng định và phủ định cho biểu diễn gen, cũng dựa trên các luật kết hợp. Shusaku (2005) sử dụng các luật khẳng định và phủ định để dự báo trong y học. Hai năm gần đây, nhiều tác giả đã sử dụng các kỹ thuật khai luật kết hợp và các công cụ toán học như tập mờ, Naïve Bayes để phát hiện các luật khẳng định và phủ định như Shipra và Viek (2015); Sonam và Rjeev (2015). Những kết quả này rất đáng quan tâm, tuy nhiên độ phức tạp vẫn còn là một thách thức. Bài báo này dựa trên một số kết quả phát triển các luật khẳng định, luật phủ định được đề xuất bởi Shusaku (2005) của Nguyen (2013) để cài đặt ứng dụng thử nghiệm trên một số cơ sở dữ liệu. 2. MỘT SỐ KHÁI NIỆM CƠ SỞ 2.1. Hệ thống thông tin Hệ thống thông tin là một cặp S = (U, A), U là một tập hữu hạn khác rỗng các đối tượng, A là một tập hữu hạn khác rỗng các thuộc tính. Một bảng quyết định được định nghĩa như là một hệ thống thông tin S = (U, AD), A gọi là tập thuộc tính điều kiện, D gọi là tập thuộc tính quyết định. 2.2. Công thức Công thức nguyên tố (Shusaku, 2005) xác định trên tập thuộc tính BAD là các biểu thức có dạng [a = v], a B, v Va, với Va=Dom(a). Tập F(B, V) là tập hợp bé nhất chứa tất cả các công thức nguyên tử trên B và đóng đối với phép tuyển và phép phủ định. 2.3. Độ chính xác và độ phủ phân lớp Định nghĩa 1 (Shusaku, 2005): Cho R, Q là các công thức thuộc F(B, V), R là một công thức xác định trên tập thuộc tính điều kiện A, Q là một công thức xác định trên tập thuộc tính quyết định D. Độ chính xác, độ phủ của phân lớp xác định bởi R Q được biểu diễn lần lượt theo các công thức (1) và (2). TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] 80 αR(Q)= |RA∩QD| |RA| (1) κR(Q)= |RA∩QD| |QD| (2) Trong đó, |S| là bản số của S. 2.4. Luật nguyên tố Định nghĩa 2: (Nguyen, 2013) Luật R Q được gọi là luật nguyên tố, nếu R là một công thức nguyên tố. 2.5. Luật khẳng định Định nghĩa 3 (Shusaku, 2005): Luật R → Q, với R = j[aj = vk], vk ja V được gọi là luật khẳng định nếu αR(Q)=1.0. Định nghĩa 4 (Nguyen, 2013): Luật R → Q là luật khẳng định nguyên tố nếu R → Q là luật khẳng định và R là công thức nguyên tố. 2.6. Luật loại trừ và luật phủ định Định nghĩa 5 (Shusaku, 2005): Luật có dạng R Q, trong đó R = j[aj = vk], vk ja V thỏa κR(Q) = 1.0 được gọi là luật loại trừ. Định nghĩa 6 (Shusaku, 2005): Luật có dạng: j ¬[aj = vk] → ¬Q thỏa [aj = vk] 0.1)(][ Qkj va , trong đó vk jaV được gọi là luật phủ định. Trường hợp j = 1, luật phủ định được gọi là luật phủ định nguyên tố. 2.7. Luật phủ định mở rộng Định nghĩa 7 (Nguyen, 2013): Một luật phủ định mở rộng có dạng: j ¬ [aj = vk]→ ¬Q thỏa κR’(Q) = 1.0 với R’= j[aj = vk], vk ja V 2.8. Luật tối thiểu Định nghĩa 8 (Nguyen, 2013): (1) Luật R → Q được gọi là luật tối thiểu nếu: R’ là công thức được xây dựng từ R bằng cách loại bỏ một công thức thành phần thuộc R thì hai luật R Q và R’ Q là không cùng loại (khẳng định, phủ định mở rộng, loại trừ); Nguyễn Đức Thuần, Phạm Quang Tùng, và Hồ Thị Thu Sa 81 (2) Một luật khẳng định và là tối thiểu được gọi là luật khẳng định tối thiểu; (3) Một luật phủ định và là tối thiểu được gọi là luật phủ định tối thiểu. 3. CÁC THUẬT TOÁN CHO LUẬT KHẲNG ĐỊNH VÀ PHỦ ĐỊNH Shusaku (2005) đưa ra một thuật toán để suy dẫn tất cả luật khẳng định và phủ định dựa trên lý thuyết tập hợp thô. Nguyen (2013) trên cơ sở phát triển thuật toán của Shusaku (2005) đã đề xuất thuật toán xác định tất cả các luật khẳng định, phủ định tối thiểu với độ phức tạp của giải thuật là O( |)(||)(| || 1 ddomadom A i i ). Thuật toán như sau: Đầu vào: L = {[aj=vk] | aj A, vk ja V }; D = {[d = vi] | vi Vd}; Đầu ra: Pos, Neg: Tập các luật khẳng định, phủ định tối thiểu; Chi tiết thuật toán: La = L For each lớp tương đương của phân lớp [d = vi] do Begin //bắt đầu sinh luật khẳng định, phủ định nguyên tố //và tập ứng các viên để sinh luật tối thiểu Lp = La; Ln = La For each R = [aj = vk] in La do Begin Tính R(Q) và κR(Q) If R(Q) = 1.0 then Begin Pos = Pos + {R} La = La – {R} Lp = Lp – {R} Ln = Ln – {R} End If κR(Q) = 1.0 then Begin Neg = Neg + {R} Ln = Ln – {R} End If R(Q) = κR(Q) = 0 then Begin Lp = Lp – {R} Ln = Ln – {R} End End // Pos, Neg chứa luật khẳng định và phủ định nguyên tố // Ld là tất cả các cặp thuộc tính, mà có phần giao với [d = vi] TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] 82 // Bắt đầu sinh luật tối thiểu mà vế trái có từ 2 cặp thuộc tính - giá trị For i = 2 to n do Begin //n là số thuộc tính điều kiện LPi = liên kết () mỗi i cặp thuộc tính - giá trị trong từ LPi-1 và Lp LNi = liên kết () mỗi i cặp thuộc tính - giá trị trong từ LNi-1 và Ln For each R = i[aj = vk] in LPi do Begin If R(Q) = 1.0 then Begin Pos = Pos + {R} LPi = LPi – {R} End If R(Q) = 0 then LPi = LPi – {R} End For each R = i[aj = vk] in LNi do If κR(Q) = 1.0 then Begin Neg = Neg + {R} LNi = LNi– {R} End End // kết thúc sinh luật tối thiểu End // kết thúc vòng các lớp tương đương của tập thuộc tính quyết định Từ Pos và ¬Neg Sinh ra các luật khẳng định và phủ định tối thiểu. 4. KẾT QUẢ THỰC NGHIỆM VÀ ỨNG DỤNG Nhằm mục đích ứng dụng về lý thuyết cũng như các giải thuật đã được trình bày, chúng tôi xây dựng chương trình và tiến hành thực nghiệm trên các bộ dữ liệu UCI và bộ dữ liệu đánh giá công tác giảng dạy (bộ dữ liệu NTU Data) của Phòng Đảm bảo chất lượng và Khảo thí, Trường Đại học Nha Trang công bố. 4.1. Thực nghiệm trên một số bộ dữ liệu UCI Kết quả khảo sát tìm luật khẳng định nguyên tố trên các bộ dữ liệu UCI thể hiện ở Bảng 1. Bảng 1. Kết quả rút trích luật khẳng định, phủ định nguyên tố trên bộ dữ liệu UCI Bộ dữ liệu Số bản ghi Số thuộc tính Số lớp Số công thức Số luật khẳng định Số luật phủ định Car Evaluation 1728 6 4 21 2 1 Iris 150 4 3 123 80 0 Nursery 12960 8 5 27 1 9 Wine 178 13 3 1276 1005 0 Letter Recognition 20000 16 26 256 17 0 Machine 209 9 30 605 448 68 Chess Kr vs Kp 3196 36 2 73 4 4 Nguyễn Đức Thuần, Phạm Quang Tùng, và Hồ Thị Thu Sa 83 Bảng 1 cho thấy số lượng các luật khẳng định nguyên tố thường lớn hơn luật phủ định nguyên tố. Số luật nguyên tố chịu ảnh hưởng của số lượng các công thức có trong bảng quyết định. Việc tìm các luật nguyên tố có ý nghĩa quan trọng trong việc xác định ảnh hưởng của mỗi thuộc tính lên thuộc tính quyết định. Bảng 2 thể hiện kết quả rút trích luật khẳng định và phủ định tối thiểu từ một số bộ dữ liệu trong UCI. Bảng 2. Kết quả rút trích tất cả các luật tối thiểu ở một số bộ dữ liệu UCI Bộ dữ liệu Số bản ghi Số thuộc tính Số luật khẳng định tối thiểu Số luật phủ định tối thiểu Car Evaluation 1728 6 913 10 Iris 150 4 272 0 Tictactoe 958 9 29570 14927 Balance scale 625 4 580 0 Từ cơ sở lý thuyết và thực nghiệm cho ta thấy việc tìm tất cả các luật khẳng định và phủ định từ tập dữ liệu là một bài toán NP-khó do sự bùng nổ các tổ hợp thuộc tính và số lớp quyết định. Việc xác định các luật tối thiểu là nhằm thu gọn không gian xử lý, chỉ xem xét thuộc tính có ý nghĩa cần quan tâm, điều này cho phép khai thác tập luật được dễ dàng hơn. 4.2. Ứng dụng thực nghiệm Hằng năm, để nâng cao chất lượng giảng dạy tại Trường Đại học Nha Trang, Phòng Đảm bảo chất lượng và Khảo thí của Trường sẽ phát phiếu khảo sát chất lượng của mỗi môn học nói chung và chất lượng giảng dạy của giảng viên nói riêng đến sinh viên (Phụ lục). Biểu mẫu, cũng như nội dung khảo sát được Nhà trường thông qua, dựa vào các tiêu chí giáo dục đại học, do nhóm chuyên gia giáo dục đề xuất. Cơ sở dữ liệu của bài toán khảo sát chất lượng giảng viên của Trường Đại học Nha Trang sau chuyển đổi được được sử dụng trong các ứng dụng thực nghiệm của đề tài có các đặc tính sau: Tập thuộc tính điều kiện gồm 15 thuộc tính đại diện cho các câu hỏi liên quan trực tiếp đến việc đánh giá xếp loại giảng viên; Thuộc tính quyết định là thuộc tính: Xếp Loại; Cơ sở dữ liệu gồm 12032 bản ghi (NTU Data), mỗi bản ghi đại diện cho kết quả đánh giá tương ứng với một phiếu trả lời của sinh viên. Kết quả thu được của quá trình tìm các luật nguyên tố trên cơ sở dữ liệu NTU Data thể hiện ở Bảng 3. TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] 84 Bảng 3. Kết quả rút trích luật khẳng định, phủ định nguyên tố trên bộ dữ liệu NTU Data Bộ dữ liệu Số bản ghi Số thuộc tính Số lớp Số công thức Số luật khẳng định Số luật phủ định NTU Data 12032 15 4 60 0 0 Từ kết quả thực nghiệm trên Bảng 3 cho thấy bộ dữ liệu NTU Data của Trường Đại học Nha Trang không có luật nguyên tố nào. Điều này hoàn toàn phù hợp với thực tế, vì không thể xếp loại giáo viên chỉ thông qua một điều kiện thăm dò. Do bộ dữ liệu NTU Data có số lượng các bản ghi và số thuộc tính khá lớn nên ta chỉ xét các luật khẳng định, phủ định tối thiểu trên một số thuộc tính giới hạn. Bảng 4 thể hiện một số luật tối thiểu được rút ra từ bộ dữ liệu NTU Data. Bảng 4. Kết quả rút trích các luật tối thiểu từ bộ dữ liệu NTU Data Khi thực hiện thuật toán đề xuất với bộ dữ liệu NTU Data, sinh được ba luật khẳng định tối thiểu mà vế trái có hai công thức như các luật sau đây: 1. [A1=2] ^ [A9=1] [Class=1] 2. [A2=1] ^ [A6=2] [Class=1] 3. [A6=2] ^ [A13=1] [Class=1] Có thể chuyển về dạng luật trên thực tế như sau: Luật 1: If [GV truyền đạt rõ ràng, dễ hiểu = Tương đối đồng ý] and [GV nhiệt tình và có trách nhiệm trong giảng dạy = Đồng ý] then [Xếp loại = Rất tốt]. Luật 2: If [GV thường nêu vấn đề để SV suy nghĩ, trao đổi = Đồng ý] and [GV thực hiện đúng giờ lên lớp và kế hoạch giảng dạy = Tương đối đồng ý] then [Xếp loại = Rất tốt]. Luật 3: If [GV thực hiện đúng giờ lên lớp và kế hoạch giảng dạy = Tương đối đồng ý”] and [Nhận được nhiều kiến thức bổ ích từ học phần = Đồng ý] then [Xếp loại = Rất tốt]. Khi chạy chương trình với bộ dữ liệu NTU Data, sinh được 1137 luật khẳng định tối thiểu mà vế trái có nhiều nhất là ba công thức như các luật sau đây: . . . . . . . . . 919. [A9=2] ^ [A13=1] ^ [A14=1] [Class=1] Bộ dữ liệu Số bản ghi Số thuộc tính Số thuật toán khảo sát Số luật khẳng định Số luật phủ định NTU Data 12032 15 4 3 3 1137 0 0 Nguyễn Đức Thuần, Phạm Quang Tùng, và Hồ Thị Thu Sa 85 920. [A9=1] ^ [A14=2] ^ [A15=1] [Class=1] 921. [A10=1] ^ [A11=1] ^ [A12=2] [Class=1] 922. [A10=1] ^ [A11=1] ^ [A13=2] [Class=1] 923. [A10=1] ^ [A12=2] ^ [A14=2] [Class=1] 924. [A10=2] ^ [A12=1] ^ [A14=1] [Class=1] 925. [A11=2] ^ [A13=1] ^ [A14=1] [Class=1] . . . . . . . . . Có thể chuyển về dạng luật trên thực tế như sau: Luật 919: If [GV nhiệt tình và có trách nhiệm trong giảng dạy = Tương đối đồng ý] and [Nhận được nhiều kiến thức bổ ích từ học phần = Đồng ý] and [Được GV giải thích đầy đủ và rõ ràng các thắc mắc = Tương đối đồng ý] then [Xếp loại= Rất tốt]. Luật 920: If [GV nhiệt tình và có trách nhiệm trong giảng dạy = Đồng ý] and [Được GV giải thích đầy đủ và rõ ràng các thắc mắc = Tương đối đồng ý and [Được phát triển các kĩ năng tổng quát = Đồng ý] then [Xếp loại = Rất tốt]. Nhận xét: Đối với bộ dữ liệu NTU Data, khi tìm tất cả các luật tối thiểu mà vế trái có tối đa 3 thuộc tính thì một điều rất thú vị là hầu như không thấy xuất hiện luật phủ định trong bộ dữ liệu này. Mặt khác, trong 1137 luật khẳng định tối thiểu (Bảng 4) hầu hết rơi vào lớp thứ nhất (Class = 1): 925/1137. Các luật còn lại (212/1137) thường rơi vào trường hợp nhận dạng không rõ ràng. Đây cũng là một căn cứ giúp cho các chuyên gia giáo dục của Nhà trường chú trọng những tiêu chí cần thiết cho giảng viên. 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Từ cơ sở lý thuyết và thực nghiệm nêu trên, ta thấy việc tìm tất cả các luật khẳng định và phủ định từ tập dữ liệu là một bài toán NP-khó do sự bùng nổ các tổ hợp thuộc tính và số lớp quyết định. Việc xác định các luật tối thiểu là nhằm thu gọn không gian xử lý, chỉ xem xét thuộc tính có ý nghĩa cần quan tâm, điều này cho phép khai thác tập luật được dễ dàng hơn. Trong tương lai, chúng tôi phát triển nghiên cứu này theo hướng tối ưu hóa và mở rộng các thuật toán, nhất là thuật toán tìm các luật tối thiểu, làm cơ sở đánh giá, sửa đổi, bổ sung các tiêu chí đánh giá chất lượng giảng viên trong Trường Đại học Nha Trang; Nghiên cứu xây dựng các ứng dụng luật khẳng định, phủ định sử dụng trong lĩnh vực y tế mà cụ thể là tại Bệnh viện Đa khoa tỉnh Khánh Hòa, tạo thêm một kênh tham khảo cho các y, bác sĩ. TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] 86 TÀI LIỆU THAM KHẢO Alataş, B., & Akin, E. (2006). An efficient genetic algorithm for automated mining of both positive and negative quantitative association rules. Soft Computing, 10(3), 230-237. Ji, L., & Tan, K. L. (2004). Mining gen expression data for positive and negative co- regulated gen clusters. Bioinformatics, 20, 2711-2718. Lashin, E. F., Kozae, A. M., Khadra, A. A. A., & Medhat, T. (2005). Rough set theory for topological spaces. International Journal of Approximate Reasoning, 40(1-2), 35-43. Ngo, C. L. (2003). A tolerance rough set approach to clustering Web search results. (Master thesis) The Informatics and Mechanics Warsaw University, Poland. Nguyen, D. T. (2013). Some extensions of positive and negative rules for discovering basic interesting rules. International Journal of Intelligent Information Systems, 2(4), 64-69. Shipra, S., & Vivek, J. (2015). Generating positive-negative rules using fuzzy FP- growth & Naïve Bayes. International Journal of Computer Science Engineering and Information Technology Research, 5(2), 31-40. Shusaku, T. (2004). Mining diagnostic rules from clinical databases using rough sets and medical diagnostic model. Information Sciences, 162(2), 65-80. Shusaku, T. (2005). Discovery of positive and negative rules from medical databases based on rough sets. In S. Tsumoto, Advanced techniques in knowledge discovery and data mining (233-252). London, UK: Springer-Verlag. Sonam, J., & Rajeev, G. V. (2015). Generating positive & negative rules using efficient apriori algorithm. International Journal of Advances in Electronics and Computer Science, 2(4), 94-98. The UCI. (2018). Welcome to the UCI machine learning repository. Retrieved from Tinghuai, M., Jiazhao, L., Mengmeng, C., & Wei, T. (2009). Inducing positive and negative rules based on rough set. Information Technology Journal 8(7), 1039- 1043. Wu, X., Zhang, C., & Zhang, S. (2004). Efficient mining of both positive and negative association rules. ACM Transactions on Information System, 22(3), 381-405. Nguyễn Đức Thuần, Phạm Quang Tùng, và Hồ Thị Thu Sa 87 Phụ lục: Mẫu phiếu khảo sát chất lượng giảng viên Trường Đại học Nha Trang Nguồn: Phòng Đảm bảo chất lượng và Khảo thí, Trường Đại học Nha Trang.
File đính kèm:
- luat_khang_dinh_phu_dinh_va_ung_dung.pdf