Nghiên cứu phát triển kỹ thuật nhận dạng cử động của bàn tay người theo thời gian thực

Đây là một trong những đề tài tiềm năng được Bộ Khoa học và Công nghệ hỗ trợ thực hiện từ tháng 1/2012 đến tháng 12/2012. Đề tài được thực hiện với mục tiêu chính là nghiên cứu phát triển thuật toán phát hiện, nhận dạng các đối tượng trong ảnh theo thời gian thực, ứng dụng trong tương tác người máy thông qua cử động của bàn tay người. Từ đó, tạo lập nhóm nghiên cứu chuyên sâu về thị giác máy tính và tương tác người máy.

Thực hiện đề tài này, nhóm đã nghiên cứu phát hiện bàn tay trong chuỗi hình ảnh thu được từ camera và cảm biến khoảng cách; nghiên cứu phát hiện quỹ đạo và bám chuyển động của bàn tay theo thời gian thực; nghiên cứu giải pháp nhận dạng, phân biệt các cử động khác nhau của tay người; nghiên cứu giải pháp chuyển đổi kết quả nhận dạng thành các tín hiệu điều khiển thiết bị; xây dựng phần mềm hỗ trợ tương tác với máy tính thông qua cử động ra hiệu bằng tay.

Sau gần một năm thực hiện, đề tài đã xây dựng thuật toán cho phép phát hiện vùng bàn tay với độ tin cậy 94%; đề xuất thuật toán trích chọn 39 đặc trưng vùng bàn tay và nhận dạng 36 tổ hợp cử chỉ (khi các bàn tay giơ lên và không chuyển động) của 2 bàn tay với độ chính xác trung bình trong các điều kiện chiếu sáng khác nhau đạt 88,54%; xây dựng thuật toán nhận dạng nhóm 08 cử động (khi các bàn tay chuyển động theo quỹ đạo quy ước trong không gian) với độ chính xác 89,85%; xây dựng phần mềm máy tính thu tín hiệu đầu vào từ cảm biến Microsoft’s Kinect cho phép thực hiện các thao tác điều khiển máy tính thông qua cử động của hai bàn tay mà không cần chạm vào bàn phím, chuột, màn hình hay bất cứ thiết bị nào; tốc độ nhận dạng đạt 0,4 giây/ tổ hợp cử động (từ chuỗi hình ảnh khoảng 12 khung hình liên tiếp).

Với các kết quả nói trên, đề tài đã đề xuất thuật toán nhận dạng đáp ứng được các yêu cầu về xử lý theo thời gian thực và có độ chính xác tương đương các kết quả nghiên cứu đã công bố trên thế giới (xấp xỉ 90%).

TS. Trần Nguyên Ngọc cho biết, hiện nhóm nghiên cứu tiếp tục hoàn thiện hệ thống hỗ trợ tra cứu thông tin và điều khiển thiết bị từ xa nhằm hướng tới các ứng dụng như: tra cứu thông tin hồ sơ bệnh nhân (khi bác sỹ không được phép chạm tay vào các vật dụng điều khiển); điều khiển robot trợ giúp người khuyết tật; tích hợp điều khiển tivi, máy nghe nhạc từ xa,... Trong công nghiệp quốc phòng có thể áp dụng các thuật toán nhận dạng cử động tích hợp vào các hệ thống điều khiển, dẫn đường các phương tiện khí tài.

Quá trình triển khai thử nghiệm cho thấy, các kết quả đạt được của đề tài hoàn toàn có khả năng chuyển giao, ứng dụng vào thực tế. Có thể phát triển theo hướng xây dựng hệ thống tương tác thực tại ảo, cho phép tạo dựng các giải pháp hỗ trợ trong công nghệ quảng cáo, giải trí và phát triển dạng sản phẩm tích hợp./.