본 연구의 목적은 손의 움직임을 촬영한 영상에 딥러닝을 적용하여 정상과 비정상의 손의 움직임을 분류하고자 하였다.
2019년 9월 1일부터 2020년 6월 30일까지 일반인 및 뇌졸중 환자 총 200명을 대상으로 하였다. 정상의 손의 움직임을 알아보기 위해 정상인 100명과 비정상의 손의 움직임을 알아보기 위해 뇌졸중으로 손 기능에 제한이 있는 사람 100명을 대상으로 스마트폰 카메라를 이용하여 프로토콜에 따라 손의 움직임을 촬영하였다. 촬영된 영상은 MediaPipe Hands를 이용하여 손의 21개 포인트의 좌푯값을 획득하였다. 그리고 두 가지 주요 매개 변수들이 계산되었다: 1) 손허리손가락관절(metacarpophalangeal joint : MCP joint)과 손끝(fingertip)의 유클리드 거리, 2) 먼쪽손가락뼈사이관절(distal interphalangeal joint : DIP joint)의 각도. 두 그룹의 움직임의 차이를 알아보기 위해 독립표본 t-검증을 시행하였다. 그리고 정상과 비정상의 손의 움직임을 분류하기 위해 촬영된 영상은 GoogLeNet 알고리즘을 통해 딥러닝 기법을 적용하여 정상과 비정상의 손의 움직임에 대한 학습이 이루어졌으며 검증 데이터(validation data)를 이용하여 정상과 비정상을 분류하였다.
일반인 및 뇌졸중 환자의 손의 움직임에 대해 AI-Motion을 통해 MCP와 fingertip 사이의 거리를 분석한 결과 일반인 1명은 프레임에 따른 MCP와 fingertip 사이의 거리를 계산 시 네 개의 손가락이 주먹을 쥘 때와 손을 펼 때 MCP와 fingertip 사이의 거리가 일정한 패턴을 나타냈다. 그러나 환자 1명의 프레임에 따른 MCP와 fingertip 사이의 거리를 계산 시 네 개의 손가락이 주먹을 쥘 때와 손을 펼 때 MCP와 fingertip 사이의 거리가 일정한 패턴을 나타내지 않았다.
일반인 100명과 뇌졸중 환자 100명의 손의 움직임에 대해 AI-Motion을 통해 분석한 결과 일반인 그룹의 경우 환자 그룹보다 네 개의 손가락이 주먹을 쥘 때 와 손을 펼 때 MCP와 fingertip 사이 거리의 최댓값과 최솟값의 차이가 큰 것을 확인할 수 있었다. 이를 AI-Motion을 이용하여 독립표본 t-검증을 시행한 결과 p-value가 5.0122×10-10으로 두 그룹은 통계적으로 유의미한 차이가 있었다.
일반인 및 뇌졸중 환자의 손의 움직임에 대해 AI-Motion을 통해 DIP 관절의 변화 각도를 분석한 결과 일반인 1명의 프레임에 따른 DIP 관절의 변화 각도 계산 시 네 개 손가락이 주먹을 쥘 때와 손을 펼 때 DIP 관절의 각도 변화는 비교적 중지가 가장 컸으며 그다음이 약지이며 검지와 새끼손가락은 비슷하게 나타났다. 그러나 환자 1명의 프레임에 따른 DIP 관절의 변화 각도 계산 시 네 개의 손가락이 주먹을 쥘 때와 손을 펼 때 DIP 관절의 각도 변화가 일정한 패턴을 보이지 않는 것을 확인할 수 있었다.
일반인 100명과 뇌졸중 환자 100명의 손의 움직임에 대해 AI-Motion을 통해 분석한 결과 일반인 그룹의 경우 환자 그룹보다 네 개의 손가락이 주먹을 쥘 때 와 손을 펼 때 DIP 관절의 각도의 최댓값과 최솟값의 차이가 큰 것을 확인할 수 있었다. 이를 AI-Motion을 이용하여 독립표본 t-검증을 시행한 결과 p-value가 7.3490×10-9로 두 그룹은 통계적으로 유의미한 차이가 있었다.
딥러닝 기술의 발전으로 손의 움직임에 대한 특징을 선정하지 않고 촬영된 영상을 인공지능을 이용하여 분석하였다. 손의 움직임을 분류하기 위해 대상자들의 네 손가락 굽힘, 엄지손가락 굽힘 영상을 GoogLeNet 알고리즘을 통해 정상의 손 움직임과 비정상 손 움직임에 대해 학습이 이루어졌으며 검증 데이터를 이용하여 정상과 비정상을 분류하였다. 그 결과 학습된 AI-Model의 검증 정확도는 82.86%였으며 인공지능을 활용한 손의 움직임 분류가 가능하였다.
AI-motion 분석 프로그램을 사용하여 일반인과 뇌졸중 환자의 손 기능에 차이가 있다는 것을 알 수 있었으며 인공지능을 이용하여 일반인과 뇌졸중 환자의 경우 손의 움직임만으로도 정상과 비정상의 손의 움직임을 분류할 수 있음을 확인하였다.

The purpose of this study was to classify the normal and abnormal hand movements by applying deep learning to the images of hand movements.
From September 1, 2019 to June 30, 2020, a total of 200 healthy and stroke patients were included. To check abnormal hand motion, hand motions were recorded according to the protocol using a smartphone camera for 100 healthy people to check normal hand motion and 100 stroke patients. Based on the captured image, the coordinate values of 21 points of the hand were acquired using MediaPipe Hands. Then two major parameters were calculated: 1) the Euclidean distance between the metacarpophalangeal joint (MCP joint) and the fingertip, 2) angle of distal interphalangeal joint (DIP). An independent sample t-test was performed to compare the differences in movement between the two groups. The images taken to classify normal and abnormal hand movements were learned about the hand movements of healthy people and patients by applying deep learning techniques through the GoogLeNet algorithm, and they were classified into normal and abnormal hands using validation data.
To compare the hand movements of healthy people and stroke patients, AI-Motion was used to calculate the distance between the MCP and the fingertip while clenching and straightening the fist with fingers excluding the thumb in one healthy person and one patient. As a result, the distance between the MCP and the fingertip was constant in the healthy person while the four fingers clenched and straightened the fist, but the distance between the MCP and the fingertip was not constant in the patient while the fist was clenched and extended.
As a result of analyzing the maximum and minimum values of the distance between the MCP and fingertip coordinates while clenching and straightening a fist with fingers excluding the thumb for 100 healthy people and 100 stroke patients, respectively, through AI-Motion, the healthy group was better than the patient group. It was confirmed that the difference between the maximum and minimum values of the distance between the MCP and the fingertip was large. As a result of performing independent sample t-test using AI-Motion, the p-value was 5.3976×10-10, and there was a statistically significant difference between the two groups.
As a result of analyzing the angle of change of the DIP joint while clenching and straightening the fist with fingers except the thumb for healthy people and one stroke patient each with AI-Motion, healthy people showed the largest change in the angle of the middle finger among DIP joints, followed by is the ring finger, followed by the index and little fingers. However, the patient found that the angle change of the DIP joint was not constant during clenching and straightening of the fist.
As a result of analyzing the difference between the maximum and minimum values of the angle of the DIP joint while 100 healthy people and 100 stroke patients each clenched their fists with four fingers, the difference between the maximum and minimum values of the angle of the DIP joint was higher in the healthy group than in the patient group. As a result of independent sample t-test using AI-Motion, the p-value was 5.3976×10-10, and there was a statistically significant difference between the two groups.
Using deep learning technology, the captured images were analyzed using artificial intelligence without selecting the features of hand movements. In order to classify hand movements, normal and abnormal hand movements were learned using the GoogLeNet algorithm on the subjects'' four-finger flexion and thumb flexion images, and normal and abnormal hand movements were classified using validation data.
As a result, the recognition rate of the learned AI-Model was 82.86%, confirming that hand movement classification using artificial intelligence is possible. Using the AI-motion analysis program, it was found that there was a difference in hand movements between healthy people and stroke patients. Using artificial intelligence, it was confirmed that normal and abnormal hand movements could be classified using motion images of healthy people and stroke patients.