Evaluation of PPG signals regarding to video attributes of smart-phone camera

스마트폰 카메라의 영상 속성에 따른 맥파 신호 평가

Abstract

In this study, we study that the video attributes captured by built-in camera in smart-phone can effect on the quality of PPG signal. The conditions of video attributes were composed of the bitrate, the resolution, the flash. As each condition, we measured a change in the red value of the video image and calculated a PPI(Pulse to Pulse Interval) for extracting the pulse wave signal. 20 subjects participated in the experiment and this experiment was carried out 18 tasks. The PPG signal was measured simultaneously for two minutes with the PPG sensor in the middle finger and Smart-phone in the forefinger of the right hand. By proceeding the correlation analysis, we obtained the highest correlation condition(83%, p=0.01), which the resolution was $640{\times}480$, bitrate was 5000kbps, flash was on. As a result, this study will be a useful guide for quality of signals in the pulse signal measurement system using built-in camera in smart-phone.

본 연구에서는 스마트폰을 이용하여 손가락 끝의 혈류의 흐름을 촬영하여 사용자의 맥파 (PPG : Photoplethysmography) 신호를 측정할 때, 카메라 영상 속성에 따른 신호 품질에 대해 연구하였다. 영상 속성은 비트 레이트(Bitrate), 해상도(Resolution), 플래시(Flash)의 조건을 선정하였다. 각 조건에 따라서 변화하는 영상 이미지의 적색(Red)값의 변화를 측정하고 PPG 신호의 추출을 위해 PPI (Pulse to Pulse Interval)를 계산하였다. 실험은 총 20명의 대학생을 대상으로, 세 가지 영상 속성 조건을 조합하여 18가지 태스크로 분류하여 진행되었다. 오른손의 중지에는 PPG 센서를 착용하고 검지에는 스마트폰을 접촉한 상태로, 동시에 2분간 맥박을 측정하여 두 신호의 상관성 분석을 진행하였다. 실험 결과, 영상의 해상도가 $640{\times}480$, 비트레이트 5000kbps, 플래시가 On일 때 가장 높은 상관성(83%, p=0.01)을 나타내는 것을 확인하였다. 본 연구 결과가 앞으로 스마트폰의 카메라를 이용한 맥파 신호 측정 시스템에서 생체신호 품질을 개선하기 위한 유용한 가이드가 될 것으로 기대된다.

Ⅰ. 서 론

외부 자극에 따라 사람은 다양한 생체적 반응을 가지게 된다. 이러한 사람의 생체적 반응을 인식, 분석, 처리하는 연구들이 활발히 진행되고 있다[1-3]. 모바일 기술이 점차 발전하면서 스마트폰을 활용하여 손쉽고 간편하게 생체적 반응을 인식하고 처리할 수 있게 되었다[4-6]. 이러한 서비스를 통해 사용자는 생체적 반응을 저비용으로 언제 어디서나 측정하고 관리 할 수 있다.

다양한 생체적 반응 중에서 맥박은 건강 상태 측정뿐만 아니라 신체 활동의 유용한 지표가 된다[7]. 그러나 맥박을 측정하기 위해서 주로 손가락이나 귓볼에 센서를 착용하는 방식을 사용하고 있어[8,9], 사용자의 움직임에 불편함이 있으며 거부감을 일으킬 수 있다[10]. 이러한 단점을 해결하기 위해 스마트폰의 카메라를 이용하여 손가락 접촉 방식으로 PPG(Photoplethysmography : 맥파) 신호를 획득하는 연구가 활발하게 진행되고 있다 [4,5,11,12]. PPG 신호는 심장의 수축과 이완에 따른 혈류량의 변화를 나타내는 신호로써 손가락과 같은 신체 부위에서 카메라로 촬영한 영상의 색상 성분 요소의 변화를 추출 및 처리하여 복원할 수 있다[4,5,11,12]. 그러나 스마트폰을 이용하여 건강상태를 모니터링 할 때 보다 나은 생체신호의 품질을 획득하기 위한 영상 속성을 고려한 연구는 많지 않다. PPG 신호 측정 및 활용의 유용성을 높이기 위해서 스마트폰 카메라 영상 속성의 변화에 따라 생성되는 PPG 신호의 평가가 요구된다.

따라서 본 연구에서는 스마트폰의 카메라를 통해 손가락 끝의 혈류의 흐름을 촬영하여 사용자의 맥박을 측정하는 경우, 영상 속성에 따른 PPG 신호 품질에 대한 평가를 진행하였다. 영상 속성은 비트레이트 (Bitrate)와 해상도(Resolution), 플래시(Flash) 사용여부 조건을 선정하였다. 각 조건에 따라서 변화하는 영상의 적색(Red)값의 변화를 통해 PPG 신호를 추출하고, PPI(Pulse to Pulse Interval)를 계산하였다. 스마트폰을 사용하여 측정된 신호와 일반 센서를 사용하여 측정된 신호의 PPI 상관성 분석을 진행하였다. 본 연구 결과가 앞으로 스마트폰 카메라를 이용한 맥박 측정 시스템에서 생체신호 품질을 개선하기 위한 유용한 가이드가 될 것으로 기대된다.

 

Ⅱ. 관련 연구

2.1. PPG (Photoplethysmography : 맥파)

맥박을 측정하기 위한 대표적인 방법으로, 광 검출기(Photodiode)와 발광부(LED)를 이용하여 피부를 투과하는 빛의 강도를 측정하는 PPG 신호 분석이 있다[11]. 발광부에서 나온 빛이 손가락에 조사되면, 일부 광은 혈액, 조직, 뼈에서 흡수되고, 나머지 광은 투과되거나 반사된다. 투과되거나 반사되는 광량은 동맥 혈관의 혈류량에 따라 달라지며, 이를 통해 심장 박동과 동기화 된 파형을 획득할 수 있다[4].

2.2. 스마트폰으로 맥파 신호 측정

스마트폰을 이용하여 PPG 신호를 측정한 기존 연구가 있다. 스마트폰 카메라를 이용하여 손가락 영상을 획득한 후에, 신호 처리 과정을 거쳐 PPG 신호를 획득하여 97% 이상의 정확도를 보이는 심박 수를 검출한 연구가 있다[11]. 또한, 스마트폰으로 측정한 손가락 영상을 이용하여 PPG 신호를 추출할 때, 손가락 영상에서 적색(Red) 성분과 명도(Intensity) 성분으로 복원하는 것이 가장 높은 정확도를 가지는 것을 확인한 연구가 있다[5]. 기존 연구에서 공통적으로 스마트폰으로 PPG 신호를 추출하기 위해서 스마트폰의 후방 카메라와 플래시를 이용하였다. 후방 카메라는 광 검출기(Photodiode)를 대신하며, 플래시는 발광부(LED)를 대신하는 것으로, 그림 1과 같이 광 검출기와 발광부가 나란히 있는 구조의 반사 형 센서와 같은 원리로 작동하는 것을 알 수 있다.

그림 1.반사 형 센서의 원리 Fig. 1 Principles of reflection type sensor

기존 연구들은 스마트폰을 통해 PPG 신호의 검출이 타당하다는 점과 특별한 센서가 필요하지 않다는 장점을 보인바 있다. 그러나 스마트폰의 카메라를 사용하여 PPG 신호를 측정함에도 불구하고, 카메라 영상의 속성은 고려하지 않았다. 따라서 본 연구에서는 영상 속성에 따른 PPG 신호 검출의 정확성에 대해 연구하였다.

 

Ⅲ. 본 론

3.1. 영상으로부터 맥파 (PPG)신호 추출

맥파 (PPG)신호는 사람의 심장 박동에 따른 혈류량의 변화를 신호로 표현한 것이다[13]. 기존 연구에서 추가적인 하드웨어 장비 없이 스마트폰에 부착된 카메라를 이용하여 PPG 신호 측정의 타당성을 입증하였다[4,5,11,12]. 스마트폰의 후방 카메라에 손가락을 대고 촬영을 하는 동안, 손가락 끝의 혈관에서 흐르는 혈류량의 흐름을 통해 PPG 신호를 측정하였다.

빛이 일정할 경우, 심장이 수축할 때는 혈액의 양이 증가하여 빛 흡수율은 증가하고 빛 반사율은 감소한다. 반면에 심장이 이완할 때는 혈액의 양이 감소하여 빛흡수율은 감소하고 빛 반사율은 증가한다. 이렇게 혈류량의 변화에 따라 빛 반사율에 변화가 나타나며, 스마트폰에서는 이 변화가 영상의 매 프레임마다 색상 성분 값을 변화시킨다.

기존 연구에서 영상처리에서 대표적으로 사용되는 색상 성분인 R(Red : 적색), G(Green : 녹색), B(Blue : 청색), H(Hue : 색상), S(Saturation : 채도), I(Intensity : 명도)의 6가지 성분으로 획득한 PPG 신호와 센서를 통해 획득한 PPG 신호와의 상관성 분석 결과, R값을 통해 획득한 PPG 신호가 가장 상관성이 높았다[5]. 따라서 본 논문에서는 심장 박동에 따른 혈류량의 변화인 PPG 신호를 영상의 R 성분의 값의 변화를 통해 획득하였다. 그림 2는 R 값을 통해 획득한 PPG 신호를 보여준다. x축은 시간을 millisecond로 나타내며, y축은 0~255 사이의 값을 나타낸다. y값이 0에 가까울수록 어두운 영상이며 이는 빛 반사율이 낮은 심장의 수축기(Systolic pressure)를 의미한다. y값이 255에 가까울수록 밝은 영상이며 이는 빛 반사율이 높은 심장의 이완기(Diastolic pressure)를 의미한다.

그림 2.R값을 통해 획득한 PPG 신호 Fig. 2 PPG signal from Red value

3.2. PPG 신호로부터 PPI(Peak to Peak Interval) 계산

PPG 신호를 자세하게 살펴보면 그림 3과 같다. 그래프의 한 주기에서 최고점을 Peak라고 하며, 현재 주기의 Peak와 이전 주기의 Peak 사이의 거리를 PPI(Peak to Peak Interval)라고 한다[14]. PPI는 사람의 상태 변화에 따라 그 값이 계속해서 변하게 되기 때문에 일정하지 않다. 예를 들어, 그림 3에서 첫 번째 PPI와 두 번째 PPI는 그 값이 다르다. 따라서 PPI는 PPG 신호의 가장 큰 특징이라고 할 수 있다[9].

그림 3.PPG 신호와 PPI 그래프 Fig. 3 PPG signal and PPI graph

앞에서 R값을 통해 획득한 PPG 신호를 통해 PPI를 계산하기 위해서, SPD(Sliding Peak Detection) 알고리즘을 적용하였다. SPD 알고리즘은 연속된 디지털 신호값에서 데이터를 처리하기 위한 구간인 윈도우 크기를 동일한 간격(Resolution)만큼 이동하면서 획득되는 데이터를 처리하는 방법이라고 할 수 있다[15]. 본 연구에서는 윈도우 크기를 30으로, 간격은 1만큼 이동하면서 Peak를 추출하였다. 해당 윈도우 내에서 1차 미분을 적용하여 PPG 신호의 기울기가 (+)에서 (-)로 변하는 지점을 Peak로 검출하였다. 하나의 윈도우 내에서 다중의 Peak가 검출될 경우, 검출된 Peaks 중에서 가장 큰 값을 Peak로 검출하였고, Peak가 검출되는 시간을 저장하였다. n번째 PPI는 n+1번째 Peak가 검출된 시간에서 n번째 Peak가 검출된 시간의 차를 통해 구할 수 있으며[14], 이와 관련된 식(1)은 아래와 같다.

3.3. 스마트폰 카메라로부터 PPG 신호 측정

스마트폰 카메라를 이용하여 PPG 신호를 추출하기 위한 두 가지 방법이 있다. 첫 번째 방법은 스마트폰 카메라 프리뷰(Preview)를 이용하여 매 프레임마다 R(Red : 적색)값을 실시간으로 획득하여 PPG 신호를 추출하는 방법[4,16]이고, 두 번째 방법은 손가락 영상을 촬영하고 MPEG4 비디오 형식으로 저장한 후에 그 영상에서 R값을 획득하여 PPG 신호를 추출하는 방법이다[5,11]. 두 가지 방법을 비교하기 위해, 10명의 피험자에 대한 사전 실험을 진행하였고, 두 가지 방법으로 획득한 PPG 신호의 품질을 확인하였다.

사전 실험 결과, 그림 4와 그림 5에서 보이듯이 카메라 프리뷰로 R값을 추출하여 획득한 PPG 신호는 R값의 크기가 약한 것에 반해, 손가락 영상을 MPEG4 파일로 저장한 후 R값을 추출하여 획득한 PPG 신호에는 R값의 크기가 강하고 노이즈 없이 일관적으로 신호를 획득한 것을 확인하였다. 데이터 손실이나 노이즈가 발생하지 않는다면, 스마트폰 카메라 프리뷰를 이용하는 방법이 저장 메모리 공간에 덜 부담을 주면서 실시간으로 맥파를 추출할 수 있기 때문에 더욱 효과적이다. 그러나 맥파는 정확해야하기 때문에 손가락 영상을 촬영하여 저장한 후 맥파 신호를 분석하여, 데이터 손실 및 노이즈를 최소화하는 것이 중요하다. 따라서 본 연구에서 는 스마트폰 카메라를 이용하여 손가락 영상을 저장하고, 이 영상에서 R값을 추출함으로써 PPG 신호를 복원하였다.

그림 4.카메라 프리뷰(Preview)로 획득한 PPG 신호 예제 Fig. 4 Example of PPG signal acquired from camera previews

그림 5.저장된 영상 파일을 통해 획득한 PPG 신호 예제 Fig. 5 Example of PPG signal acquired from video images

3.4. 스마트폰 카메라 영상 속성

본 연구에서는 스마트폰 카메라를 통해 손가락 영상을 촬영하여 사용자의 PPG 신호를 측정하기 때문에, 영상의 속성에 따라 PPG 신호의 품질이 달라질 가능성이 있다. 따라서 본 연구에서는 영상의 속성을 고려하고자 비트레이트 (Bitrate), 해상도(Resolution), 플래시(Flash) 사용 여부의 3가지 속성을 고려하였다.

비트레이트는 초당 처리하는 비트 수를 의미하며 주로 bps(bit per second)를 이용하여 나타낸다. 비트레이트가 높을수록 더 많은 비트를 가지게 되므로 화질은 좋아지나 저장 메모리에 부담을 줄 수 있다[17]. 해상도는 높을수록 이미지가 깨끗하고 선명하게 보이지만 저장 메모리에 부담을 줄 수 있고 영상 재생 속도를 느리게 할 수 있으므로 적절한 해상도를 사용해야 한다[18]. 본 연구에서는 스마트폰의 화면 크기에 적절하도록 176x144, 320x240, 640x480의 3가지로 조건을 선정하였다. Bitrate는 각 해상도의 표준 범위를 3단계 (최소, 중앙, 최대)로 분류하여 선정하였다. 플래시는 환경적 조건인 빛을 조절하기 위해 플래시를 켰을 때(On)와 껐을 때(Off)를 조건으로 선정하였다.

본 연구에서는 비트레이트, 해상도, 플래시의 세 가지 조건을 조합하여 18가지 태스크를 정의하였고, 표 1에서 18가지 태스크를 나타내었다.

표 1.18가지 태스크 Table. 1 18 Tasks

 

Ⅳ. 실 험

4.1. 피험자

본 실험에 참여한 피험자는 대학생 20명을 대상으로 실시하였다(남 10명, 여 10명, 평균 나이 23.6±2.9). 모든 피험자에게 전체 실험 진행에 대해 설명하고 동의서를 받았다. 피험자는 본인이나 가족 중에 심혈관계에 질환이 없는 사람을 대상으로 하였다. 또한, 맥파에 영향을 최소화하기 위해 실험 전날과 당일에 카페인, 음주, 흡연 등을 제한하였다.

4.2. 실험 환경

피험자는 그림 6과 같이 의자에 앉자 팔을 심장 위치와 같은 높이의 책상 위에 올려놓고, 피험자의 오른손 검지에 스마트폰(Galaxy Note Ⅲ, Samsung, SM-N900S) 후방 카메라를 접촉시키고, 피험자의 오른손 중지에 PPG 센서인 TSD200A PPG (BIOPAC, USA) 센서를 착용시켰다. 스마트폰 카메라에서는 30fps(frames per second)로 영상을 획득하였고, MPEG4 형식으로 저장하였다. PPG 센서는 신호 증폭기 (Amplifier)인 PPG 100C(BIOPAC, USA)를 사용하여 증폭하였고, A/D 변환기(Converter)인 NI-DAQ 6015 (National Instrument, USA)를 사용하여, 샘플링 레이트를 500Hz로 측정하였다.

그림 6.실험 환경 Fig. 6 Experiment Environment

4.3 실험 방법

실험은 PPG 센서와 스마트폰을 동시에 측정하였다. PPG 센서와 스마트폰을 측정 시간을 일치시키기 위해, 그림 7에서 보이듯이, PPG 센서를 연결한 PC의 랩뷰(Labview)를 이용하여 연구실에서 개발한 신호측정 프로그램에서 측정을 시작하면, 곧바로 프로그램과 연결 요청을 했던 스마트폰에 TCP 통신으로 태스크 번호가 전송되고, 태스크 번호에 맞추어 스마트폰 카메라의 속성이 설정되어 측정을 시작한다. PPG 센서로부터 획득한 신호는 텍스트 파일 형태로 PC에 저장되며, 스마트폰으로부터 획득한 손가락 영상은 MPEG 형식으로 스마트폰 SDCard에 저장된다.

그림 7.실험 동작 방법 Fig. 7 Experiment operation method

구체적인 실험 방법의 동작 시나리오는 아래와 같다.

4.4. 실험 절차

실험은 피험자에게 같은 세트를 18회 반복 실시하도록 구성하였고, 세트 구성은 휴식 30초와 맥파 측정 2분으로 이루어진다. 18가지의 태스크는 무작위로 전송되게 하였다. 그림 8은 실험 절차를 보여준다. 실험 시간은 총 2700초로, 약 45분 정도 소요되었다.

그림 8.실험 절차 Fig. 8 Experiment process

 

Ⅴ. 결 과

실험에서 스마트폰을 이용하여 손가락 영상을 취득하고 취득한 손가락 영상에서 최상의 맥파 신호를 획득하기 위해, 영상 품질 결정 요소인 해상도, 비트레이트, 플래시로 구성된 총 18가지로 카메라 속성을 설정하고 측정하였다. 스마트폰과 동시에 상용화 된 PPG 센서를 통해 측정하였다. 이와 같이, 서로 다른 방식으로 측정한 두 PPG 신호 간의 일치도를 확인하고자 각 PPG 신호에서 PPI(Peak to Peak interval)의 변화 값을 추출하여, Pearson 상관계수를 이용한 상관성 분석을 실시하였다. 표 2는 Task에 따라서 센서로 획득한 평균 PPI와 스마트폰으로 획득한 평균 PPI를 보여주며, 두개의 신호에서 각각 획득한 PPI의 변화 값을 유의수준 99%에서 상관성 분석을 실시한 결과 값(R)을 보여준다.

표 2.평균 PPI의 상관성 분석 결과 Table. 2 Correlation analysis result of average PPI

본 연구에서는 이 18가지의 케이스 중에서 PPG 센서와 가장 높은 일치도를 보이는 조건이 Task 17번인 해상도 640x480, 비트레이트 5000kbps, flash on의 조건인 것을 확인하였다. 이 조건에서 센서와 스마트폰 간의 상관성 결과 값이 0.83으로, 강한 양의 상관관계가 있음을 확인하였다.

 

Ⅵ. 결 론

본 연구에서는 스마트폰 카메라를 이용하여 사용자의 맥파 신호를 측정하는 경우, 영상 속성에 따른 맥파 신호의 품질에 대해 평가하였다. 영상 속성은 해상도, 비트레이트, 플래시를 고려하였다. 3가지 속성을 조건으로 설정하여 스마트폰으로 측정된 PPI와 센서를 통해 측정된 PPI의 상관성 분석 결과, 센서와 가장 상관성이 높은 영상 속성은 해상도 640x480, 비트레이트 5000kbps, flash on인 경우로 확인되었다. 따라서 본 연구를 통해 스마트폰 카메라를 이용하여 맥파 신호를 측정할 때, 정확성이 높은 최상의 카메라의 영상 속성을 확인할 수 있었다. 본 논문에서 고려한 3가지 영상 속성이 카메라 프리뷰를 통해 맥파를 추출하는 방법에도 적용되는지 추가적인 연구가 필요하다. 또한, 플래시 Off의 조건에서 외부 빛의 세기를 고려해야 할 것이다. 본 연구는 향후 스마트폰의 카메라를 이용한 맥박 측정 시스템에서 맥파 신호 품질을 개선하기 위한 유용한 가이드가 될 것으로 기대된다.