• Healthcare Informatics Research
• /
• 제24권4호
• /
• pp.309-316
• /
• 2018

Objectives: Both the valence and arousal components of affect are important considerations when managing mental healthcare because they are associated with affective and physiological responses. Research on arousal and valence analysis, which uses images, texts, and physiological signals that employ deep learning, is actively underway; research investigating how to improve the recognition rate is needed. The goal of this research was to design a deep learning framework and model to classify arousal and valence, indicating positive and negative degrees of emotion as high or low. Methods: The proposed arousal and valence classification model to analyze the affective state was tested using data from 40 channels provided by a dataset for emotion analysis using electrocardiography (EEG), physiological, and video signals (the DEAP dataset). Experiments were based on 10 selected featured central and peripheral nervous system data points, using long short-term memory (LSTM) as a deep learning method. Results: The arousal and valence were classified and visualized on a two-dimensional coordinate plane. Profiles were designed depending on the number of hidden layers, nodes, and hyperparameters according to the error rate. The experimental results show an arousal and valence classification model accuracy of 74.65 and 78%, respectively. The proposed model performed better than previous other models. Conclusions: The proposed model appears to be effective in analyzing arousal and valence; specifically, it is expected that affective analysis using physiological signals based on LSTM will be possible without manual feature extraction. In a future study, the classification model will be adopted in mental healthcare management systems.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.707-710
• /
• 2009

본 논문에서는 감성 모델을 이용하여 음악을 정렬한 후, 이를 바탕으로 음악을 탐색하는 인터페이스를 제안한다. 먼저 다양한 곡들에 대한 Arousal-Valence 요소를 설문조사 한 후, 곡들의 다양한 audio feature 들과 Arousal-Valence 요소들간의 상관관계를 계산하여, AV모델을 수립한다. 그 후, 다양한 음악들을 수립된 AV모델에 대하여 정렬을 하여 음악을 배치한 후, 이를 마우스를 이용하여 탐색하는 인터페이스를 제공한다. 기존의 관련 인터페이스보다 더욱 직관적으로 원하는 곡을 선택할 수 있게 하기 위해서, 마우스의 위치에 따라서 여러 음악들이 페이드 인/아웃 되게 하였으며, 여러 가지 모드의 인터페이스를 제공하여, 사용자가 가장 편리한 인터페이스를 사용할 수 있게 하였다. 사용자는 본 음악 탐색 인터페이스를 이용하여, 더욱 감정적으로 원하는 음악을 쉽게 찾을 수 있게 된다.

• 한국산업정보학회논문지
• /
• 제26권1호
• /
• pp.1-10
• /
• 2021

본 연구에서는 EEG 신호를 기반으로 감정 인식에 유용한 딥러닝 기법을 제안한다. 감정이 시간에 따라 변화하는 특성을 반영하기 위해 Long-Short Term Memory 네트워크를 사용하였다. 또한, 특정 시점의 감정적 상태가 전체 감정 상태에 영향을 미친다는 이론을 기반으로 특정 순간의 감정 상태에 가중치를 주기 위해 어텐션 메커니즘을 적용했다. EEG 신호는 DEAP 데이터베이스를 사용하였으며, 감정은 긍정과 부정의 정도를 나타내는 정서가(Valence)와 감정의 정도를 나타내는 각성(Arousal) 모델을 사용하였다. 실험 결과 정서가(Valence)와 각성(Arousal)을 2단계(낮음, 높음)로 나누었을 때 분석 정확도는 정서가(Valence)의 경우 90.1%, 각성(Arousal)의 경우 88.1%이다. 낮음, 중간, 높음의 3단계로 감정을 구분한 경우 정서가(Valence)는 83.5%, 각성(Arousal)은 82.5%의 정확도를 보였다.

• 감성과학
• /
• 제17권3호
• /
• pp.57-64
• /
• 2014

본 논문에서는 Russell의 감정차원 모델("A Circumplex Model")의 차원 축 중 Arousal 축의 요소(active, inactive)간의 연관성을 파악하여 새로운 감정 표현 방식을 제안한다. Russell의 감정차원 모델은 arousal, valence의 2개의 축 위에 감정을 나타내는 단어(happy, joy, sad, 긴장 등)를 하나의 점으로 표현한다. 이런 Russell 모델은 감성과학, HCI, 심리학 등 여러 분야의 연구에 가장 많이 사용되는 감정 차원이다. 하지만 기존의 연구(복합적 감정, 감정과 감성, arousal 축과 valence 축의 차이점 등)에서는 Russell의 감정차원 모델은 표현방법의 수정이 필요하다고 주장하였다. 따라서 본 논문에서는 2개의 차원 축(arousal, valence) 중 arousal 축의 요소(active, inactive) 간의 연관성을 확인하고 실험을 통하여 사용자들이 본인의 각성(arousal) 정도를 어떠한 방식으로 표현하는지 확인하여 Russell의 감정차원 모델의 새로운 표현 방식을 제안한다. 본 논문에서 제안하는 방식을 이용하여 Russell 모델의 문제점을 보완하였으며, 기존 연구에 대한 근거가 될 수 있었다.

• 산업경영시스템학회지
• /
• 제37권4호
• /
• pp.1-11
• /
• 2014

This paper addresses the emotion computing model for software affective agents. In this paper, emotion is represented in valence-arousal-dominance dimensions instead of discrete categorical representation approach. Firstly, a novel emotion model architecture for affective agents is proposed based on Scherer's componential theories of human emotion, which is one of the well-known emotion models in psychological area. Then a fuzzy logic is applied to determine emotional statuses in the emotion model architecture, i.e., the first valence and arousal, the second valence and arousal, and dominance. The proposed methods are implemented and tested by applying them in a virtual training system for children's neurobehavioral disorders.

• 산업경영시스템학회지
• /
• 제35권2호
• /
• pp.64-70
• /
• 2012

This paper presents a statistical analysis method for the selection of electroencephalogram (EEG) electrode positions and spectral features to recognize emotion, where emotional valence and arousal are classified into three and two levels, respectively. Ten experiments for a subject were performed under three categorized IAPS (International Affective Picture System) pictures, i.e., high valence and high arousal, medium valence and low arousal, and low valence and high arousal. The electroencephalogram was recorded from 12 sites according to the international 10~20 system referenced to Cz. The statistical analysis approach using ANOVA with Tukey's HSD is employed to identify statistically significant EEG electrode positions and spectral features in the emotion recognition.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.79-82
• /
• 2020

얼굴 영상으로부터 사람의 감정을 예측하는 연구는 최근 딥러닝의 발전과 함께 주목받고 있다. 본 연구에서 우리는 연속적인 변수를 사용하여 감정을 표현하는 dimensional model에 기반하여 얼굴 영상으로부터 감정 상태를 나타내는 지표인 valance/arousal(V/A)을 예측하는 딥러닝 네트워크를 제안한다. 그러나 V/A 예측 모델의 학습에 사용되는 기존의 데이터셋들은 데이터 불균형(data imbalance) 문제를 가진다. 이를 해소하기 위해, 우리는 오토인코더 구조를 가지는 얼굴 영상 생성 네트워크를 학습하고, 이로부터 얻어지는 균일한 분포의 데이터로부터 V/A 예측 네트워크를 학습한다. 실험을 통해 우리는 제안하는 얼굴 생성 오토인코더가 in-the-wild 환경의 데이터셋으로부터 임의의 valence, arousal에 대응하는 얼굴 영상을 성공적으로 생생함을 보인다. 그리고, 이를 통해 학습된 V/A 예측 네트워크가 기존의 under-sampling, over-sampling 방영들과 비교하여 더 높은 인식 성능을 달성함을 보인다. 마지막으로 기존의 방법들과 제안하는 V/A 예측 네트워크의 성능을 정량적으로 비교한다.

• 디지털융복합연구
• /
• 제15권3호
• /
• pp.107-117
• /
• 2017

본 연구는 조건과정모델링에 기초하여 공익광고캠페인의 정서성과 이슈에 대한 수용적 태도의 관계에서 시각적 주의와 지각된 자아관련성의 매개효과와 매개변인에 대한 EEG 각성의 조절효과를 알아보고자 했다. 이를 위해 SPSS 22.0의 Multiple Mediation 절차와 SPSS Macro(14번)를 이용하여 조절된 매개효과를 분석하였다. 본 연구결과는 첫째, 공익캠페인의 정서성은 지각된 자아관련성을 매개로 이슈에 대한 수용적 태도에 유의미한 영향을 보였다. 둘째, EEG 각성은 시각적 주의 및 지각된 자아관련성과 유의미한 상호작용효과를 나타냈다. 셋째, 정서성과 수용적 태도의 관계에서 지각된 자아관련성의 매개효과는 EEG 각성에 의해 조절되는 효과를 보였다. 본 연구결과는 공익캠페인의 부정소구보다는 긍정소구에서만 유효하였다. 이러한 결과를 바탕으로 공익광고캠페인의 정서소구를 활용하기 위해서는 공익캠페인에 대한 소비자의 지각된 자아관련성과 주의를 전략적으로 결합할 수 있음을 확인하였다.

• 전기전자학회논문지
• /
• 제22권4호
• /
• pp.1140-1146
• /
• 2018

최근 인간의 감정을 인식하는 연구 중 딥러닝 모델을 사용하여 복합적인 생체 신호를 분석하는 방법론이 대두되고 있다. 이때 학습하고자 하는 데이터의 종류에 따른 평가 방법 및 신뢰성은 감정 분류의 정확성에 있어 중요한 요소이다. 생체 신호의 경우 데이터의 신뢰성이 잡음 비율에 따라 결정되므로 잡음 검출 방법이 우수할수록 신뢰도가 올라가며, 감정을 정의하는 방법론에 따라 그에 맞는 적절한 감정 평가 방법이 수반될 때보다 정확하게 감정을 분류할 수 있다. 본 논문에서는 Valence와 Arousal로 라벨링 된 멀티모달 생체 신호 데이터에 대해 데이터의 신뢰성을 검증하기 위한 웨이블릿 기반의 잡음 임곗값 설정 알고리듬 및 감정 평가 시 데이터 신뢰도와 Valence-Arousal 값에 따른 가중치를 부여하여 감정 인식률을 향상하는 방법을 제안한다. 웨이블릿 변환을 이용해 신호의 웨이블릿 성분을 추출 후, 해당 성분의 왜도와 첨도를 구하여 햄펄 식별자를 통해 계산된 임곗값으로 잡음을 검출한 후, 원신호에 대한 잡음 비율을 고려하여 데이터의 신뢰성을 평가하고 가중치로 환산한다. 더불어 감정 데이터 분류 시 Valence-Arousal 평면의 중앙값과의 유클리디언 거리를 가중치로 환산하고, 감정 인식률에 대한 종합 평가 시 두 요소를 반영한다. ASCERTAIN 데이터셋을 활용하여 나타난 감정 인식률 개선 정도를 통해 제안된 알고리듬의 성능을 검증한다.

• 한국융합학회논문지
• /
• 제9권5호
• /
• pp.33-41
• /
• 2018

본 연구는 심박변이도(HRV)와 인공신경망을 이용하여 강건하고 정확한 융복합 감정예측 모형인 EPNN (Emotion Prediction Neural Network)을 개발하는 것을 주요 연구목적으로 한다. 본 연구에서 제안하는 EPNN은 기존 유사연구와는 달리 은닉노드의 활성함수로서 하이퍼볼릭 탄젠트, 선형, 가우시안 함수를 융복합적으로 이용하여 모형의 정확도를 향상시킨다. 본 연구에서는 EPNN의 타당성을 검증하기 위하여 20명의 실험자를 대상으로 머니게임으로 감정을 유도한 후에 해당 실험자의 심박변이도 측정값을 입력자료로 사용하였다. 아울러 그들의 Valence와 Arousal을 EPNN의 출력값으로 사용하였다. 실험결과 Valence에 대한 F-Measure는 80%이고, Arousal의 경우 95%로 나타났다. 한편 EPNN의 타당성을 측정하기 위하여 기존 감정예측 연구에 사용된 경쟁모형인 인공신경망, 로지스틱 회귀분석, 서포트 벡터 머신, 랜덤 포레스트 모형과 성과를 비교하였다. 그 결과 본 연구에서 제안하는 EPNN이 더 우수한 감정예측 결과를 보였다. 본 연구의 결과는 향후 유비쿼터스 디지털 헬스 환경에서 사용되는 다양한 웨어러블 기기에 적용되어 사용자들의 일상생활 속에서 시시각각 변하는 감정을 정확히 예측하고 적절하게 관리하는데 적용될 수 있을 것이다.