• 제목, 요약, 키워드: Deep Neural Network(DNN)

검색결과 111건 처리시간 0.04초

돌연변이 연산 기반 효율적 심층 신경망 모델 (A Deep Neural Network Model Based on a Mutation Operator)

  • 전승호;문종섭
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • v.6 no.12
    • /
    • pp.573-580
    • /
    • 2017
  • 심층 신경망은 많은 노드의 층을 쌓아 만든 거대한 신경망이다. 심층 신경망으로 대표되는 딥 러닝은 오늘날 많은 응용 분야에서 괄목할만한 성과를 거두고 있다. 하지만 다년간의 연구를 통해 심층 신경망에 대한 다양한 문제점이 식별되고 있다. 이 중 일반화는 가장 널리 알려진 문제점들 중 하나이며, 최근 연구 결과인 드롭아웃은 이러한 문제를 어느 정도 성공적으로 해결하였다. 드롭아웃은 노이즈와 같은 역할을 하여 신경망이 노이즈에 강건한 데이터 표현형을 학습할 수 있도록 하는데, 오토인코더와 관련된 연구에서 이러한 효과가 입증되었다. 하지만 드롭아웃은 빈번한 난수 연산과 확률연산으로 인해 신경망의 학습 시간이 길어지고, 신경망 각 계층의 데이터 분포가 크게 변화하여 작은 학습율을 사용해야하는 단점이 있다. 본 논문에서는 돌연변이 연산을 사용하여 비교적 적은 횟수의 연산으로 드롭아웃과 동등 이상의 성능을 나타내는 모델을 제시하고, 실험을 통하여 논문에서 제시한 방법이 드롭아웃 방식과 동등한 성능을 보임과 동시에 학습 시간 문제를 개선함을 보인다.

Recovery the Missing Streamflow Data on River Basin Based on the Deep Neural Network Model

  • Le, Xuan-Hien;Lee, Giha
    • 한국수자원학회:학술대회논문집
    • /
    • /
    • pp.156-156
    • /
    • 2019
  • In this study, a gated recurrent unit (GRU) network is constructed based on a deep neural network (DNN) with the aim of restoring the missing daily flow data in river basins. Lai Chau hydrological station is located upstream of the Da river basin (Vietnam) is selected as the target station for this study. Input data of the model are data on observed daily flow for 24 years from 1961 to 1984 (before Hoa Binh dam was built) at 5 hydrological stations, in which 4 gauge stations in the basin downstream and restoring - target station (Lai Chau). The total available data is divided into sections for different purposes. The data set of 23 years (1961-1983) was employed for training and validation purposes, with corresponding rates of 80% for training and 20% for validation respectively. Another data set of one year (1984) was used for the testing purpose to objectively verify the performance and accuracy of the model. Though only a modest amount of input data is required and furthermore the Lai Chau hydrological station is located upstream of the Da River, the calculated results based on the suggested model are in satisfactory agreement with observed data, the Nash - Sutcliffe efficiency (NSE) is higher than 95%. The finding of this study illustrated the outstanding performance of the GRU network model in recovering the missing flow data at Lai Chau station. As a result, DNN models, as well as GRU network models, have great potential for application within the field of hydrology and hydraulics.

  • PDF

Nuclear reactor vessel water level prediction during severe accidents using deep neural networks

  • Koo, Young Do;An, Ye Ji;Kim, Chang-Hwoi;Na, Man Gyun
    • Nuclear Engineering and Technology
    • /
    • v.51 no.3
    • /
    • pp.723-730
    • /
    • 2019
  • Acquiring instrumentation signals generated from nuclear power plants (NPPs) is essential to maintain nuclear reactor integrity or to mitigate an abnormal state under normal operating conditions or severe accident circumstances. However, various safety-critical instrumentation signals from NPPs cannot be accurately measured on account of instrument degradation or failure under severe accident circumstances. Reactor vessel (RV) water level, which is an accident monitoring variable directly related to reactor cooling and prevention of core exposure, was predicted by applying a few signals to deep neural networks (DNNs) during severe accidents in NPPs. Signal data were obtained by simulating the postulated loss-of-coolant accidents at hot- and cold-legs, and steam generator tube rupture using modular accident analysis program code as actual NPP accidents rarely happen. To optimize the DNN model for RV water level prediction, a genetic algorithm was used to select the numbers of hidden layers and nodes. The proposed DNN model had a small root mean square error for RV water level prediction, and performed better than the cascaded fuzzy neural network model of the previous study. Consequently, the DNN model is considered to perform well enough to provide supporting information on the RV water level to operators.

도로포장의 유지관리 계획 수립을 위한 딥러닝 기반 열화 예측 모델 개발 (Development of Deep Learning Based Deterioration Prediction Model for the Maintenance Planning of Highway Pavement)

  • 이용준;선종완;이민재
    • 한국건설관리학회논문집
    • /
    • v.20 no.6
    • /
    • pp.34-43
    • /
    • 2019
  • 도로연장의 지속적인 증가와 공용기간이 상당히 경과한 노후 노선이 늘어남에 따라 도로포장에 대한 유지관리비용은 점차 증가하고 있어, 예방적 유지관리를 통해 비용을 최소화 하는 방안에 대한 필요성이 제기되고 있다. 예방적 유지관리를 위해서는 도로포장의 정확한 열화 예측을 통한 전략적 유지관리 계획 수립이 필요하다. 이에 본 연구에서는 고속도로포장 열화예측 모델 개발을 위해 딥러닝 모델 중 가장 보편적으로 많이 사용하는 심층신경망(DNN)과 시계열 데이터 분석에 강점을 가진 순환신경망(RNN)을 사용하였으며, 두 개의 모델의 성능을 비교 분석하여 우수한 모델을 제안하였다. RNN의 Vanishing Gradient Problem을 해결하기 위해 좀 더 복잡한 형태의 RNN구조인 LSTM(Long short-term memory circuits)을 사용하였다. 학습 결과, RNN-LSTM 모델의 RMSE 값이 0.102로 DNN모델보다 낮아 성능이 더 우수하였다. 또한, 대상구간의 시간경과별 평균 도로포장 상태 예측치와 실제 도로포장 상태 실측치의 비교를 통해 RNN-LSTM 모델의 높은 정확도를 검증하였다. 따라서 향후 고속도로 콘크리트 포장의 유지관리 계획 수립시 유지보수 수요 추정을 위한 열화 예측 모델로는 DNN 모델보다 시계열 분석에 강한 RNN-LSTM의 모델을 제안한다.

GPU 가속기를 통한 비트 연산 최적화 및 DNN 응용 (Bit Operation Optimization and DNN Application using GPU Acceleration)

  • 김상혁;이재흥
    • 전기전자학회논문지
    • /
    • v.23 no.4
    • /
    • pp.1314-1320
    • /
    • 2019
  • 본 논문에서는 소프트웨어 환경에서 비트연산을 최적화 하고 DNN으로 응용하는 방법을 제안한다. 이를 위해 비트연산 최적화를 위한 패킹 함수와 DNN으로 응용을 위한 마스킹 행렬 곱 연산을 제안한다. 패킹 함수의 경우는 32bit의 실제 가중치값을 2bit로 변환하는 연산을 수행한다. 연산을 수행할 땐, 임계값 비교 연산을 통해 2bit 값으로 변환한다. 이 연산을 수행하면 4개의 32bit값이 1개의 8bit 메모리에 들어가게 된다. 마스킹 행렬 곱 연산의 경우 패킹된 가중치 값과 일반 입력 값을 곱하기 위한 특수한 연산으로 이루어져 있다. 그리고 각각의 연산은 GPU 가속기를 이용해 병렬로 처리되게 하였다. 그 결과 HandWritten 데이터 셋에 환경에서 32bit DNN 모델에 비해 약 16배의 메모리 절약을 볼 수 있었다. 그럼에도 정확도는 32bit 모델과 비슷한 1% 이내의 차이를 보였다.

An Adaptation Method in Noise Mismatch Conditions for DNN-based Speech Enhancement

  • Xu, Si-Ying;Niu, Tong;Qu, Dan;Long, Xing-Yan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.12 no.10
    • /
    • pp.4930-4951
    • /
    • 2018
  • The deep learning based speech enhancement has shown considerable success. However, it still suffers performance degradation under mismatch conditions. In this paper, an adaptation method is proposed to improve the performance under noise mismatch conditions. Firstly, we advise a noise aware training by supplying identity vectors (i-vectors) as parallel input features to adapt deep neural network (DNN) acoustic models with the target noise. Secondly, given a small amount of adaptation data, the noise-dependent DNN is obtained by using $L_2$ regularization from a noise-independent DNN, and forcing the estimated masks to be close to the unadapted condition. Finally, experiments were carried out on different noise and SNR conditions, and the proposed method has achieved significantly 0.1%-9.6% benefits of STOI, and provided consistent improvement in PESQ and segSNR against the baseline systems.

Korean and English Sentiment Analysis Using the Deep Learning

  • 마렌드라;최형림;임성배
    • 한국산업정보학회논문지
    • /
    • v.23 no.3
    • /
    • pp.59-71
    • /
    • 2018
  • Social media has immense popularity among all services today. Data from social network services (SNSs) can be used for various objectives, such as text prediction or sentiment analysis. There is a great deal of Korean and English data on social media that can be used for sentiment analysis, but handling such huge amounts of unstructured data presents a difficult task. Machine learning is needed to handle such huge amounts of data. This research focuses on predicting Korean and English sentiment using deep forward neural network with a deep learning architecture and compares it with other methods, such as LDA MLP and GENSIM, using logistic regression. The research findings indicate an approximately 75% accuracy rate when predicting sentiments using DNN, with a latent Dirichelet allocation (LDA) prediction accuracy rate of approximately 81%, with the corpus being approximately 64% accurate between English and Korean.

DNN을 이용한 오디오 이벤트 검출 성능 비교 (Comparison of Audio Event Detection Performance using DNN)

  • 정석환;정용주
    • 한국전자통신학회논문지
    • /
    • v.13 no.3
    • /
    • pp.571-578
    • /
    • 2018
  • 최근 딥러닝 기법이 다양한 종류의 패턴 인식에 있어서 우수한 성능을 보이고 있다. 하지만 소규모의 훈련데이터를 이용한 분류 실험에 있어서 전통적으로 사용되던 머신러닝 기법에 비해서 DNN의 성능이 우수한지에 대해서는 다소 간의 논란이 있어 왔다. 본 연구에서는 오디오 검출에 있어서 전통적으로 사용되어 왔던 GMM, SVM의 성능과 DNN의 성능을 비교하였다. 동일한 데이터에 대해서 인식실험을 수행한 결과, 전반적인 성능은 DNN이 우수하였으나 세그먼트 기반의 F-score에서 SVM이 DNN에 비해 우수한 성능을 보임을 알 수 있었다.

DNN과 HoG Feature를 이용한 도로 소실점 검출 방법 (Method for Road Vanishing Point Detection Using DNN and Hog Feature)

  • 윤대은;최형일
    • 한국콘텐츠학회논문지
    • /
    • v.19 no.1
    • /
    • pp.125-131
    • /
    • 2019
  • 소실점이란 실제 공간의 평행한 선들이 영상 내에 투영되면서 한곳에 모이는 점으로, 도로 공간에서의 소실점은 매우 중요한 공간정보이다. 도로 공간에서의 소실점을 이용해 추출된 차선의 위치를 개선하거나, 깊이지도 영상을 생성할 수 있다. 본 논문에서는 자동차의 시점을 기준으로 도로를 촬영한 영상을 Deep Neural Network(DNN)과 Histogram of Oriented Gradient(HoG) Feature를 이용한 소실점 검출 방법을 제안한다. 제안하는 알고리즘에서는 영상을 블록별로 나눠서 주요 에지 방향을 추출하는 HoG Feature 추출 단계와 DNN 학습 단계, 그리고 Test 단계로 나뉜다. 학습단계에서는 자동차 시점으로 기준으로 도로 영상 2300장으로 학습을 진행한다. 그리고 Test 단계에서는 Normalized Euclidean Distance(NormDist) 방법을 사용하여 제안하는 알고리즘의 효율성을 측정한다.

심층신경망 구조에 따른 구개인두부전증 환자 음성 인식 향상 연구 (A study on recognition improvement of velopharyngeal insufficiency patient's speech using various types of deep neural network)

  • 김민석;정재희;정보경;윤기무;배아라;김우일
    • 한국음향학회지
    • /
    • v.38 no.6
    • /
    • pp.703-709
    • /
    • 2019
  • 본 논문에서는 구개인두부전증(VeloPharyngeal Insufficiency, VPI) 환자의 음성을 효과적으로 인식하기 위해 컨볼루션 신경망 (Convolutional Neural Network, CNN), 장단기 모델(Long Short Term Memory, LSTM) 구조 신경망을 은닉 마르코프 모델(Hidden Markov Model, HMM)과 결합한 하이브리드 구조의 음성 인식 시스템을 구축하고 모델 적응 기법을 적용하여, 기존 Gaussian Mixture Model(GMM-HMM), 완전 연결형 Deep Neural Network(DNN-HMM) 기반의 음성 인식 시스템과 성능을 비교한다. 정상인 화자가 PBW452단어를 발화한 데이터를 이용하여 초기 모델을 학습하고 정상인 화자의 VPI 모의 음성을 이용하여 화자 적응의 사전 모델을 생성한 후에 VPI 환자들의 음성으로 추가 적응 학습을 진행한다. VPI환자의 화자 적응 시에 CNN-HMM 기반 모델에서는 일부층만 적응 학습하고, LSTM-HMM 기반 모델의 경우에는 드롭 아웃 규제기법을 적용하여 성능을 관찰한 결과 기존 완전 연결형 DNN-HMM 인식기보다 3.68 % 향상된 음성 인식 성능을 나타낸다. 이러한 결과는 본 논문에서 제안하는 LSTM-HMM 기반의 하이브리드 음성 인식 기법이 많은 데이터를 확보하기 어려운 VPI 환자 음성에 대해 보다 향상된 인식률의 음성 인식 시스템을 구축하는데 효과적임을 입증한다.