• Title, Summary, Keyword: Deep Neural Network(DNN)

검색결과 111건 처리시간 0.039초

절단된 분포를 이용한 인공신경망에서의 초기값 설정방법 (Initialization by using truncated distributions in artificial neural network)

  • 김민종;조성철;정혜린;이영섭;임창원
    • 응용통계연구
    • /
    • v.32 no.5
    • /
    • pp.693-702
    • /
    • 2019
  • 딥러닝은 대용량의 데이터의 분류 및 예측하는 방법으로 각광받고 있다. 데이터의 양이 많아지면서 신경망의 구조는 더 깊어 지고 있다. 이때 초기값이 지나치게 클 경우 층이 깊어 질수록 활성화 함수의 기울기가 매우 작아지는 포화(Saturation)현상이 발생한다. 이러한 포화현상은 가중치의 학습능력을 저하시키는 현상을 발생시키기 때문에 초기값의 중요성이 커지고 있다.이런 포화현상 문제를 해결하기 위해 Glorot과 Bengio (2010)과 He 등 (2015) 층과 층 사이에 데이터가 다양하게 흘러야 효율적인 신경망학습이 가능하고 주장했다. 데이터가 다양하게 흐르기 위해서는 각 층의 출력에 대한 분산과 입력에 대한 분산이 동일해야 한다고 제안했다. Glorot과 Bengio (2010)과 He 등 (2015)는 각 층별 활성화 값의 분산이 같다고 가정해 초기값을 설정하였다. 본 논문에서는 절단된 코쉬 분포와 절단된 정규분포를 활용하여 초기값을 설정하는 방안을 제안한다. 출력에 대한 분산과 입력에 대한 분산의 값을 동일하게 맞춰주고 그 값이 절단된 확률분포의 분산과 같게 적용함으로써 큰 초기값이 나오는 걸 제한하고 0에 가까운 값이 나오도록 분포를 조정하였다. 제안된 방법은 MNIST 데이터와 CIFAR-10 데이터를 DNN과 CNN 모델에 각각 적용하여 실험함으로써 기존의 초기값 설정방법보다 모델의 성능을 좋게 한다는 것을 보였다.

Speaker Adaptation Using i-Vector Based Clustering

  • Kim, Minsoo;Jang, Gil-Jin;Kim, Ji-Hwan;Lee, Minho
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.14 no.7
    • /
    • pp.2785-2799
    • /
    • 2020
  • We propose a novel speaker adaptation method using acoustic model clustering. The similarity of different speakers is defined by the cosine distance between their i-vectors (intermediate vectors), and various efficient clustering algorithms are applied to obtain a number of speaker subsets with different characteristics. The speaker-independent model is then retrained with the training data of the individual speaker subsets grouped by the clustering results, and an unknown speech is recognized by the retrained model of the closest cluster. The proposed method is applied to a large-scale speech recognition system implemented by a hybrid hidden Markov model and deep neural network framework. An experiment was conducted to evaluate the word error rates using Resource Management database. When the proposed speaker adaptation method using i-vector based clustering was applied, the performance, as compared to that of the conventional speaker-independent speech recognition model, was improved relatively by as much as 12.2% for the conventional fully neural network, and by as much as 10.5% for the bidirectional long short-term memory.

Machine Learning Techniques for Speech Recognition using the Magnitude

  • Krishnan, C. Gopala;Robinson, Y. Harold;Chilamkurti, Naveen
    • Journal of Multimedia Information System
    • /
    • v.7 no.1
    • /
    • pp.33-40
    • /
    • 2020
  • Machine learning consists of supervised and unsupervised learning among which supervised learning is used for the speech recognition objectives. Supervised learning is the Data mining task of inferring a function from labeled training data. Speech recognition is the current trend that has gained focus over the decades. Most automation technologies use speech and speech recognition for various perspectives. This paper demonstrates an overview of major technological standpoint and gratitude of the elementary development of speech recognition and provides impression method has been developed in every stage of speech recognition using supervised learning. The project will use DNN to recognize speeches using magnitudes with large datasets.

Curve Number 및 Convolution Neural Network를 이용한 유출모형의 적용성 평가 (Applicability Evaluation for Discharge Model Using Curve Number and Convolution Neural Network)

  • 송철민;이광현
    • Ecology and Resilient Infrastructure
    • /
    • v.7 no.2
    • /
    • pp.114-125
    • /
    • 2020
  • 본 연구는 유출모형 연구를 위해 주로 사용되었던 DNN에서 벗어나, 다양한 신경망을 이용하여 유출모형을 개발하고 모형의 적합성을 나타내고자 하였다. 이를 위해 분류문제에만 사용되었던 CNN을 활용하였는데, 본 모형의 입력자료로 일반적으로 CNN에서 사용하는 사진을 이용할 수 없으며, 연구의 특성상 유역조건 및 강우 등의 영향이 반영된 수치적(numerical) 이미지(image)를 사용해야 하는 난해점이 있다. 이를 해결하고자 NRCS의 CN을 사용하여 이미지를 생성했으며, CNN 모형의 입력자료로 충분히 활용 가능함을 나타냈다. 이에 더하여, 유출 추정을 위해서만 사용되어왔던 CN의 새로운 용도를 제시할 수 있었다. 모형의 학습 및 검정 결과, 전반적으로 안정적으로 모형의 학습 및 일반화가 이루어졌으며, 관측값과 산정값간의 관계를 나타내는 R2는 0.79로 비교적 높은 값이 나타났다. 또한, 모형의 평가결과는 Pearson 상관계수, NSE, 및 RMSE 등이 각각 0.84, 0.65 및 24.54 ㎥/s으로 나타나, 전반적으로 양호한 모형의 산정성능을 보인것으로 나타났다.

RNN-LSTM을 이용한 태양광 발전량 단기 예측 모델 (Short Term Forecast Model for Solar Power Generation using RNN-LSTM)

  • 신동하;김창복
    • 한국항행학회논문지
    • /
    • v.22 no.3
    • /
    • pp.233-239
    • /
    • 2018
  • 태양광 발전은 기상 상태에 따라 간헐적이기 때문에 태양광 발전의 효율과 경제성 향상을 위해 정확한 발전량 예측이 요구된다. 본 연구는 목포 기상대에서 예보하는 기상 데이터와 영암 태양광 발전소의 발전량 데이터를 이용하여 태양광 발전량 단기 딥러닝 예측모델을 제안하였다. 기상청은 기온, 강수량, 풍향, 풍속, 습도, 운량 등의 기상요소를 3일간 예보한다. 그러나 태양광 발전량 예측에 가장 중요한 기상요소인 일조 및 일사 일사량 예보하지 않는다. 제안 모델은 예보 기상요소를 이용하여, 일조 및 일사 일사량을 예측 하였다. 또한 발전량은 기상요소에 예측된 일조 및 일사 기상요소를 추가하여 예측하였다. 제안 모델의 발전량 예측 결과 DNN의 평균 RMSE와 MAE는 0.177과 0.095이며, RNN은 0.116과 0.067이다. 또한, LSTM은 가장 좋은 결과인 0.100과 0.054이다. 향후 본 연구는 다양한 입력요소의 결합으로 보다 향상된 예측결과를 도출할 수 있을 것으로 기대된다.

k-익명화 알고리즘에서 기계학습 기반의 k값 예측 기법 실험 및 구현 (Experiment and Implementation of a Machine-Learning Based k-Value Prediction Scheme in a k-Anonymity Algorithm)

  • ;장성봉
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • v.9 no.1
    • /
    • pp.9-16
    • /
    • 2020
  • 빅 데이터를 연구 목적으로 제3자에게 배포할 때 프라이버시 정보를 보호하기 위해서 k-익명화 기법이 널리 사용되어 왔다. k-익명화 기법을 적용할 때, 해결 해야할 어려운 문제 중의 하나는 최적의 k값을 결정하는 것이다. 현재는 대부분 전문가의 직관에 근거하여 수동으로 결정되고 있다. 이러한 방식은 익명화의 성능을 떨어뜨리고 시간과 비용을 많이 낭비하게 만든다. 이러한 문제점을 해결하기 위해서 기계학습 기반의 k값 결정방식을 제안한다. 본 논문에서는 제안된 아이디어를 실제로 적용한 구현 및 실험 내용에 대해서 서술 한다. 실험에서는 심층 신경망을 구현하여 훈련하고 테스트를 수행 하였다. 실험결과 훈련 에러는 전형적인 신경망에서 보여지는 패턴을 나타냈으며, 테스트 실험에서는 훈련에러에서 나타나는 패턴과는 다른 패턴을 보여주고 있다. 제안된 방식의 장점은 k값 결정시 시간과 비용을 줄일 수 있다는 장점이 있다.

심층 신경망을 이용한 음성 신호의 부호화 이력 검출 (Coding History Detection of Speech Signal using Deep Neural Network)

  • 조효진;장원;신성현;박호종
    • 방송공학회논문지
    • /
    • v.23 no.1
    • /
    • pp.86-92
    • /
    • 2018
  • 본 논문에서는 디지털 음성 신호의 부호화 이력을 검출하는 방법을 제안한다. 음성 신호를 디지털 방식으로 전송 또는 저장할 때 데이터양을 줄이기 위해 부호화한다. 따라서 음성 신호 파형이 주어질 때, 해당 신호가 원본인지 부호화된 신호인지 판단하고, 만일 부호화 되었다면 부호화 횟수를 검출하는 부호화 이력 검출 과정이 필요하다. 본 논문에서는 12.2kbps 비트율의 AMR 부호화기에 대하여 원본, 단일 부호화, 이중 부호화 여부를 판단하는 부호화 이력 검출 방법을 제안한다. 제안한 방법은 입력 음성 신호에서 음성 고유의 특성 벡터를 추출하고, 해당 특성 벡터를 심층 신경망으로 모델링 하는 방법을 사용한다. 본 논문에서 제안하는 특성 벡터가 일반적인 스펙트로그램으로부터 추출한 특성 벡터보다 우수한 부호화 이력 검출 성능을 제공하는 것을 확인하였다.

한국어 의미역 결정을 위한 Korean PropBank 확장 및 도메인 적응 기술 적용 (Extending Korean PropBank for Korean Semantic Role Labeling and Applying Domain Adaptation Technique)

  • 배장성;이창기
    • 인지과학
    • /
    • v.26 no.4
    • /
    • pp.377-392
    • /
    • 2015
  • 한국어 의미역 결정(Semantic Role Labeling)은 주로 기계학습에 의해 이루어지며 많은 말뭉치 자원을 필요로 한다. 그러나 한국어 의미역 결정 시스템에 사용되는 Korean PropBank는 의미역이 부착된 용언과 용언 격틀이 PropBank에 비해 각각 1/5, 1/2 수준에 불과하다. 따라서 본 논문에서는 한국어 의미역 결정 시스템을 위해 의미역이 부착된 용언과 용언 격틀을 확장하여 Korean PropBank를 확장 시키고자 한다. 대부분의 의미역 결정 시스템은 학습 도메인에 의존적이기 때문에 적용 도메인 변경에 따른 성능 하락이 나타날 수 있다. 본 논문에서는 기존의 학습 말뭉치와 적은 양의 새로운 학습 말뭉치를 활용하여 새로운 도메인에 대해 의미역 결정 시스템의 성능 하락을 최소화 할 수 있는 도메인 적응 기술을 Structural SVM(S-SVM)과 Deep Neural Network(DNN) 기반 한국어 의미역 결정 시스템에 적용하여 그 실효성을 알아보고자 한다.

음성인식 성능 개선을 위한 다중작업 오토인코더와 와설스타인식 생성적 적대 신경망의 결합 (Combining multi-task autoencoder with Wasserstein generative adversarial networks for improving speech recognition performance)

  • 고조원;고한석
    • 한국음향학회지
    • /
    • v.38 no.6
    • /
    • pp.670-677
    • /
    • 2019
  • 음성 또는 음향 이벤트 신호에서 발생하는 배경 잡음은 인식기의 성능을 저하시키는 원인이 되며, 잡음에 강인한 특징을 찾는데 많은 노력을 필요로 한다. 본 논문에서는 딥러닝을 기반으로 다중작업 오토인코더(Multi-Task AutoEncoder, MTAE) 와 와설스타인식 생성적 적대 신경망(Wasserstein GAN, WGAN)의 장점을 결합하여, 잡음이 섞인 음향신호에서 잡음과 음성신호를 추정하는 네트워크를 제안한다. 본 논문에서 제안하는 MTAE-WGAN는 구조는 구배 페널티(Gradient Penalty) 및 누설 Leaky Rectified Linear Unit (LReLU) 모수 Parametric ReLU (PReLU)를 활용한 변수 초기화 작업을 통해 음성과 잡음 성분을 추정한다. 직교 구배 페널티와 파라미터 초기화 방법이 적용된 MTAE-WGAN 구조를 통해 잡음에 강인한 음성특징 생성 및 기존 방법 대비 음소 오인식률(Phoneme Error Rate, PER)이 크게 감소하는 성능을 보여준다.

기후 변화 적응을 위한 벡터매개질병의 생태 모델 및 심층 인공 신경망 기반 공간-시간적 발병 모델링 및 예측 (Spatio-Temporal Incidence Modeling and Prediction of the Vector-Borne Disease Using an Ecological Model and Deep Neural Network for Climate Change Adaption)

  • 김상윤;남기전;허성구;이선정;최지훈;박준규;유창규
    • Korean Chemical Engineering Research
    • /
    • v.58 no.2
    • /
    • pp.197-208
    • /
    • 2020
  • 본 연구에서는 발병 횟수가 빠르게 증가하고 있는 벡터매개질병(vector-borne disease) 중 하나인 쯔쯔가무시증의 발병 특성을 공간적 그리고 시간적으로 분석하고 기후변화 시나리오에 따른 미래 발병 특성을 예측하였다. 쯔쯔가무시증의 공간적 분포와 발병률을 예측하기 위하여 환경 그리고 사회 변수의 공간적 특성을 이용하여 maximum entropy(MaxEnt) 생태 모델을 구성하고, 주요 변수의 쯔쯔가무시증 발병에 관한 상관관계를 분석하였다. 공간 특성 중 환경변수인 고도 및 기온이 주요한 변수로 분석되었으며, 이는 쯔쯔가무시증의 매개체인 털진드기의 생육 환경과 주요 관련이 있는 것으로 나타났다. 쯔쯔가무시증의 시간적 발병 횟수는 심층 인공 신경망 모델기반 예측을 하였으며, 특히 쯔쯔가무시증의 주요 특성인 지연 효과를 고려하여 모델을 구성하였다. 심층 인공 신경망을 이용한 예측 결과 여름철의 기온, 강우량, 그리고 습도가 털진드기의 활동에 주된 관련이 있으며 가을철의 쯔쯔가무시증 발병 횟수에 영향을 끼치는 것으로 확인 되었다. 또한, 기존 통계적 예측 모델과 비교하였을 때, 심층 인공 신경망 기반 예측 모델의 예측 정확성이 우수함을 확인하였다. 공간적 그리고 시간적 모델에 기후 변화 시나리오를 이용하여 2040년의 쯔쯔가무시증 발병 특성을 예측한 결과, 최대 발병률이 8% 증가, 발병률이 높은 지역이 9% 확대, 그리고 주된 발병 기간이 2개월 증가하였다. 본 연구 결과를 통해 쯔쯔가무시증의 공간적 및 시간적 발병 특성 분석을 통하여, 공중보건 측면에서 벡터매개 질병 발병 요인 규명을 통해 주민 건강을 위한 질병 관리 및 예측에 기여할 수 있을 것으로 기대한다.