• 융합정보논문지
• /
• 제11권7호
• /
• pp.31-38
• /
• 2021

본 논문은 감성 분석에 사용되는 RNN 모델의 최적화를 얻기 위한 성능분석을 위하여 하이퍼파라미터 튜닝에 따른 손실과 정확도의 추이를 관찰하여 모델과의 상관관계를 연구하였다. 연구 방법으로는 시퀀셜데이터를 처리하는데 가장 최적화된 LSTM과 Embedding layer로 히든레이어를 구성한 후, LSTM의 Unit과 Batch Size, Embedding Size를 튜닝하여 각각의 모델에 대한 손실과 정확도를 측정하였다. 측정 결과, 손실은 41.9%, 정확도는 11.4%의 차이를 나타내었고, 최적화 모델의 변화추이는 지속적으로 안정적인 그래프를 보여 하이퍼파라미터의 튜닝이 모델에 지대한 영향을 미침을 확인하였다. 또한 3가지 하이퍼파라미터 중 Embedding Size의 결정이 모델에 가장 큰 영향을 미침을 확인하였다. 향후 이 연구를 지속적으로 이어나가 모델이 최적의 하이퍼파라미터를 직접 찾아낼 수 있는 알고리즘에 대한 연구를 지속적으로 이어나갈 것이다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권9호
• /
• pp.3298-3321
• /
• 2021

A lot of data hiding schemes have been proposed to embed secret data in the plain cover images or compressed images of various formats, including JPEG, AMBTC, VQ, etc. In this paper, we propose a production process of mosaic images based on three regular images of coffee beans. A primary image is first mimicked by the process to produce a mosaic cover image. A two-layer steganography is applied to hide secret data in the mosaic image. Based on the low visual quality of the mosaic cover image, its PSNR value can be improved about 1.5 dB after embedding 3 bpp. This is achieved by leveraging the newly proposed polarized search mask and the concepts of strong embedding and weak embedding. Applying steganography to the mosaic cover images is a completely new idea and it is promising.

• Journal of Multimedia Information System
• /
• 제9권2호
• /
• pp.93-102
• /
• 2022

Dependency parsing is a decision problem of the syntactic relation between words in a sentence. Recently, deep learning models are used for dependency parsing based on the word representations in a continuous vector space. However, it causes a mislabeled tagging problem for the proper nouns that rarely appear in the training corpus because it is difficult to express out-of-vocabulary (OOV) words in a continuous vector space. To solve the OOV problem in dependency parsing, we explored the proper noun embedding method according to the embedding unit. Before representing words in a continuous vector space, we replace the proper nouns with a special token and train them for the contextual features by using the multi-layer bidirectional LSTM. Two models of the syllable-based and morpheme-based unit are proposed for proper noun embedding and the performance of the dependency parsing is more improved in the ensemble model than each syllable and morpheme embedding model. The experimental results showed that our ensemble model improved 1.69%p in UAS and 2.17%p in LAS than the same arc-eager approach-based Malt parser.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권6호
• /
• pp.1620-1634
• /
• 2023

This paper studies the task of embedding nodes with multiple graphs representing multiple information channels, which is useful in a large volume of network clustering tasks. By learning a node using multiple graphs, various characteristics of the node can be represented and embedded stably. Existing studies using multi-channel networks have been conducted by integrating heterogeneous graphs or limiting common nodes appearing in multiple graphs to have similar embeddings. Although these methods effectively represent nodes, it also has limitations by assuming that all networks provide the same amount of information. This paper proposes a method to overcome these limitations; The proposed method gives different weights according to the source graph when embedding nodes; the characteristics of the graph with more important information can be reflected more in the node. To this end, a novel method incorporating a multi-channel gate layer is proposed to weigh more important channels and ignore unnecessary data to embed a node with multiple graphs. Empirical experiments demonstrate the effectiveness of the proposed multi-channel-based embedding methods.

• Journal of Information Processing Systems
• /
• 제18권5호
• /
• pp.614-627
• /
• 2022

Aspect-based sentiment analysis is to discover the sentiment polarity towards an aspect from user-generated natural language. So far, most of the methods only use the implicit position information of the aspect in the context, instead of directly utilizing the position relationship between the aspect and the sentiment terms. In fact, neighboring words of the aspect terms should be given more attention than other words in the context. This paper studies the influence of different position embedding methods on the sentimental polarities of given aspects, and proposes a position embedding interactive attention network based on a long short-term memory network. Firstly, it uses the position information of the context simultaneously in the input layer and the attention layer. Secondly, it mines the importance of different context words for the aspect with the interactive attention mechanism. Finally, it generates a valid representation of the aspect and the context for sentiment classification. The model which has been posed was evaluated on the datasets of the Semantic Evaluation 2014. Compared with other baseline models, the accuracy of our model increases by about 2% on the restaurant dataset and 1% on the laptop dataset.

• 한국음향학회지
• /
• 제39권5호
• /
• pp.497-504
• /
• 2020

화자 검증에서 화자 임베딩 구축은 중요한 이슈이다. 일반적으로, 화자 임베딩 인코딩을 위해 자기주의 메커니즘이 적용되어졌다. 이전의 연구는 마지막 풀링 계층과 같은 높은 수준의 계층에서 자기 주의를 학습시키는 데 중점을 두었다. 이 경우, 화자 임베딩 인코딩 시 낮은 수준의 계층의 영향이 감소한다는 단점이 있다. 본 연구에서는 잔차 네트워크를 사용하여 Masked Cross Self-Attentive Encoding(MCSAE)를 제안한다. 이는 높은 수준 및 낮은 수준 계층의 특징 학습에 중점을 둔다. 다중 계층 집합을 기반으로 각 잔차 계층의 출력 특징들이 MCSAE에 사용된다. MCSAE에서 교차 자기 주의 모듈에 의해 각 입력 특징의 상호 의존성이 학습된다. 또한 랜덤 마스킹 정규화 모듈은 오버 피팅 문제를 방지하기 위해 적용된다. MCSAE는 화자 정보를 나타내는 프레임의 가중치를 향상시킨다. 그런 다음 출력 특징들이 합쳐져 화자 임베딩으로 인코딩된다. 따라서 MCSAE를 사용하여 보다 유용한 화자 임베딩이 인코딩된다. 실험 결과, VoxCeleb1 평가 데이터 세트를 사용하여 2.63 %의 동일 오류율를 보였다. 이는 이전의 자기 주의 인코딩 및 다른 최신 방법들과 비교하여 성능이 향상되었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2009년도 추계학술대회
• /
• pp.949-952
• /
• 2009

본 논문에서는 다층구조를 갖는 trellis 부호를 이용한 정보부호화 기반 워터마킹 방법에 대하여 연구하였다. 영상을 $8{\times}8$블록으로 중복되지 않게 나누어 DCT변환을 수행하고 각 블록으로부터 12개의 중간주파수 대역의 계수를 추출한다. 이를 다층구조를 갖는 trellis 부호화의 각 단계에서 평균이 0이고 분산이 1인 가우시안 난수와 비교하여 선형상관계수가 최소인 벡터를 Viterbi 알고리즘으로 구하고 이 벡터를 원 영상에 삽입하여 워터마킹된 영상을 얻는다. 제안 방법의 성능을 평가하기 위해 다수의 영상에 대한 평균 비트오차율을 계산하여 성능을 비교하였다.

• 한국음향학회지
• /
• 제40권2호
• /
• pp.148-154
• /
• 2021

문장 독립 화자 인증 연구에서는 일반화 성능 향상을 위해 문장 정보와 독립적인 화자 특징을 추출하는 것이 필수적이다. 그렇지만 심층 신경망은 학습 데이터에 의존적이므로, 동일한 시계열 정보를 반복 학습할 경우, 화자 정보를 학습하는 대신 문장 정보에 과적합 될 수 있다. 본 논문에서는 이러한 과적합을 방지하기 위해 시간 축으로 입력층 혹은 은닉층을 분할 및 무작위 재배열하여 시계열 정보의 순서를 뒤섞는 세그멘트 단위 혼합 계층을 제안한다. 세그멘트 단위 혼합 계층은 입력층 뿐만 아니라 은닉층에도 적용이 가능하므로, 입력층에서의 일반화 기법에 비해 효과적이라 알려진 은닉층에서의 일반화 기법으로 활용이 가능하며, 기존의 데이터 증강 방법과 동시에 적용할 수도 있다. 뿐만아니라, 세그멘트의 단위 크기를 조절하여 혼합의 정도를 조절할 수도 있다. 본 논문에서는 제안한 방법을 적용하여 문장 독립 화자 인증 성능이 개선됨을 확인하였다.

• 사물인터넷융복합논문지
• /
• 제8권5호
• /
• pp.17-25
• /
• 2022

최근 종단 장치(Edge Device)의 수가 증가함에 따라 빅데이터가 생성되었고 특히 정제되지 않은 HTML 문서가 증가하고 있다. 따라서 자연어 처리 모델을 이용해 HTML 문서 내에서 중요한 정보를 찾아내는 기계 독해(Machine Reading Comprehension) 기술이 중요해지고 있다. 본 논문에서는 기계 독해의 여러 연구에서 준수한 성능을 보이는 BERT(Bidirectional Encoder Representations from Transformers) 모델이 HTML 문서 구조의 깊이를 효과적으 로 학습할 수 있는 HTDE(HTML Tag Depth Embedding Method)를 제안하였다. HTDE는 BERT의 각 입력 토큰에 대하여 HTML 문서로부터 태그 스택을 생성하고 깊이 정보를 추출한다. 그리고 BERT의 입력 임베딩에 토큰의 깊이를 입력으로하는 HTML 임베딩을 더한다. 이 방법은 문서 구조를 토큰 단위로 표현하여 주변 토큰과의 관계를 식별할 수 있기 때문에 HTML 문서에 대한 BERT의 정확도를 향상시키는 효과가 있다. 마지막으로 실험을 통해 BERT의 기존 임베딩 기법에 비해 HTML 구조에 대한 모델 예측 정확도가 향상됨을 증명하였다.

• 한방안이비인후피부과학회지
• /
• 제36권4호
• /
• pp.113-121
• /
• 2023

Objectives : The purpose of this study is to analyze the treatment mechanism of Thread-embedding acupuncture, which is used in Korean medicine beauty treatment. Methods : After searching papers published up to January 1, 2023 using the keyword "Thread-embedding" through the OASIS site, we selected beauty papers that mentioned the treatment mechanism of Thread-embedding acupuncture. Results : A total of 60 papers were retrieved: 19 papers on the topic of cosmetic diseases, 35 papers on the theme of other diseases, and 6 papers written unrelated to diseases. Among the 19 papers on the topic of cosmetic diseases, one unreadable paper was excluded. Among the 18 papers, we finally selected 6 papers that mentioned treatment mechanisms: 2 on facial wrinkles, 2 on obesity, 1 on breast enlargement, and 1 on transdermal hydration. The treatment mechanism of Thread-embedding acupuncture is that in the case of facial wrinkles, polydioxanone(PDO) is embedded to fill the volume, and as it decomposes, it causes a tissue reaction around the area. In obesity, it promotes fat decomposition by improving circulation, and promotes breast enlargement and elasticity through collagen formation. In transdermal hydration, it induces the production of surrounding fibers to increase skin elasticity and moisture. Conclusions : Thread-embedding acupuncture appears to have a cosmetic effect through a mechanism that promotes the production of collagen and elastic fibers in the subepidermal dermal layer and increases the activity of skin moisturizing factors during the absorption process after the PDO suture is embedded.