• 한국산학기술학회논문지
• /
• 제8권4호
• /
• pp.803-809
• /
• 2007

본 논문은 인간의 언어정보처리 과정 중 시각단어재인(visual word recognition) 과정에서 음운정보(phonological information)와 철자정보(orthography information)의 역할 및 심성어휘집의 표상(representation) 형태를 알아보기 위해 신경망(neural network)을 이용한 계산주의적 모델(computational model)을 제안한다. 제안하는 모델은 한국어 2음절을 입력 값으로 사용하는 입력층(input layer), 은닉층(hidden layer) 그리고 의미를 표현하는 출력층(output layer)으로 구성된 전방향 신경회로망(feed forward network) 구조로 설계하였다. 실험결과 계산주의적 모델은 한국어에 대한 시각 단어재인 시 보이는 언어현상 중 음운, 철자 이웃 크기효과(phonological and orthographic neighborhood effect)를 나타냈으며, 이를 통해 한국어 시각단어재인 과정에서 심성어휘집이 음운정보로 표상되어 있음을 시사하는 증거를 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권2호
• /
• pp.769-786
• /
• 2016

Object recognition and object location have always drawn much interest. Also, recently various computational models have been designed. One of the big issues in this domain is the lack of an appropriate model for extracting important part of the picture and estimating the object place in the same environments that caused low accuracy. To solve this problem, a new Salient Based Bag of Visual Word (SBBoVW) model for object recognition and object location estimation is presented. Contributions lied in the present study are two-fold. One is to introduce a new approach, which is a Salient Based Bag of Visual Word model (SBBoVW) to recognize difficult objects that have had low accuracy in previous methods. This method integrates SIFT features of the original and salient parts of pictures and fuses them together to generate better codebooks using bag of visual word method. The second contribution is to introduce a new algorithm for finding object place based on the salient map automatically. The performance evaluation on several data sets proves that the new approach outperforms other state-of-the-arts.

• 음성과학
• /
• 제8권3호
• /
• pp.123-132
• /
• 2001

In recent years research on HCI technology has been very active and speech recognition is being used as its typical method. Its recognition, however, is deteriorated with the increase of surrounding noise. To solve this problem, studies concerning the multimodal HCI are being briskly made. This paper describes automated lipreading for bimodal speech recognition on the basis of image- and speech information. It employs audio-visual DB containing 1,074 words from 70 voice and tri-viseme as a recognition unit, and state tied HMM as a recognition model. Performance of automated recognition of 22 to 1,000 words are evaluated to achieve word recognition of 60.5% in terms of 22word recognizer.

• 대한음성학회지:말소리
• /
• 제60호
• /
• pp.29-45
• /
• 2006

We investigated whether the first syllable plays an important role in lexical access in Korean visual word recognition. To do so, one lexical decision task (LDT) and two form primed LDT experiments examined the nature of the syllabic neighborhood effect. In Experiment 1, the syllabic neighborhood density and the syllabic neighborhood frequency was manipulated. The results showed that lexical decision latencies were only influenced by the syllabic neighborhood frequency. The purpose of experiment 2 was to confirm the results of experiment 1 with form-primed LDT task. The lexical decision latency was slower in form-related condition compared to form-unrelated condition. The effect of syllabic neighborhood density was significant only in form-related condition. This means that the first syllable plays an important role in the sub-lexical process. In Experiment 3, we conducted another form-primed LDT task manipulating the number of syllabic neighbors in words with higher frequency neighborhood. The interaction of syllabic neighborhood density and form relation was significant. This result confirmed that the words with higher frequency neighborhood are more inhibited by neighbors sharing the first syllable than words with no higher frequency neighborhood in the lexical level. These findings suggest that the first syllable is the unit of neighborhood and the unit of representation in sub-lexical representation is syllable in Korea.

• 한국인지과학회:학술대회논문집
• /
• 한국인지과학회 2006년도 춘계학술대회
• /
• pp.53-58
• /
• 2006

We examined the cerebral activation of the emotional and linguistic attributes during the visual word recognition. This research investigated the affective priming effect preserving the behavioral paradigm. We used the primed-evaluation task in which the participants classify the target as positive or negative, and manipulated the emtional attributes by emtional relations of the prime-target word pairs(PP, PN, NP, NN). ROIs analyses for the semantic processing and emotional processing were performed. The results showed that the semantic processing areas including the IPL, SMG, and aSTS were activated differently according to the experimental condition. The activations of the IPL were increased only on the NN condition, whereas the activation of the SMG was decreased only on the PP condition. Furthmore, the activation of the emotional processing areas including the mPFC and ACC, was different according to the emotional realtions of word pairs. Similar to the SMG, the BOLD signal of the mPFC was decreaed only on the PP condition, whereas the activation of ACC was Increased only on the NN condition. These results were seemed to show the interact ive cerebral activations for processing the emtoional and linguistic attributes in a word, during visual word recognition.

• 대한음성학회:학술대회논문집
• /
• 대한음성학회 2007년도 한국음성과학회 공동학술대회 발표논문집
• /
• pp.295-297
• /
• 2007

This study suggests a computational model to inquire the roles of phonological information and orthography information in the process of visual word recognition among the courses of language information processing and the representation types of the mental lexicon. As the result of the study, the computational model showed the phonological and orthographic neighborhood effect among language phenomena which are shown in Korean word recognition, and showed proofs which implies that the mental lexicon is represented as phonological information in the process of Korean word recognition.

• 인지과학
• /
• 제34권1호
• /
• pp.1-20
• /
• 2023

본 연구에서는 시각적 요인에 따라 한글 단어 재인에 미치는 공간주의의 영향을 살펴보았다. 시각적 요인에 따라 공간주의의 영향이 다르게 나타나는지 살펴보기 위해 단어의 시각적 복잡성(실험 1)과 단어의 밝기 대비(실험 2)를 조작하였다. 단어의 복잡성에 따라 받침이 있는 조건과 받침이 없는 조건으로 나뉘었고, 단어의 대비에 따라 대비가 높은 조건과 대비가 낮은 조건으로 나뉘었다. 어휘판단과제를 사용하여 공간단서가 표적 위치에 주어지는 경우(타당 시행)와 표적 위치에 주어지지 않는 경우(비타당 시행) 간의 수행 차이를 단서효과로 계산하여 주의의 영향을 살펴보았다. 실험 결과, 단어의 복잡성에 따라서는 단서효과가 유사하게 나타났으므로, 공간주의의 영향은 복잡성에 의해 달라지지 않는 것으로 해석되었다. 단어의 대비에 따라서는 고대비 조건에 비해 저대비 조건에서 단서효과가 크게 나타났다. 대비가 낮을 때 공간주의의 영향이 더 커지는 것은 자극의 신호를 강화시키는 공간주의의 기제로 설명되었다.

• 인지과학
• /
• 제29권4호
• /
• pp.193-220
• /
• 2018

시각 단어 재인에 영향을 미치는 변인으로는 단어 빈도, 단어 길이, 이웃단어, 단어 형태 등이 밝혀진 바 있다. 단어 형태 변인은 한글이 영어와는 글자 체계가 다르기 때문에 형태 정보가 단어 처리에 다른 방식으로 영향을 미칠 수 있다. 본 연구는 게스탈트의 연속성 원리를 한글에 적용하여 한글 단어의 처리 단위를 알아보고, 음절 형태가 한글 단어 재인에 영향을 미치는지 검증하고자 하였다. 실험 1에서는 3음절 단어를 사용하여 음절 유형(평소 읽기방향이 연속성 원리에 부합하는 '가로집자'형(예: "가"), 부합하지 않는 '세로집자'형(예: "고")과 글자 제시 방향(가로, 세로)을 조작하였다. 어휘 판단 시간의 분석 결과, 제시 방향에 상관없이 '가로집자'형의 처리 속도가 '세로집자'형보다 빨랐다. 실험 2에서는 차폐 점화를 사용하여 음절유형('가로집자'와 '세로집자'형) 및 점화 자극과 목표 자극의 시각적 관계(동일, 유사, 상이)를 조작하였다. 점화자극과 목표자극의 음절집자 형태에 따라서 수행에 차이가 있었으며 이는 음절 형태가 단어 재인에 미친다는 것을 시사한다.

• 인지과학
• /
• 제26권1호
• /
• pp.1-26
• /
• 2015

본 연구의 목적은 한국어 시각 단어 재인과정에서 음운 정보가 주로 사용되는지(음운재부호화 가설) 혹은 표기 정보 중심으로 처리되고 음운 정보가 부수적인 역할을 하는지(이중경로가설)를 살펴보는 것이다. 이를 위하여 본 연구에서는 목표 단어(예: 녹말)와 음운이 완전히 일치하는 형태의 자극(예: 농말), 목표 단어와 첫음절의 음운은 일치하지만 두 번째 음절은 일치하지 않는 자극(예: 농알), 목표 단어와 첫음절의 표기가 일치하는 자극(예: 녹알)을 통제자극(예: 적감)과 비교하였다. 실험 1에서는 비단어 어휘판단과제를 사용하여 비단어 처리 시 음운 정보와 표기 정보의 영향을 살펴보았는데 그 결과 목표단어와 표기가 일치하는 조건은 통제조건에 비해 느린 반응시간과 높은 오류율을 보였지만 음운정보가 일치하는 조건에서는 통제조건에 비해 빠른 반응시간과 낮은 오류율을 보였다. 이러한 결과는 한국어 시각 단어 재인과정에서 표기 정보가 주도적으로 사용되지만, 음운정보도 어휘접근이나 그 이후의 과정에서 사용된다는 것을 시사한다. 실험 2와 실험 3에서는 두 SOA조건(60ms, 150ms)에서 차폐점화실험 패러다임을 사용한 어휘판단과제를 실시하였다. 그 결과 두 실험에서 모두 일음절의 표기정보가 동일한 조건에서만 점화효과가 나타나고 음운이 완전히 일치한 조건과 일음절의 음운정보만 일치한 조건에서는 점화효과가 나타나지 않았다. 이러한 결과는 실험 1과 마찬가지로 한국어 시각 단어 재인 시 표기 정보가 주로 사용되며 음운정보는 부수적인 역할을 한다는 것을 보여준다. 본 연구는 음운재부호화가설에 비해 이중경로 가설이 한글 시각단어재인과정을 설명하기에 더 적합함을 보여주는 경험적 증거라 볼 수 있다.

• 한국음향학회지
• /
• 제28권8호
• /
• pp.832-842
• /
• 2009

Automatic speech recognition (ASR) has been successfully applied to many real human computer interaction (HCI) applications; however, its performance tends to be significantly decreased under noisy environments. The invention of audio visual speech recognition (AVSR) using an acoustic signal and lip motion has recently attracted more attention due to its noise-robustness characteristic. In this paper, we describe our novel integration scheme for AVSR based on a late integration approach. Firstly, we introduce the robust reliability measurement for audio and visual modalities using model based information and signal based information. The model based sources measure the confusability of vocabulary while the signal is used to estimate the noise level. Secondly, the output probabilities of audio and visual speech recognizers are normalized respectively before applying the final integration step using normalized output space and estimated weights. We evaluate the performance of our proposed method via Korean isolated word recognition system. The experimental results demonstrate the effectiveness and feasibility of our proposed system compared to the conventional systems.