감성과학 (Science of Emotion and Sensibility)

  • 제13권3호
  • /
  • Pages.475-484
  • /
  • 2010
  • /
  • 1226-8593(pISSN)
  • /
  • 2383-613X(eISSN)
한국감성과학회 (Korean Society for Emotion and Sensibility)
권호 표지

의미적 속성을 가진 시.청각자극의 SOA가 시청각 통합 현상에 미치는 영향 -중복 표적 효과와 시각 우세성 효과를 중심으로-

The Influence of SOA between the Visual and Auditory Stimuli with Semantic Properties on Integration of Audio-Visual Senses -Focus on the Redundant Target Effect and Visual Dominance Effect-

  • Kim, Bo-Seong (Department of Psychology, Chungnam National University) ;
  • Lee, Young-Chang (Department of Psychology, Chungnam National University) ;
  • Lim, Dong-Hoon (Department of Psychology, Chungnam National University) ;
  • Kim, Hyun-Woo (Department of Psychology, Chungnam National University) ;
  • Min, Yoon-Ki (Department of Psychology, Chungnam National University)
  • 투고 : 2010.07.12
  • 심사 : 2010.08.24
  • 발행 : 2010.09.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 연구는 의미적 속성을 가진 시각과 청각자극 간의 SOA(stimulus onset asynchrony)가 시청각 통합 현상에 미치는 영향을 살펴보고자 하였다. 시청각 통합 현상 중 표적을 의미하는 자극의 양상이 두 개 이상인 경우 표적에 반응이 빠르고 정확한 중복 표적 효과(redundant target effect)와 청각 자극에 비해 시각 자극에 대한 반응이 빠르고 정확한 시각 우세성 효과(visual dominance effect)를 중심으로 살펴보기 위해서 시각과 청각 단일 양상 표적 조건과 다중 양상 표적 조건을 구성하여 조건들의 반응시간과 정확률을 살펴보았다. 그 결과, 시 청각자극의 SOA가 변하더라도 중복 표적 효과는 이에 영향을 받지 않는 것으로 나타났으며, 두 자극 간의 SOA가 100ms 이상인 조건에서는 청각자극의 우세현상이 나타났다. 이러한 결과는 중복 표적 효과의 경우 두 양상자극 간의 SOA가 변하더라도 안정적으로 지속된다는 점을 시사하며, 청각자극의 경우 시각자극에 비해 약 100ms 이상의 시간적 이득조건이 마련되었을 때에 비로소 우세한 정보처리의 행동결과가 도출될 수 있음을 시사한다.

This study examined the influence of the SOA(stimulus onset asynchrony) between visual and auditory stimuli on the integration phenomenon of audio-visual senses. Within the stimulus integration phenomenon, the redundant target effect (the faster and more accurate response to the target stimulus when the target stimulus is presented with more than two modalities) and the visual dominance effect (the faster and more accurate response to a visual stimulus compared to an auditory stimulus) were examined as we composed a visual and auditory unimodal target condition and a multimodal target condition and then observed the response time and accuracy. Consequently, despite the change between visual and auditory stimuli SOA, there was no redundant target effect present. The auditory dominance effect appeared when the SOA between the two stimuli was over 100ms. Theses results imply that the redundant target effect is continuously maintained even when the SOA between two modal stimuli is altered, and also suggests that the behavioral results of superior information processing can only be deducted when the time difference between the onset of the auditory stimuli and the visual stimuli is approximately over 100ms.

키워드

참고문헌

  1. 김보성, 민윤기, 범린 (2008). 다중 정보 제시 상황에서 공간, 시각, 청각 정보의 정보 양상 우세성 관계: 디스플레이와 제어장치 설계를 위한 함의. 한국심리학회지: 실험, 20(2), 95-107.
  2. 김보성, 민윤기 (2009a). 시각과 청각 정보의 의미적 일치성에 따른 시각 우세성 효과의 변화. 인지과학, 20(2), 109-124.
  3. 김보성, 민윤기 (2009b). 단서와 표적 자극의 의미적 일치성이 양상 변화 효과에 미치는 영향. 한국심리학회지: 일반, 28(1), 103-113.
  4. 범린, 김보성, 민윤기 (2008). Influence of semantic congruence on redundant target effect between visual and auditory stimuli. 한국실험심리학회 제 43차 학술대회 논문집, 115-120.
  5. Andersen, T. S., Tiippana, K., & Sams M. (2004). Factors influencing audiovisual fission and fusion illusions. Cognitive Brain Research, 21, 301-308.
  6. Colavita, F. B. (1974). Human sensory dominance. Perception and Psychophysics, 16, 409-412.
  7. Driver, J. & Spence, C. (2000). Multisensory perception: Beyond modularity and convergence. Current Biology, 10, 731-735.
  8. Egeth, H. E. & Sager, L. C. (1977). On the locus of visual dominance. Perception and Psychophysics, 22, 77-86.
  9. Fujusaki, W. & Nishida, S. (2005). Temporal frequency characteristics of synchrony asynchrony discrimination of audio-visual signals. Experimental Brain Research, 166, 455-464.
  10. Laurienti, P. J., Kraft, R. A., Maldjian, J. A., Burdette, J. H., & Wallace, M. T. (2004). Semantic congruence is a critical factor in multisensory behavioral performance. Experimental Brain Research, 158, 405-414.
  11. Molholm, S., Ritter, W., Javitt, D. C., & Foxe, J. J. (2004). Multisensory visual-auditory object recognition in humans: A high-density electrical mapping study. Cerebral Cortex, 14, 452-465.
  12. Morein-Zamir, S., Soto-Faraco, S., & Kingstone, A. (2003). Auditory capture of vision: Examining temporal ventriloquism. Cognitive Brain Research, 17, 154-163.
  13. Sinnett, S., Soto-Faraco, S., & Spence, C. (2008). The co-occurrence of multisensory competition and facilitation. Acta Psychologica, 128, 153-161.
  14. Sinnett, S., Spence, C., & Soto-Faraco, S. (2007). Visual dominance and attention: The Colavita effect revisited. Perception and Psychophysics, 69, 673-686.
  15. Spence, C. (2007). Audiovisual multisensory integration. Acoustical Science and Technology, 28, 61-70.
  16. Welch, R. B. (1999). Meaning, attention, and the 'unity assumption' in the intersensory bias of spatial and temporal perceptions. In G. Ashersleben, T. Bachmann, & J. Musseler(Eds.), Cognitive contributions to the perception of spatial and temporal events (pp.371-387). Amserdam: Elsevier Science.