• International Journal of Contents
• /
• 제16권4호
• /
• pp.68-77
• /
• 2020

VR (Virtual Reality) contents make the audience perceive virtual space as real through the virtual Z axis which creates a space that could not be created in 2D due to the space between the eyes of the audience. This visual change has led to the need for technological changes to sound and sound sources inserted into VR contents. However, studies to increase immersion in VR contents are still more focused on scientific and visual fields. This is because composing and producing VR sounds require professional views in two areas: sound-based engineering and computer-based interactive sound engineering. Sound-based engineering is difficult to reflect changes in user interaction or time and space by directing the sound effects, script sound, and background music according to the storyboard organized by the director. However, it has the advantage of producing the sound effects, script sound, and background music in one track and not having to go through the coding phase. Computer-based interactive sound engineering, on the other hand, is produced in different files, including the sound effects, script sound, and background music. It can increase immersion by reflecting user interaction or time and space, but it can also suffer from noise cancelling and sound collisions. Therefore in this study, the following methods were devised and utilized to produce sound for VR contents called "A Midsummer Night" so as to take advantage of each sound-making technology. First, the storyboard is analyzed according to the user's interaction. It is to analyze sound effects, script sound, and background music which is required according to user interaction. Second, the sounds are classified and analyzed as 'simultaneous sound' and 'individual sound'. Thirdly, work on interaction coding for sound effects, script sound, and background music that were produced from the simultaneous sound and individual time sound categories is done. Then, the contents are completed by applying the sound to the video. By going through the process, sound quality inhibitors such as noise cancelling can be removed while allowing sound production that fits to user interaction and time and space.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.523-526
• /
• 2017

최근 3차원 가상현실에서의 몰입도를 높이기 위해 실감 음향 분야의 연구가 활발히 진행되고 있다. 일반적으로 현재의 가상현실에서 적용되는 실감 음향 생성 장치는 음원의 방위각과 위상에 대한 고려는 적용되어 있지만, 음향이 청자에게 다가오고 멀어질 때 발생하는 도플러 효과를 충분히 반영하고 있는 기술이 부족한 현실이다. 따라서 본 논문에서는 가상현실에서의 몰입감을 향상하기 위하여 입체음향 채널의 공간 회전축 스피커를 통해 도플러 효과가 더해진 3차원 입체 증감 음향을 제공하는 방법을 제안한다. 이를 위해 가상의 3차원 공간상에 위치하는 음원을 사용자가 있는 실제 공간에 대응시키고, 가상 음원의 위치에 따라 각각의 공간 회전축 스피커가 출력하는 출력량, 위상차 그리고 회전 각도를 조절해 3차원 실감 음향을 제공한다. 공간 회전축 스피커가 회전하면서 발생하는 회전음원의 자연적인 도플러 효과와 출력 음원의 주파수 변조를 통한 인위적인 도플러 효과가 더해져 청자에게 음원의 원근감을 더욱 사실적으로 느낄 수 있는 입체 증감 음향의 효과를 제공하게 된다.

• 한국위성정보통신학회논문지
• /
• 제11권4호
• /
• pp.102-106
• /
• 2016

스마트 폰의 대중화와 고속 무선 통신 기술의 도움으로 고품질 멀티미디어 콘텐츠가 모바일 기기에서 보편화되고 있다. 특히, Oculus Rift의 출시는 소비자 시장에서 가상현실 기술의 새로운 시대를 열고 있다. 또한 컴퓨터 게임을 보다 사실적 구동을 위한 3D 오디오 기술은 곧 차세대 모바일 기기에 적용될 것이며, 시각적인 것보다 더 광범위한 사실적 경험을 제공 할 것으로 예상된다. 따라서 이 논문에서는 가상현실 기반의 응용 프로그램에서 3D 사운드 모델링을 위한 개념, 알고리즘 및 시스템에 대하여 기술하고자 하며 특히 기하학적 음향 기술 기반의 알고리즘에 초점을 맞추었다. 이를 위하여 먼저, 사운드 전파를 모델링하기 위해 물리적 기반의 기하학적 알고리즘과 다중 채널 기술 중심으로 오디오 렌더링을 위한 중요한 설계 원칙 소개와 오디오 렌더링 파이프 라인을 씬 그래프 기반의 가상 현실 시스템 및 최신 하드웨어 구조 소개를 포함한다.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.227-233
• /
• 2019

본 논문은 가상현실 음향 구현을 위한 심층신경망 기반 사운드 보간 방법에 관한 것으로서, 이를 통해 두 지점에서 취득한 음향 신호들을 사용하여 두 지점 사이의 음향을 생성한다. 산술평균이나 기하평균 같은 통계적 방법으로 사운드 보간을 수행할 수 있지만 이는 실제 비선형 음향 특성을 반영하기에 미흡하다. 이러한 문제를 해결하기 위해서 본 연구에서는 두 지점과 목표 지점의 음향신호를 기반으로 심층신경망을 훈련하여 사운드 보간을 시도하였으며, 실험결과 통계적 방법에 비해 심층신경망 기반 사운드 보간 방법의 성능이 우수함을 보였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.117.2-117
• /
• 2001

In this paper, 3D sound rendering using multichannel speakers is studied. Virtual 3D sound technology has mainly been researched with binaural system. The conventional binaural sound systems reproduce the desired sound at two arbitrary points using two speakers in 3DD space. However, it is hard to implement the localization of virtual source at back/front and top/below positions because the HRTF of an individual is unique just like the fingerprint. Most of all, the HRTF is highly sensitive to the elevation change. Multichannel sound systems have mainly been used to reproduce the sound field picked up over a certain volume rather than at specific points. Moreover, multichannel speakers arranged in 3-D space produce a much better performance of ...

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권12호
• /
• pp.5936-5954
• /
• 2018

Eight out of the top ten the largest technology companies in the world are involved in some way with the coming mobile VR revolution since Facebook acquired Oculus. This trend has allowed the technology related with mobile VR to achieve remarkable growth in both academic and industry. Therefore, the importance of reproducing the acoustic expression for users to experience more realistic is increasing because auditory cues can enhance the perception of the complicated surrounding environment without the visual system in VR. This paper presents a audio downmixing system for auralization based on hardware, a stage of sound rendering pipelines that can reproduce realiy-like sound but requires high computation costs. The proposed system is verified through an FPGA platform with the special focus on hardware architectural designs for low power and real-time. The results show that the proposed system on an FPGA can downmix maximum 5 sources in real-time rate (52 FPS), with 382 mW low power consumptions. Furthermore, the generated 3D sound with the proposed system was verified with satisfactory results of sound quality via the user evaluation.

• 대한음성학회지:말소리
• /
• 제59호
• /
• pp.89-99
• /
• 2006

This paper proposes a new structural head-related transfer function(HRTF) model to produce sounds in a virtual environment. The proposed HRTF model generates 3-D sounds by using a head model, a pinna model and the proposed distance model for azimuth, elevation, and distance that are three aspects for 3-D sounds, respectively. In particular, the proposed distance model consists of level normalization block distal region model, and proximal region model. To evaluate the performance of the proposed model, we setup an experimental procedure that each listener identifies a distance of 3-D sound sources that are generated by the proposed method with a predefined distance. It is shown from the tests that the proposed model provides an average distance error of $0.13{\sim}0.31$ meter when the sound source is generated as if it is 0.5 meter $\sim$ 2 meters apart from the listeners. This result is comparable to the average distance error of the human listening for the actual sound source.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 2002년도 춘계학술대회논문집
• /
• pp.353-358
• /
• 2002

Human's vision is mostly confined to the area in the front and we, humans heavily depend on the sense of hearing to gather information in areas out of our sight. Thus, the virtual reality system consisting of the 3D sound effect gives the user a much better sense of reality than the system without the sound effect. Virtual 3D sound technology has mainly been researched with binaural system. The conventional binaural sound systems reproduce the desired sound at two arbitrary points using two channels in 3-D space. Head movement of listener might be change the nominal acoustic transfer function and deteriorate the performance of 3D sound system based on loudspeakers that needs a crosstalk canceller. In this paper, low kinds of sensitivity functions of sphere HRTF are derived to investigate the effect of head movement on HRTF in 3D sound system. Changes of HRTF caused by rotational and translational motion of head are obtained as we calculate the derivatives of HRTF with respect to angle and distance.

• 한국컴퓨터산업학회논문지
• /
• 제4권10호
• /
• pp.599-610
• /
• 2003

급속히 발달하는 현대의 디지털 기술에 의해 음향기기는 매우 빠른 속도로 개선 개발되고 있으며 이에 대한 기술과 지식도 나날이 새로워짐에 따라 보다 더 다양하고 새로운 음향이 제공될 뿐만 아니라 생활 수준향상에 따른 음향에 대한 관심과 보다 더 다양하고 수준 높은 음향에 대한 요구가 점차 확산되어 가는 추세이다. 이러한 결과로 인해 이제 음향기기는 이를 다루는 전문가는 물론이고 일반인들 역시 이에 대한 사용의 필요성이 높아지게 되었다. 그럼에도 불구하고 음향기기는 이를 사용하는 전문가들과 일반인에게 수용하기 어려울 정도의 급속한 변화와 발전을 거듭하고 있다. 이러한 새로운 음향에 대한 테크놀로지를 가상적으로 조작 및 체험해보는 안내가 필요하다. 따라서 본 연구의 목적은 음향기기에 대한 이해를 원하는 일반인들과 전문인들에게 기기의 기본 원리와 사용 및 조작법을 안내하는 웹 기반 가상 음향기기 안내 시스템을 설계하는 것이다. 본 음향기기 안내 시스템은 음향기기 사용법의 내용을 단순히 컴퓨터로 표현하고 안내하는 차원을 넘어 실제 조작과 가깝게 가상적인 조작을 제공하는 시뮬레이션형의 안내시스템이다.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 2014년도 추계학술대회 논문집
• /
• pp.572-574
• /
• 2014

Researches on three-dimensional multimedia has been performed actively in recent years. Virtual sound technology corresponding to virtual image should be provided to implement 3D multimedia with high quality. Head-related transfer function (HRTF) plays a key role in this research area. HRTFs measured in changing azimuth, elevation, and distance for each and every subject is necessary for ideal solution. However, it is practically impossible to measure all subjects' HRTFs, so various HRTF databases have been built by many researchers. Because HRTF displays quite different aspects from subject to subject, HRTF of dummy head has been used for generic usage. However, mannequin's HRTF showed much worse performance comparing with individual case so this solution should be improved. From previous work, standardization of HRTF based on tensor-singular value decomposition method has been proposed. For effective extraction of standard HRTF, three different decomposition methods are compared in this paper.