Development of a Digital Down-mixer to Convert 5.1 Channel Audio Signals to Stereo Signals

5.1 채널 오디오 신호를 스테레오 신호로 변환하는 디지털 다운믹서 개발

Abstract

Use of the 5.1 channel audio signals suitable for the television system is improper for the radio broadcasting system, which uses the stereo audio system. Therefore, it is necessary to develop an audio down-mixer to convert 5.1 multi-channel audio signals to stereo signals for radio broadcasting. In this paper, a development of an audio down-mixer was carried out to convert 5.1 multi-channel audio signals to stereo signals. The down-mixer which was developed can use the audio signals separated from video signals, including sound signals or individual signals provided from 3-channel AES/EBU signals including Left(L), Right(R), Left Surround(Ls), Right Surround(Rs), Center(C) and Low Frequency Effect(Lfe) sounds as mixer inputs.

1. 서 론

일반적으로 오디오 믹서는 여러 개의 오디오 소스로부터 전송되어 온 오디오 스트림들을 하나의 스트림으로 합쳐서 내보내는 기능을 한다. 이는 다채널의 오디오 신호를 적절히 선택하여 원하는 신호들로 믹싱 처리하는 기능으로 생각할 수 있으며, 오디오 믹서는 오디오 신호를 입력받아 전처리 단을 통해 신호의 불필요한 대역을 제거한 후 이퀄라이저 등의 필터링을 수행하고 이 처리된 신호를 원하는 채널 신호에 대해 믹싱 하도록 하는 것으로 생각 할 수 있다 [1]-[2]. 한편 멀티미디어의 발달로 수많은 디지털 기기에 다양한 멀티미디어 기술을 담아낼 것을 요구해 왔으며, 현재에는 비디오와 오디오 신호를 함께 전송하는 기술의 발달로 이러한 기능들이 통합된 기기들이 탄생하여 수요자의 요구가 실용화 되고 있다[3]-[5]. 근래에는 극장에서 영화를 보는 것과 마찬가지의 분위기를 자신의 집에서 느끼기 위해 비디오 및 오디오 시스템을 갖추고 집 안에서 편안히 영화를 감상하기를 원하는 사람들이 많아지고 있다. 이러한 시스템을 갖추기 위해서는 비디오를 재생하는 대형의 영상장비 즉, 대형의 텔레비전이나 프로젝터와 스크린이 필요하고 극장식 오디오를 즐길 수 있도록 하는 오디오 장비를 필요로 하게된다[5]. 따라서 오디오 기기에 있어서는 이와 같은 시스템을 지원하기 위해 5.1채널 오디오 신호를 출력하는 장치가 사용되어 오고 있다. 그러나 텔레비전 방송 등에 적합한 5.1 다중채널 오디오 신호는 라디오 방송용으로 사용하기에는 부적합하여 라디오 방송을 위해서는 5.1 다중 채널 디지털 오디오 신호를 스테레오 신호로 변환하기 위한 다운믹서(Down-mixer)의 사용이 필요하다. 다운믹서를 사용하지 않는 경우에는 5.1채널의 Left(L), Right(R), Left Surround(Ls), Right Surround(Rs), Center(C) 및 Low Frequency Effect(Lfe) 신호에서 스테레오 신호를 얻을 때 단순히 L, R 신호만을 추출하여 스테레오 신호로 사용함으로써 5.1 채널에서 얻을 수 있는 것과 같은 생동감 있는 오디오 신호를 얻을 수 없다. 본 논문에서는 5.1채널의 오디오 신호를 스테레오 신호로 믹스하는 데 L, R 신호 뿐만 아니라 필요에 따라 스테레오 신호에 Ls, Rs, C 및 Lfe 신호가 포함될 수 있도록 하기 위한 디지털 다운믹서의 개발을 수행한다. 일반적인 다운믹서의 기능은 3개의 AES(Audio Engineering Society)/EBU(European Broadcasting Union) 채널로 구성된 디지털 오디오 신호를 받아 다운믹스 된 스테레오 신호를 발생시키는 것인 데, 개발된 다운믹서는 이러한 기존의 다운믹서가 갖는 일반적인 기능 이외에 HD-SDI(High Definition-Serial Digital Interface)의 임베드 된(Embedded) 영상신호에서 오디오 신호를 분리하여 3개 채널의AES/EBU 신호를 만든 후 이 신호들을 다운믹싱 하는 기능을 포함하도록 하였을 뿐만 아니라, 3개의 채널을 통해 들어오는 각 디지털 오디오 신호와 임베드 된 영상신호로부터 분리된 오디오 신호 및 HD-SDI 영상신호 그 자체를 리클럭킹(Re-clocking) 하여 바이패스 시킬 수 있는 고기능의 다운믹서 장치가 되도록 하였다.

 

2. 본 론

2.1 오디오 다운믹서 구성 및 신호흐름 체계

그림 1은 다운믹서를 사용하지 않는 경우에 있어서 5.1채널 오디오 신호에서 스테레오 신호를 생성하는 방법과 본 논문에서 개발하는 다운믹서를 사용하여 스테레오 신호를 만들어내는 방식을 보여주고 있는 것으로, 그림 1의 (a)는 다운믹서를 사용하지 않는 경우 5.1 채널의 L, R, Ls, Rs, C 및 Lfe 신호에서 단순히 L과 R 신호만을 사용하여 스테레오 신호를 만들어내는 방식을 나타내고 있으며 그림 1의 (b)는 일반적인 다운믹서에서 L, R, Ls, Rs, C 및 Lfe 신호를 믹스하여 좌(Lo), 우(Ro) 스테레오 신호로 발생시키는 개념을 보여주고 있다. 한편 그림 1의 (c)는 다운믹서에서 오디오 신호가 포함되어 있는 HD-SDI 영상 신호로부터 직접 3개 채널의 오디오 신호를 추출하여 다운믹싱 하는 경우를 나타내고 있다. 그림 1의 (a)에서는 스테레오 오디오 신호에서 L 및 R 두 신호만을 사용함으로써 Ls, Rs, C 및 Lfe 신호가 빠져 있기 때문에 생동감이 결여된 음향이 발생하는 반면, 그림 (b)의 3개 채널 AES/EBU 오디오 신호를 받아 다운믹싱 하는 경우와 그림 (C)의 HD-SDI 신호로부터 3개 채널의 오디오 신호를 추출하여 다운믹싱 하는 경우는 L 및 R 이외에 Ls, Rs, C 및 Lfe 신호들이 함께 믹싱되기 때문에 생동감 있는 스테레오 신호를 발생시킬 수 있다. 본 논문에서 개발된 다운믹서는 그림 1의 (b)와 (C)의 기능을 함께 갖는다. 이때 그림 (b)에 보여주고 있는 각 3개의 AES/EBU 채널(3×AES/EBU) 은 AES/EBU1에 L, R 신호, AES/EBU2에 Ls, Rs 신호 그리고 AES/EBU3에 C 및 Lfe 신호를 갖는다.

그림 15.1 채널 오디오 신호로 부터 스테레오 신호의 송출방식 (a)다운믹서를 사용하지 않는 경우 (b)3개채널 AES/EBU 신호를 직접 다운믹싱 (c)HD-SDI 신호에서 오디오 신호 추출 후 다운믹싱 Fig. 1 Methods for transporting stereo signals from 5.1 channel audio signals. (a)In case of no use of down-mixer. (b)Down-mixing audio signals from 3 direct AES/EBU channels. (c)Down-mixing audio signals extracted from HD-SDI signals.

2.1.1 오디오 다운믹서의 구성

본 논문의 오디오 다운믹서는 그림 1의 (b) 및 (c)에서와 같이 3개의 다중채널을 통한 디지털 AES/EBU 오디오 신호나 HD-SDI 영상신호에 임베드 된 오디오 신호를 추출 후 디지털 스테레오 신호로 변환해 주는 장치로, 그림 2는 본 논문의 다운믹서를 구현하기 위한 시스템의 구성을 보여주고 있다. 다중채널이나 HD-SDI 영상신호에 포함되어 있는 오디오 입력신호는 Sync 제어기의 제어를 통해 다중채널 출력단으로 바이패스 되거나 다운믹서를 통하여 스테레오 신호로 출력된다. 이때 입출력 단에서 모두 볼륨을 조절할 수 있도록 되어있으며 이러한 일련의 동작은 FPGA(Field Programmable Gate Array)를 이용하여 구현하도록 한다.

그림 2다운믹서 시스템의 구성 Fig. 2 Configuration of the down-mixer system.

2.1.2 오디오 다운믹서의 신호흐름 체계

그림 3은 기존에 일반적으로 사용되고 있는 다운믹서 장비와 본 논문에서 개발된 오디오 다운믹서 장비의 차이를 보여주고 있다. 일반적으로 사용되고 있는 기존의 다운믹서는 그림 3의 (a)에서와 같이 3개의 채널(AES/EBU1, AES/EBU2, AES/EBU3)로부터 오디오 신호를 받아 다운믹스 된 스테레오 신호를 발생시키도록 하고 있으나, 본 논문에서 보여주고 있는 새로 개발된 다운믹서는 그림 3의 (b)에서와 같이 기존의 다운믹서가 갖는 일반적인 기능 이외에 도 HD-SDI의 임베드 된 영상신호에서 오디오 신호를 분리하여 3개 채널의 AES/EBU 신호를 만든 후 이 신호들을 다운믹싱 할 수 있도록 한다. 뿐만 아니라 3개의 채널을 통해 들어오는 각 디지털 오디오 신호와 임베드 된 영상신호로부터 분리된 오디오 신호들을 각각 바이패스 시킬 수 있도록함과 아울러 HD-SDI 영상신호 그 자체를 또한 바이패스 할 수 있도록 한다. 다운믹스 된 스테레오 신호는 라디오 송출 시스템으로 전송되도록 하며 바이패스 된 신호들은 그림 (b)에서와 같이 각기 필요한 목적에 따라 다른 용도로 사용할 수 있도록 하였다.

그림 3기존 다운믹서 장비와 개발된 다운믹서 장비의 차이 (a)기존 다운믹서 장비 (b) 개발된 다운믹서 장비 Fig. 3 Difference between the conventional down-mixer and the developed one. (a) Conventional down-mixer. (b) Developed down-mixer.

2.2 개발 오디오 다운믹서 장비의 구현

개발된 오디오 다운믹서의 구현을 위한 시스템 내부 구성도는 그림 4에 보여주고 있는 바와 같다. 그림 4의 (a)에서와 같이 개발된 다운믹서는 외부의 HD-Decoder로부터 전송되어 오는 임베드 된 HD-SDI 영상신호 및 3개의 채널로 구성된 디지털 오디오 신호들을 받아 각 신호들을 바이패스 시킬 수 있을 뿐만 아니라 전송되어 오는 각 신호들에 대한 내부적 처리를 통하여 다운믹스 된 디지털 스테레오 신호(Lo, Ro)를 발생시켜 주는 기능을 갖는다. HD-SDI 영상신호를 바이패스 할 때에는 신호의 감쇠를 보상키 위해 장치내에서 리클럭킹(Re-clocking) 할 수 있도록 하였으며, HD-SDI 영상신호는 내부의 De-Embedder를 통하여 3채널의 오디오 신호로 변환된다. 따라서 개발된 다운믹서 장비는 외부로부터 직접 들어오는 3채널의 오디오 신호뿐만 아니라 HD-SDI 영상신호에 포함되어 있는 오디오 신호 역시 스테레오 신호로 믹스해 줄 수 있다. 아울러 위에서 언급된 것처럼 개발된 오디오 다운믹스 장비는 외부 3채널 오디오 신호를 바이패스 해주는 기능 역시 갖고 있음을 그림 4(a)로부터 알 수 있다.

본 논문에서는 5.1 채널 오디오 신호를 스테레오 신호로 변환하기 위하여 일반적인 식 (1) 및 (2)를 이용하여 스테레오 신호 즉 Lo 및 Ro 신호를 얻도록 하였다[6].

여기서 L은 Left, R은 Right, C는 Center를, 첨자 s는 Surround를 의미하고, L0 및 R0 는 각각 Left, Right의 스테레오 신호를 나타낸다. 이때 식 (1) 및 (2)를 사용하는 경우 제품마다 음질에 있어 약간씩의 오차가 발생할 수 있기 때문에 본 논문에서는 이에 대한 세부 변경을 할 수 있도록 각 입력 채널마다 128 단계로 오디오 입력 볼륨 레벨(Audio Input Volume Level) 제어를 수행할 수 있도록 하였다. 본 논문에서는 Lfe 효과를 스테레오 신호에 사용하지 않았으나 이는 본 개발품을 요구하는 고객의 요청에 따른 것으로, 필 요에 따라 Lfe 효과를 스테레오 신호에 얼마든지 삽입하는 것이 가능하다. 아울러 사용자의 다양한 요구를 수용하기 위해 오디오의 출력은 0dB∼-12dB 까지 제어 할 수 있도록 하였으며, ATN은 스테레오 신호를 제어하기 위해 사용되는 attenuation 즉, 감쇠 값을 나타내는 것으로 0∼-12dB 값을 갖도록 한다.

그림 4개발 오디오 다운믹서 장비의 구현을 위한 시스템 구성도 (a)장치 구성도 (b)다운믹서 제어를 위한 주변장치 구성도 Fig. 4 System block diagram for realization of the audio down-mixer which was developed. (a)System block diagram. (b) Block diagram of peripherals for control of the down-mixer.

본 논문에 있어서 다운믹서의 기본 동작은 디지털 오디오 시리얼 입력(Digital Audio Serial Input) 5.1 채널(L, R, Ls, Rs, C 및 Lfe)을 받아 병렬 데이터(Parallel Data)로 변환하고 볼륨 제어기(Volume Controller)로 보내진 후 각각의 입력에 대해 볼륨을 조정한 후 FPGA로 구성된 믹싱회로에 의해 믹싱된 신호 Lo 및 Ro를 출력하는 것으로, 다운믹서에 입력되는 채널별 신호세기가 조절 가능하도록 설계되어 있어 사용자가 출력되는 스테레오 신호를 개별적으로 가공하는 것이 가능하도록 하였다. 그림 4의 (b)는 외부로부터 들어오는 HD-SDI 영상신호로 부터 오디오 신호를 분리하여 스테레오 신호로 변환하는 다운믹싱 과정을 통하여 이러한 개념을 설명하고 있으며, HD-SDI 영상신호에서 오디오 신호를 추출하여 다운믹스 된 스테레오 신호를 얻는 과정은 다음과 같다. 첫째, 그림 4(b)에서 보여주고 있는 바와 같이 De-Embedder는 외부의 인코딩 된 비디오 신호와 오디오 신호를 함께 포함한 HD-SDI 신호로 부터 오디오 신호를 추출하며, 둘째 HD-SDI 신호로 부터 추출된 오디오 신호들 은 3개 채널 각각에 즉, AES/EBU1에 L, R 신호, AES/EBU2에 Ls, Rs 신호 및 AES/EBU3에 C와 Lfe 신호를 각각 포함하도록 한다. 셋째, 3개 채널 각각의 AES/EBU 신호를 믹싱(Mixing) 하기 전 볼륨을 조정하도록 하며, 넷째 신호의 믹싱은 식 (1)∼(2)를 통하여 구현되고 본 논문을 통해 개발된 다운믹서에서는 저주파 효과 Lfe를 합성하지 않도록 하였으나 Lfe를 함께 취급하는 것은 목적에 따라 충분히 가능하다. 마지막으로 다섯째 최종 스테레오 출력값을 얻기 위해 믹싱 후 최종 출력 전에 다시 한 번 볼륨을 조정한다. 이때 그림 4(b)에서와 같이 입출력 볼륨 조정은 물론 오디오 소스의 상태 등을 설정하고 조회하도록 하기 위한 유저 인터페이스와, 사용자가 설정한 값을 적용시키거나 여러 가지 제어명령을 제공 및 수행하도록 하기 위한 제어부, 그리고 외부 입출력 기기를 이용하여 장치를 제어할 수 있는 키패드(Key Pad)를 각각 두도록 하였다. 그림 5는 본 논문에서 다운믹서를 통한 다중채널 신호의 스테레오 신호 변환을 위해 사용된 식 (1)과 (2)를 나타내는 블록다이어그램을 보여준다.

그림 5다운믹서를 통한 다중채널 오디오 신호의 스테레오 신호 변환 블록다이어그램 Fig. 5 Block diagram to convert multi-channel audio signals to stereo signals using the audio down-mixer.

2.3 오디오 다운믹서 제작 및 테스트 결과

2.3.1 오디오 다운믹서 제작 및 테스트 장치의 구성

개발된 오디오 다운믹서의 시제품이 제작되었으며 그림 6은 제작된 오디오 다운믹서의 외관을 나타내는 사진으로 그림의 (a)는 전면을 (b)는 후면 사진을 보여주고 있다. 아울러 그림 6의 (c)는 HD-SDI 영상신호로부터 오디오 신호를 분리하는 테스트 진행을 위해 설치된 테스트 장비를 함께 나타낸 사진이며, 개발된 다운믹서의 성능검증을 위한 여러 가지 테스트가 수행되었다.

2.3.2 오디오 다운믹서 신호처리 시뮬레이션 결과

그림 7은 다운믹싱을 통해 얻어지는 신호 처리 파형의 예를 시뮬레이션을 수행하여 나타낸 것으로 그림의 첫 번째 파형 i1_P0는 첫 번째 입력된 오디오 L/R 신호를 24bit의 병렬 데이터로 바꾼 아날로그 8[kHz] 정현파 신호이며, 두번째 신호 파형 i1_P1은 두 번째 입력된 오디오 서라운드 신호 Ls/Rs를 24bit 병렬 데이터로 바꾼 아날로그 신호로 4[kHz]의 정현파 파형을 나타낸다. 그림의 위에서 세 번째 파형인 i1_P2는 세 번째 입력된 오디오 C/Lfe 신호를 24bit 병렬 데이터로 바꾼 아날로그 1[kHz] 정현파 신호이다. 그림의 위에서부터 4~6번째 파형은 각각 입력된 오디오 신호를 바이패스한 출력신호로, 그림의 O1_P0는 위의 첫 번째 입력된 오디오 신호를 바이패스한 경우의 출력파형이고, O1_P1은 위의 두 번째 입력된 오디오 신호를 바이패스한 경우를, 그리고 O1_P2는 위의 세 번째 입력된 오디오 신호를 바이패스한 경우의 출력파형을 나타내고 있다. 그림에서 마지막 출력 파형인 O2_P0는 위 3개의 오디오 신호를 다운믹스(Down-mix)한 Lo/Ro에 해당하는 24bit 병렬 데이터의 아날로그 파형을 보여주고 있다. 상술한 바와 같이 본 논문에서 개발된 다운믹서는 사용자의 요청 또는 필요에 따라 다중채널의 오디오 신호를 믹스하여 스테레오 오디오 신호로 출력하도록 한다.

그림 6제작 다운믹서 외관사진 및 테스트 수행 사진 (a) 제작 장비 앞면 (b) 제작 장비 후면 (c) HD-SDI 오디오 신호 분리 테스트 사진 Fig. 6 Photographs showing external appearances of the down-mixer manufactured and a photograph showing a test. (a) Front view of the down-mixer. (b) Back side view of the down-mixer. (c) Photograph showing a test to separate audio signals from HD-SDI.

그림 7시뮬레이션에 의한 다운믹서의 신호처리 결과 파형 Fig. 7 Waveforms obtained from signal processing of the down-mixer by simulation.

2.3.3 오디오 다운믹서 성능시험 결과 및 합성파형 신호처리 측정 결과

개발된 다운믹서의 성능검증을 위한 여러 가지 테스트가 수행되었으며, 표 1은 개발된 다운믹서의 성능시험에 사용된 평가항목과 공인인증시험(TTA)을 통한 측정결과를 나타낸 것으로 모든 성능시험 평가항목에 있어서 만족할 만한 결과를 보여주고 있음을 알 수 있다.

그림 8은 3대의 오디오 장비를 통해 각각 다른 주파수의 신호를 다운믹서로 입력하여 다운믹싱을 수행하고 다운믹서에 의해 신호가 합성되는 테스트 결과를 시간축 상의 파형과 FFT 결과로 나타낸 것으로, 그림 8의 (a)는 테스트 장비의 구성을, 그림 8의 (b)와 (c)는 각각 신호합성 결과를 나타낸다. 그림의 (b)는 1[kHz] 신호와 10[kHz] 신호를 합성한 신호파형 및 합성파형의 FFT 결과를, (c)는 1[kHz], 4[kHz] 및 8[kHz] 신호를 합성한 신호파형과 그 합성파형의 FFT 결과를 보여 주고 있는 것으로 다운믹서를 통한 신호의 합성이 잘 이루어지고 있음을 결과로부터 알 수 있다.

그림 8다중채널 오디오 신호의 신호 합성 테스트 결과 (a) 오디오 장비를 이용한 테스트 시스템 구성 (b) 1[kHz] 신호와 10[kHz] 신호를 합성한 신호파형 및 합성신호 파형의 FFT 결과 (c) 1[kHz], 4[kHz] 및 8[kHz] 신호를 합성한 신호파형 및 합성신호 파형의 FFT 결과 Fig. 8 Test results of signal synthesis using multi-channel audio signals. (a) Configuration of the test equipment for audio signal synthesis. (b) Synthesis of 1[kHz] and 10[kHz] signals and the FFT result of the synthesized signals. (c) Synthesis of 1[kHz], 4[kHz] and 8[kHz] signals and the FFT result of the synthesized signals.

표 1다운믹서 성능시험 평가항목 및 측정결과 Table 1 Assessment items for performance test of the down-mixer and measurement results

개발된 다운믹서의 성능을 보여주기 위해 기존 상용제품과의 비교가 수행되었으며 표 2는 DaySequerra 사의 기존 상용제품(Surround 5.1/7.1 Encoder/DownMix)과 개발된 다운믹서 장비의 비교를 나타낸 것이다. 비교된 장비는 개발된 장비와 입출력 사항이 비슷한 것으로 기능적인 면이나 지연시간 측면에서 개발된 장비의 성능이 앞서나 공급가에서는 기존장비의 65[%]아래로 개발장비의 공급이 가능하다.

표 2기존 장비와의 비교 Table 2 Comparison of the developed equipment with a conventional one

 

3. 결 론

본 논문에서는 사용자의 요구에 따라, 별도의 3개 AES/EBU 오디오 입력신호 또는 HD-SDI 영상신호에 임베드 된 오디오 신호를 분리하여 얻어지는 다채널 AES/EBU 오디오 신호를 스테레오 신호로 다운믹스 하는 디지털 오디오 다운믹서 장치의 개발을 수행하였다. 개발된 다운믹서는 이러한 오디오 신호들의 다운믹싱 기능 외에도, 외부에서 들어오는 개별적인 신호들은 물론 HD-SDI 영상신호에서 추출된 오디오 신호들을 리클럭킹(Re-clocking)하여 바이패스 해 줄 수 있는 기능을 갖는다. 특히, 본 논문을 통해 개발된 다운믹서는 텔레비전 방송 등에 적합한 5.1 채널 디지털 오디오 신호를 라디오 방송에 적합한 스테레오 신호로 변환하도록 해 주는데, 개발된 장비는 기존 고가의 외산 장비에 비해 기능적인 측면에서는 앞서면서도 가격적인 측면에서는 기존 장비에 비해 저가의 형태로 보급이 가능할 것으로 보여 기대된다.