Ⅰ. 서론
최근 적외선 영상은 주변의 밝기에 따라서 사용이 제한되는 가시광 영상에 비해 사물의 온도에 따라서 항상 적용 가능하여 적외선 이미지 센서를 SOI(Step-on Interface)에 적용에도 사용되며[1] 자동차의 야간 주행 중 도로의 동물과 사람등의 식별에도 많이 사용된다.[2][3][4] 또한 정밀한 물체를 탐지 및 추적을 위해서는 고해상도의 적외선 영상 센서를 적용하기도 한다.[5][6] 영상은 적외선 검출기로부터 영상 신호를 받게 된다. 검출기로부터 출력되는 신호는 각 픽셀별 아날로그 신호가 출력으로 나오고 디지털로 샘플링을 통하여 여러 픽셀의 값을 모아서 하나의 이미지를 얻게 된다. 획득된 영상은 검출기의 불균일성 및 노이즈를 제거하는 화질개선을 위한 전처리 과정을 거치게 된다. 이후 영상처리를 위한 CPU 및 GPU 로 전달되게 된다. 영상 자체의 용량이 매우 크기 때문에 전송을 위해서는 압축을 통하여 전송을 하고 수신 이후에 다시 풀어서 처리해야 하는 과정을 거치게 된다. 압축과 해제의 과정을 거치게 되면 영상처리의 실시간 성이 떨어질 수 있으므로 본 논문에서는 low 영상을 자체 인터페이스를 통하여 고속으로 전달하는 과정을 거친다.
영상 처리 및 low 영상 데이터는 손상 없이 저장을 하기 위해서 고용량의 실시간 저장보드의 개발이 필요하다.
예전에는 Flash Memory의 저장 용량이 작아서 여러 개의 Flash Memory를 묶어서 하나의 보드를 만들어서 저장을 하였다.
그림 1. Flash Memory 저장공간
Fig. 1. Flash Memory Storage Space
최근에는 노트북의 경량화와 메모리의 발전 및 인터페이스 사양의 발전으로 하나의 고용량 NAND Flash Memory를 인터페이스 하여 빠르게 저장할 수 있도록 지원되고 있다. 특히 입출력 부하를 줄이고 길이가 긴 다중 명령 큐와 감소된 레이턴시로 빠르게 영상을 저장할 수 있다. 기존의 복잡한 스토리지 보드에서는 비결정적 I/O 지연이 발생되기도 하였다. 하지만 NVMe SSD를 적용하여 내부 대기 시간을 분석하고 가상 채널을 동적으로 선택하여 대기 시간을 보상할 수 있다.[7] 하지만 NVMe SSD는 설계가 복잡하지만 기존의 PC혹은 노트북의 저장공간의 무게를 가볍게 할 수 있다는 장점과 별도 카드처럼 저장공간을 다변화 할 수 있다는 장점이 있다. 속도는 NVMe SSD 보다는 낮지만 On Baord 형태의 고용량의 저장공간을 낮은 가격에 간단히 설계하여 사용할 수 있는 eMMC 메모리가 있다.[8][9] 본 설계에는 eMMC 메모리를 적용하였다.
Ⅱ. 적외선 영상저장보드 설계
적외선 영상 저장보드는 수신영상 입력부, 영상 저장부, 운용제어부, 인터페이스부로 나누어지며 수신된 영상을 저장하여 시험 후 PC와 연동하여 전송하는 역할을 수행한다. 그림 2는 영상 저장 보드의 블록도를 보여주고 있다. 수신영상 입력부는 LVDS 로 입력되는 영상 데이터를 수신하는 IC로 구성되고, 영상 저장부는 영상을 전처리 및 저장을 돕기 위한 DDR4 메모리와 영상을 저장하는 eMMC 메모리로 구성된다. 인터페이스부는 외부에서 명령을 받기 위한 1553B 통신과 자체 점검등을 위한 Ethernent, RS232 가 있고 PC와 연동하여 데이터를 받거나 USB 메모를 통하여 데이터를 옮기기 위한 USB 3.0 포트로 구성된다.
그림 2. 보드 블록도
Fig. 2. Board Block Diagram
적외선 영상 저장보드의 주요 요구사항은 표 1과 같다.
표 1. 주요 요구사항
Table1. Main Requirements
디지털 비디오의 데이터 형태는 적외선 검출 기로부터 입력되는 영상은 OOO X OOO X OO bit 로 입력된다. 초당 프레임은 OO Hz로 입력된다. 입력되는 영상은 저장 보드의 내부 NAND Flash 125 GByte 메모리에 저장한다. 입력되는 데이터를 OO Hz로 저장하기 위하여 eMMC 메모리를 적용한다. 또한 드론 및 항공기에 탑재되어 통신을 통하여 명령을 전달 받을 수 있도록 1553B 통신 지원에 대한 요구사항이 있다.
1. 적외선 검출기
본 논문은 적외선 영상을 저장하기 위한 저장 보드의 설계에 관한 논문으로 적용되는 적외선 검출기에 대하여 간략히 언급한다. 검출기는 OOO X OOO 픽셀을 가지고 OO Hz 이상으로 출력된다.
그림 3은 적외선 검출기의 일반적인 형상으로 보여주고 있다.[10] FPA(Focal Plane Arrays)면에 적외선 에너지가 입사되면 각 픽셀에서 에너지만큼 charge 가 되고 정해진 시간에 출력이 된다.
그림 3. 적외선 검출기
Fig. 3. Infrared Detector
그림 4는 검출기 회로기판이다. 각 검출기에서 요구되는 인터페이스에 따라서 각 픽셀의 신호가 출력이 된다.
그림 4. 검출기 회로기판
Fig. 4. Detector PCB
그림 5는 검출기에서 이미지 출력을 위한 타이밍이다. OOO X OOO 픽셀이 00 Hz 로 출력된다. 각 CLK에 맞추어서 픽셀에 충전된 신호가 나오면 디지털로 변환하여 FPGA를 거쳐서 DDR 메모리를 통하여 eMMC 메모리에 저장을 한다. FPGA에서 검출기의 불균일한 영상신호를 보정을 한다. 불균일 보정을 위한 테이블은 생성하여 DDR 메모리에 저장하여 사용한다.
그림 5. 이미지 출력 타이밍
Fig. 5. Image Output Timing
1. eMMC 메모리
eMMC는 임베디드 멀티미디어 컨트롤러 (Embedded Multi-Media Controller)"의 약자로, 동일한 실리콘 다이에 플래시 메모리와 플래시 메모리 컨트롤러로 통합되어 구성된 패키지를 의미한다. eMMC 솔루션은 MMC (멀티미디어 카드) 인터페이스, 플래시 메모리 및 플래시메모리 컨트롤러의 세 가지 구성 요소로 이루어져 있으며 산업 표준 BGA 패키지로 제공된다. eMMC 표준은 고해상도 비디오를 저장하도록 설계된 고밀도 칩의 데이터 전송 속도와 처리량을 개선하기 위해 만들어졌다. 그림 6은 eMMC 구조를 보여준다. 기존의 NAND Flash 에서 Managed NAND Controller가 내장되어 CPU나 FPGA에서 직접 연결하여 사용하기 쉬워졌다. 특히 야외의 표적의 영상을 수집해야 하는 시스템에서는 eMMC 메모리가 유용하다.
그림 6. eMMC 구조
Fig. 6. eMMC Structure
3. 영상 저장 보드 설계
영상저장보드는 FPGA 기반으로 eMMC, DDR4, USB 3.0 등으로 구성된다. FPGA와 DDR4를 기반으로 영상을 처리하여 eMMC에 저장을 한다. 저장된 고용량의 영상 데이터는 시험 후에 USB 3.0을 통하여 PC에서 쉽게 Back up 받을 수 있다. 그림 7은 대략적인 블록 도를 기반으로 상세 설계된 영상 저장 보드의 블록도이다. 영상저장보드는 외부와의 1553B 통신을 통하여 동작에 대한 정보를 받고 상태정보를 전달하도록 설계되었다. 그리고 검출기에서 오는 디지털 신호는 LVDS Serializer를통하여 빠르게 Differential Signaling으로 입력되면 LVDS Deserializer를 통하여 병렬 데이터로 변환하여 FPGA에 전달된다. 전달된 영상신호는 DDR4를 이용하여 불균일 보정을 수행한 후 eMMC 메모리에 저장을 한다. 이때 원 영상을 함께 저장을 한다.
그림 7. 상세 설계 블록도
Fig. 7. Critical Design Block Diagram
저장보드에 사용되는 전원은 외부로부터 DC 28V를 받아서 DC-DC 변환기를 거쳐 각 부품이 필요로 하는 낮은 전압의 전원을 순차적으로 생성하여 공급한다.
그림 8은 블록다이어그램을 기반으로 회로 기판 설계를 보여 준다. 표 2는 보드의 주요 부품 리스트를 보여주고 있다. 각 부품에서 보면 FPGA, eMMC, DDR4, 1553B 부품들이 소모 전력이 상대적으로 커서 케이스를 통하여 방열이 될 수 있도록 설계 한다.
그림 8. 회로 기판 설계
Fig. 8. Print Circuit Board Design
표 2. 주요 부품 리스트
Table 2. Main Part List
FPGA는 아래 그림과 같은 전원 시퀀스를 필요로 한다. 전원 시퀀스는 크게 3부분으로 나뉘는데, 외부로부터 입력되는 28V를 기준으로 Simple power sequencer 에 의해서 10ms, 20ms, 30ms 순서로 전원을 출력하도록 한다. 10ms 단계에서는 0.85V 및 2.5V를 출력하고, 20ms 단계에서는 0.9V, 1.2V 및 1.9V를 출력하고, 30ms 단계에서는 5V를 출력한다. 그림 9는 전원의 순차적인 시퀀스를 보여주고 있다.
그림 9. 전원 절차
Fig. 9. Power Sequence
Ⅲ. 적외선 영상저장보드 제작
적외선 영상저장보드는 그림 10과 같이 제작이 되었다. 보드 내에 전원과 FPGA, eMMC, DDR4, 외부와의 인터페이스 회로가 같이 있는 형태로 제작이 되었다. 동작의 상태를 확인할 수 있는 LED를 전면에 장착했으며 케이스를 통하여 외부의 EMI를 차폐하는 구조로 제작되었다. 모든 부품은 SMT 작업을 통하여 신뢰성을 확보하여 제작하였다. 그림 10은 제작된 영상 저장 보드의 형상이다.
그림 10. 영상 저장 보드
Fig. 10. Image Storage Board
그림 11은 GUI 프로그램 초기 화면을 보여주고 있다.
그림 11. GUI 프로그램 초기 화면
Fig. 11. GUI Program Initial Screen
그림 11의 GUI 프로그램을 통하여 PC와 연동하여 데이터를 다운로드 받기와 저장된 영상 확인을 할 수 있도록 되어 있다. 왼쪽 위 화면은 저장보드에 저장되어 있는 이미지 데이터를 보여주고 클릭 후 오른쪽으로 전송 버튼을 누르면 전송되도록 되어 있다.
Ⅳ. 결론
본 논문에서는 실시간으로 대용량의 영상을 저장할 수 있는 적외선 영상 저장 보드 설계에 대하여 설명하였다. 고용량의 영상을 저장하기 위한 eMMC 메모리 적용과 USB 3.0 통신을 통하여 저장된 영상을 PC와 연동하여 영상 다운로드 및 확인에 대한 GUI 프로그램 개발에 대하여 설명하였다. 이를 통하여 기존 대비 보다 신뢰성 있고 더 오랜 시간 동안 야외에서 영상을 저장할 수 있는 보드를 설계 하였다.
References
- Takafumi Matsumaru, Yuichi Ito, "The step-on interface (SOI) on a mobile platform: Basic functions",2010 5th ACM/IEEE International Conference on Human-Robot Interaction (HRI). DOI: http://doi.org/10.1109/HRI.2010.5453173
- Myeon-gyun Cho, "A Study on the Obstacle Recognition for Autonomous Driving RC Car Using LiDAR and Thermal Infrared Camera", 2019 Eleventh International Conference on Ubiquitous and Future Networks (ICUFN) DOI: http://doi.org/10.1109/ICUFN.2019.8806152
- B.E. Stuckman, G.R. Zimmerman,"A solid state infrared device for detecting the presence of car in a driver's blind spot", Proceedings of the 32nd Midwest Symposium on Circuits and Systems. DOI: http://doi.org/10.1109/MWSCAS.1989.102068
- Ayesha Iqbal, Syed Shaheryar Ahmed,"Design of multifunctional autonomous car using ultrasonic and infrared sensors",2017 International Symposium on Wireless Systems and Networks (ISWSN). DOI: http://doi.org/10.1109/ISWSN.2017.8250023
- Qiang Wei, "Research on automatic target acquisition and tracking in an infrared tracking system" ,2017 16th International Conference on Optical Communications and Networks (ICOCN). DOI: http://doi.org/10.1109/ICOCN.2017.8121304
- Jia Liu, Chuancai Liu, "A novel algorithm for detecting center of tropical cyclone in satellite infrared images", 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). DOI: http://doi.org/10.1109/IGARSS.2015.7325915
- Ziye Yang, Changpeng Liu, "SPDK Vhost-NVMe: Accelerating I/Os in Virtual Machines on NVMe SSDs via User Space Vhost Target", 2018 IEEE 8th International Symposium on Cloud and Service Computing (SC2) DOI: http://doi.org/10.1109/SC2.2018.00016
- Chulhoon Kim, Chanho Lee,"Design of eMMC controller with multiple channels",2016 International SoC Design Conference (ISOCC). DOI: http://doi.org/10.1109/ISOCC.2016.7799805
- Deng Zhou, Wen Pan,"I/O Characteristics of Smartphone Applications and Their Implications for eMMC Design",2015 IEEE International Symposium on Workload Characterization. DOI: http://doi.org/10.1109/IISWC.2015.8
- Eric Costard, P. Bois, "QWIP detectors and thermal imagers", 2003 Academie des sciences. Published by Elsevier SAS. All rights reserved. DOI: http://doi.org/10.1016/j.crhy.2003.10.024
- Jin-Kyu Choi, Jun-Ho Yoon, "A Design of the High-Performance Signal Processor for a Small Tracking Radar", CICS 2012, pp191-192, Oct, 2012.
- Mahmoud Meribout, Mamoru Nakanishi and Takeshi Ogura, "Accurate and Real-time Image Processing on a New PC-compatible Board", 2002 Elsevier Science Ltd., Real-Time Imaging 8, 35-51 (2002) DOI: http://doi.org/10.1006/rtim.2001.0269
- Daniel L. Rosenband, "A Design Case Study: CPU vs. GPGPU vs. FPGA" 2009 IEEE
- J.Diaz, et.al, "FPGA-based real-time optical flow system", IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2006, Vol.16, Issue.2, pp.274-279 https://doi.org/10.1109/TCSVT.2005.861947
- T.Saegusa, T.Maruyama, Y.Yamaguchi, "How fast is an FPGA in image processing?", FPL 2008, pp.77-82.