Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

An Embedded FAST Hardware Accelerator for Image Feature Detection

영상 특징 추출을 위한 내장형 FAST 하드웨어 가속기

  • Received : 2011.08.25
  • Accepted : 2011.12.27
  • Published : 2012.03.25
Download PDF
⟨ Previous Next ⟩

Abstract

Various feature extraction algorithms are widely applied to real-time image processing applications for extracting significant features from images. Feature extraction algorithms are mostly combined with image processing algorithms mostly for image tracking and recognition. Feature extraction function is used to supply feature information to the other image processing algorithms and it is mainly implemented in a preprocessing stage. Nowadays, image processing applications are faced with embedded system implementation for a real-time processing. In order to satisfy this requirement, it is necessary to reduce execution time so as to improve the performance. Reducing the time for executing a feature extraction function dose not only extend the execution time for the other image processing algorithms, but it also helps satisfy a real-time requirement. This paper explains FAST (Feature from Accelerated Segment Test algorithm) of E. Rosten and presents FPGA-based embedded hardware accelerator architecture. The proposed acceleration scheme can be implemented by using approximately 2,217 Flip Flops, 5,034 LUTs, 2,833 Slices, and 18 Block RAMs in the Xilinx Vertex IV FPGA. In the Modelsim - based simulation result, the proposed hardware accelerator takes 3.06 ms to extract 954 features from a image with $640{\times}480$ pixels and this result shows the cost effectiveness of the propose scheme.

특징 추출 알고리즘은 영상 내에서 중요한 특징을 추출하기 위해 실시간 영상 처리 응용 분야에서 활용된다. 특히, 특징 추출 알고리즘은 추적 및 식별의 목적으로 다양한 영상처리 알고리즘에 특징 정보를 제공하기 위해서 활용되며, 주로 영상처리 전처리 단계에서 구현되고 있다. 광범위한 응용 분야에 이용되는 특징 추출 알고리즘의 처리 속도를 높인다면 혼합되어 사용될 다른 알고리즘 처리 소요 시간의 여유를 확보 할 수 있을 뿐만 아니라, 특징 추출 알고리즘이 적용된 영상 처리 응용 분야의 실시간 요건을 만족시키기 용이하기 때문에 중요하다. 본 논문에서는 특징 추출 기법을 고속으로 처리하기 위해 FPGA 기반의 하드웨어 가속기를 제안한다. 하드웨어 가속기 구현에 사용된 E. Rosten의 Feature from Accelerated Segment Test 알고리즘과 디지털 로직으로 구현한 하드웨어 가속기의 구조와 동작 절차에 대해 기술하였다. 설계한 하드웨어 가속기는 ModelSim을 이용해 동작 및 성능을 검증하였고, Xilinx Vertex IV FPGA 기반으로 로직을 합성해 구현 비용을 계산하였다. 제안한 하드웨어 가속기를 구현하기 위해 2,217개의 Flip Flop, 5,034개의 LUT, 2,833개의 Slice, 그리고 18개의 Block RAM을 사용하였으며, $640{\times}480$ 크기의 영상으로부터 954개의 특징을 추출하는데 3.06 ms의 시간이 소요되어 기존의 결과보다 구현 비용 면에서의 우월함이 확인되었다.

Keywords

References

  1. D. G. Lowe, "Distinctive Image Features from Scales-invariant Keypoints," International Journal of Computer Vision, vol 60, no. 2, pp. 91-110, 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  2. C. Harris, and M. Stephens, "A Combined Corner and Edge Detector," Proceedings of the Fourth Alvey Vision Conference, pp. 147-151, 1988.
  3. S. Smith, and J. Brady, "SUSAN-A New Approach to Low-level Image Processing," International Journal of Computer Vision, vol. 23, pp. 45-48, 1997. https://doi.org/10.1023/A:1007963824710
  4. C. Claus et al, "Optimizing the SUSAN Corner Detection Algorithm for a High Speed FPGA Implementation," International Conference on Field Programmable Logic and Application, pp. 138-145, 2009.
  5. L. Teixeria, W. Celes, and M. Gattass, "Accelerated Corner-detector Algorithms," in BMVC08, 2008. [Online]. Available: http://www.comp.leeds.ac.uk/bmvc2008/proceedings/paper/45.pdf
  6. E. Rosten et al, "Faster and better: A Machine Learning Approach to Corner Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119, 2010. https://doi.org/10.1109/TPAMI.2008.275
  7. E. Rosten, T. Drummond, "Machine Learning for High-speed Corner Detection," European Conference on Computer Vision, vol. 1, pp. 430-443, 2006.
  8. M. Arias-Estrada, E. Rodriguez-Palacios, "An FPGA Co-processor for Real-Time Visual Tracking," in Proceedings of International Conference on Field-Programmable Logic and Application, pp. 710-719, 2002.
  9. C. Claus, W. Stechele, A. Herkersdorf, "Autovision - a Runtime Reconfigurable MPSoC architecture for Future Driver Assistance Systems," it - Information Technology, vol. 49, no. 3, pp. 181-187, 2007. https://doi.org/10.1524/itit.2007.49.3.181
  10. C. Torres-Huitzil, M. Arias-Estrada, "An FPGA Architecture for High Speed Edge and Corner Detection," IEEE International Workshop on Computer Architectures for Machine Perception, pp. 112-116, Washington, DC, USA, 2000.
  11. E. Rosten, T. Drummond, "Fusing Points and Lines for High Performance Tracking," IEEE International Conference on Computer Vision, vol. 2. Springer 1508-1515, Beijing, China, 2005.
  12. B. Yu, et al. "A Corner Detection Algorithm Based on the Difference of FCC," International Conference on Computer Design and Application, vol. 4, pp. 226-229, Qinhuangdao, China, 2010.
  13. W. Wang, R. D. Dony. "Evaluation of Image Corner Detectors for Hardware Implementation," Canadian Conference on Electrical and Computer Engineering, vol. 3, pp. 1285-1288, 2004.
  14. F. Mokhtarian, R. Suomela, "Robust Image Corner Detection Through Curvature Scale Space," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 12, pp. 1376-1381. 1998. https://doi.org/10.1109/34.735812
  15. L.-H. Zou et al, "The Comparison of Two Typical Corner Detection Algorithms," Second International Symposium on Intelligent Information Technology Application, pp. 211-215, Shanghai, China, 2008.
  16. 김택규, 박기용, 김영기, "영상 특징 추출을 위한 내장형 가속기 구현," 대한전자공학회 하계종합학술대회 논문집, 제 34권, 1호, 698-701쪽, 2011년 6 월.
  17. 김택규, 박기용, 김영기, "하드웨어기반 실시간 특징추출을 위한 로봇 비전 가속기 설계 및 구현," 제6회 한국로봇종합학술대회 논문집, 197-200쪽, 2011년 6월.