DOI QR코드

DOI QR Code

근감각-색·음 변환을 위한 ARM 기반 임베디드시스템의 구현

Implementation of ARM based Embedded System for Muscular Sense into both Color and Sound Conversion

  • 김성일 (경남대학교 전자공학과)
  • 투고 : 2016.04.05
  • 심사 : 2016.05.12
  • 발행 : 2016.08.28

초록

본 논문은 인간이 인지할 수 있는 감각들 중 인체의 회전, 방향 변화 및 움직임의 정도를 알 수 있는 근감각에서 시각 및 청각 요소로의 변환 알고리즘을 이용하여 ARM Cortex-M4에 기반한 실시간 임베디드시스템으로 구현한 방법에 초점을 맞추었다. 근감각의 입력 방식으로는 자세측정장치(AHRS : Attitude Heading Reference System)를 이용해 롤(Roll), 피치(Pitch) 및 요(Yaw) 값을 실시간 획득하고, 이들 각각의 색을 표현하는 HSI 컬러 모델의 명도(Intensity), 색상(Hue) 및 채도(Saturation)에 대응하여 변환하였다. 최종 컬러신호는 HSI 에서 RGB 컬러모델로 변환하여 획득하였다. 또한, 근감각의 세 가지 입력 값들을 음을 표현하는 요소인 옥타브(Octave), 음계(Scale) 및 음의 세기(Velocity)에 대응하여 변환한 값을 MIDI(Musical Instrument Digital Interface)를 이용해 사운드를 합성하여 출력하였다. 출력 컬러신호 및 사운드를 분석한 결과, 근감각 입력 신호가 제안한 변환 방식에 따라 실시간으로 정확하게 색과 음으로 변환, 출력됨을 확인하였다.

키워드

공감각;근감각;임베디드시스템;컬러모델;미디

과제정보

연구 과제 주관 기관 : 경남대학교

참고문헌

  1. 김용철, 공감각의 형성요인에 관한 연구, 홍익대학교 대학원, 박사학위논문, 2005.
  2. https://en.wikipedia.org/wiki/Synesthesia
  3. K. S. Suslick, "Synesthesia in science and technology: more than making the unseen visible," Current opinion in chemical biology Vol.16. No.5, pp.557-563, 2012. https://doi.org/10.1016/j.cbpa.2012.10.030
  4. 김조한, 운동 종목에 따른 상지 위치감각, 한국교원대학교 교육대학원, 석사학위논문, 2004.
  5. 전가영, 음과 색의 공감각적 표현, 이화여자대학교 대학원, 석사학위논문, 2003.
  6. 임윤정, 소리와 색채의 연관성에 관한 연구, 건국대학교 대학원, 석사학위논문, 2013.
  7. J. Harrison and S. Baron-Cohen, "Synaesthesia: An Account of Coloured Hearing," Leonardo, Vol.27, No.4, pp.343-346, 1994. https://doi.org/10.2307/1576010
  8. 배명진, 김성일, "공감각인지 기반 근감각신호에서 색.음으로의 변환 시스템," 한국지능시스템학회, 제24권, 제5호, pp.462-469, 2014.
  9. P. B. L. Meijer, "An experimental system for auditory image representations," IEEE trans. on bio-medical engineering, Vol.39, No.2, pp.112-121, 1992. https://doi.org/10.1109/10.121642
  10. http://www.seeingwithsound.com/
  11. 김길호, "영상을 음향으로 변환하는 방법과 장치," 출원번호 10-2007-0023986, 2007.
  12. 김길호, "화성법을 이용한 음색변환표," 출원번호 10-2001-0087651, 2001.
  13. 김길호, 백정기, 사운드컬러하모니즘: 음악이 흐르는 컬러 배색 사전, 임프레스, 2003.
  14. 김성일, "HSI 히스토그램에 기초한 이미지-사운드 변환," 한국음향학회지, 제30권, 제3호, pp.142-148, 2011.
  15. S. I. Kim, "A Basic Study on the Conversion of Sound into Color Image using both Pitch and Energy," International Journal of Fuzzy Logic and Intelligent Systems, Vol.12, No.2, pp.101-107, 2012. https://doi.org/10.5391/IJFIS.2012.12.2.101
  16. http://www.withrobot.com
  17. http://www.st.com/
  18. https://en.wikipedia.org/wiki/Color_model
  19. 타카하시 노부유키, 컴플리트 MIDI 북, SRMUSIC, 2008.
  20. 타카하시 노부유키, 컴플리트 MIDI 프로그래밍북, SRMUSIC, 2008.
  21. https://www.sparkfun.com/tutorials/302
  22. http://www.fon.hum.uva.nl/praat/