DOI QR코드

DOI QR Code

A Study on Intuitive IoT Interface System using 3D Depth Camera

3D 깊이 카메라를 활용한 직관적인 사물인터넷 인터페이스 시스템에 관한 연구

  • Park, Jongsub (The Graduate Program on Technology Policy, Yonsei University) ;
  • Hong, June Seok (Department of Management Information System, Kyunggi University) ;
  • Kim, Wooju (Department of Information and Industrial Engineering, Yonsei University)
  • Received : 2017.04.12
  • Accepted : 2017.05.08
  • Published : 2017.05.31

Abstract

The decline in the price of IT devices and the development of the Internet have created a new field called Internet of Things (IoT). IoT, which creates new services by connecting all the objects that are in everyday life to the Internet, is pioneering new forms of business that have not been seen before in combination with Big Data. The prospect of IoT can be said to be unlimited in its utilization. In addition, studies of standardization organizations for smooth connection of these IoT devices are also active. However, there is a part of this study that we overlook. In order to control IoT equipment or acquire information, it is necessary to separately develop interworking issues (IP address, Wi-Fi, Bluetooth, NFC, etc.) and related application software or apps. In order to solve these problems, existing research methods have been conducted on augmented reality using GPS or markers. However, there is a disadvantage in that a separate marker is required and the marker is recognized only in the vicinity. In addition, in the case of a study using a GPS address using a 2D-based camera, it was difficult to implement an active interface because the distance to the target device could not be recognized. In this study, we use 3D Depth recognition camera to be installed on smartphone and calculate the space coordinates automatically by linking the distance measurement and the sensor information of the mobile phone without a separate marker. Coordination inquiry finds equipment of IoT and enables information acquisition and control of corresponding IoT equipment. Therefore, from the user's point of view, it is possible to reduce the burden on the problem of interworking of the IoT equipment and the installation of the app. Furthermore, if this technology is used in the field of public services and smart glasses, it will reduce duplication of investment in software development and increase in public services.

정보통신 기기들의 가격하락과 인터넷의 발전은 사물인터넷이라는 새로운 분야를 탄생시켰다. 일상에 접하는 모든 사물들이 인터넷으로 연결되어 새로운 서비스를 창출하는 사물인터넷은 빅데이터와 결합되어 기존에 볼 수 없었던 새로운 형태의 비즈니스 영역을 개척해 나가고 있다. 이에 사물인터넷의 전망은 그 활용도에 있어서 무궁무진 하다고 말할 수 있다. 또한 이러한 사물인터넷 장비들의 원활한 연결을 위한 표준화 기관들의 연구도 활발한 편이다. 그러나 이러한 연구 중에 우리가 간과하는 부분이 있다. 사물인터넷 장비를 제어하거나 정보를 획득하기 위해서 장비와의 연동문제(IP주소, Wi-Fi, Bluetooth, NFC 등) 및 관련 애플리케이션 소프트웨어 또는 앱을 별도로 개발을 해야 한다. 이러한 문제를 해결하기 위해 기존의 연구방식들은 GPS 또는 마커를 이용한 증강현실 연구가 이루어져 왔다. 하지만 별도의 마커가 필요하고 마커의 경우 가까운 곳만 인식하는 단점을 갖는다. 또한 2D 기반의 카메라의 활용한 GPS 주소 활용한 연구의 경우 대상 장비와의 거리 인식을 할 수 없어 능동적인 인터페이스 구현의 어려움이 있었다. 이러한 문제를 해결하기 위해서는 기존의 복잡한 방법이 아니라 사용자가 눈으로 확인하고 간단한 조작만으로 장비와의 연동이 가능한 직관적인 방법이 반드시 필요하다. 본 연구는 향후 스마트폰에 탑재될 3D 깊이 인식카메라를 활용해서 별도의 마커 없이 거리측정 및 핸드폰의 센서정보를 연동해서 자동으로 공간 좌표를 계산하여 사물인터넷의 장비를 발견하고 해당 사물인터넷 장비의 정보 획득 및 제어가 가능한 방법론을 제안한다. 결과로 사용자 관점에서 별도의 사물인터넷 장비 연동문제 및 앱 설치에 대한 부담을 줄일 수 있다. 나아가 이 기술이 공공서비스와 스마트 안경분야에 활용된다면 공공 서비스 증대 및 많은 소프트웨어 개발의 중복 투자를 줄이게 될 것이다.

Keywords

References

  1. Bhowmik, A. K., "Real-Time 3D-Sensing Technologies and Applications in Interactive and Immersive Devices," SID 2016 DIGEST, pp. 440-443.
  2. Boo, J. H., "Motion Tracking System using Inertial Sensors," Ulsan University, 2010.
  3. Brading, M., Salsman, K., Somayaji, M., Dipert, B., Droz, T., Van Nieuwenhove, D., and Gelabert, P., "3-D Sensors Bring Depth Discernment to Embedded Vision Designs," Embedded Vision Academy, 2016.
  4. Chang, W. S. and Ji, Y. G., "Usability Evaluation for Smart Phone Augmented Reality Application User Interface," The Journal of Society for e-Business Studies, Vol. 16, No. 1, pp. 35-47, 2011. https://doi.org/10.7838/jsebs.2011.16.1.035
  5. Evans, D., "The Internet of Things How the Next Evolution of the Inernet," White Paper, Cisco Internet Business Solutions Group, 2011.
  6. Kaoru, N., Satoshi, M., Yusuke, S., Naoji, T., Akira, H., "Intel RealSense SDK Sensor Programming," 2016.
  7. Lee, S. H. and Han, K. H., "Detection of Moving Objects using Depth Frame Data of 3D Sensor," The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 14, pp. 243-248, 2014.
  8. Mckinsey & Company "Global Semiconductor Alliance/Mckinsey Report on IoT," 2015.
  9. Oh, S. J., "Interoperability method of semantic information based on augmented reality for ad-hoc interface with internet of things," Yonsei University, 2016.
  10. Park, K. W. and Chae, J. G., "A Landmark Based Localization System using a Kinect Sensor," The Transactions of the Korean Institute of Electrical Engineers Vol. 63, No. 1, pp 99-107, 2014. https://doi.org/10.5370/KIEE.2014.63.1.099
  11. Son, H. S., "A Study on Improvement of GPS Position Error Range and Accuracy Using NTRIP," Industrial Technology & Management Korea Polytechnic University, 2017.
  12. Son, J. G. and Joo, B. G., "Deveopment of Location Information Service App Using an Open Source for Augmented Reality," The Journal of the Institute of Internet Broadcasting and Communication, Vol. 13, No. 1, pp. 267-272, 2013. https://doi.org/10.7236/JIIBC.2013.13.1.267
  13. WCP(Woodside Capital Partners), "Embedded Camera status At The Edge of Depth," Research Report, 2014.
  14. Yang, H. J., No, S. J., Kim, I. H., and Eom, Y. I., "Implementation of Internet of Things Control System Using Augmented Reality Interface," Korea Information Science Society, pp. 1445-1447, 2015.
  15. Yun, C. H., "Research for Indoor positioning system using wireless LAN and Bluetooth beacons," Hallym University, 2015.

Cited by

  1. Mobile AR Contents Based on IoT(Internet of Things) Using Shading Language over Smartphone and Arduino Bluetooth Sensors vol.17, pp.2, 2017, https://doi.org/10.14801/jkiit.2019.17.2.109
  2. 스테레오 카메라 기반 트윈 카메라 모듈 시스템 설계 및 구현 vol.12, pp.6, 2017, https://doi.org/10.17661/jkiiect.2019.12.6.537