Abstract
Recently, many attempts have been made to reduce the time required for payment in various shopping environments. In addition, for the Fourth Industrial Revolution era, artificial intelligence is advancing, and Internet of Things (IoT) devices are becoming more compact and cheaper. So, by integrating these two technologies, access to building an unmanned environment to save people time has become easier. In this paper, we propose a smart shopping cart system based on low-cost IoT equipment and deep-learning object-detection technology. The proposed smart cart system consists of a camera for real-time product detection, an ultrasonic sensor that acts as a trigger, a weight sensor to determine whether a product is put into or taken out of the shopping cart, an application for smartphones that provides a user interface for a virtual shopping cart, and a deep learning server where learned product data are stored. Communication between each module is through Transmission Control Protocol/Internet Protocol, a Hypertext Transmission Protocol network, a You Only Look Once darknet library, and an object detection system used by the server to recognize products. The user can check a list of items put into the smart cart via the smartphone app, and can automatically pay for them. The smart cart system proposed in this paper can be applied to unmanned stores with high cost-effectiveness.
최근 다양한 쇼핑 환경에서 결제에 소요되는 시간을 줄이기 위한 많은 시도들이 이루어지고 있다. 또한 4차 산업혁명시대에 들어서면서 인공지능 기술이 고도화되고 있으며, IoT 장비들은 더욱 소형화되고 저렴해져서 이 두 가지 기술을 융합시킴으로써 사용자의 시간을 절약할, 인간을 대신하는 무인 환경을 구축하는 것에 대한 접근이 용이해졌다. 본 논문에서는 저가 IoT 장비들과 딥러닝 객체 탐지 기술을 기반으로 하는 스마트 쇼핑카트 시스템을 제안한다. 제안된 스마트 카트 시스템은 실시간 상품 인식을 위한 카메라와 라즈베리파이, 트리거 역할을 하는 초음파 센서, 상품이 쇼핑카트에 들어온 것인지 나간 것인지를 판단하기 위한 무게 센서, 가상의 장바구니에 대한 UI를 제공하는 스마트폰 어플리케이션, 학습된 데이터가 저장되는 딥러닝 서버로 구성된다. 각 모듈 간의 통신은 TCP/IP 네트워크 및 HTTP 네트워크로 이루어지며, 서버의 상품 인식을 위해서는 객체탐지 기술이 구현된 YOLO darknet 라이브러리를 사용한다. 사용자는 스마트폰의 앱을 통하여 스마트 카트에 넣은 물건들의 목록을 점검하고 자동으로 결제할 수 있다. 본 논문에서 제안된 스마트 카트 시스템은 가성비가 높은 무인 상점을 구현하는데 응용될 수 있다.