• Title, Summary, Keyword: 데이터 품질진단

Search Result 56, Processing Time 0.045 seconds

A Study on Automation of Big Data Quality Diagnosis Using Machine Learning (머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구)

  • Lee, Jin-Hyoung
    • The Journal of Bigdata
    • /
    • v.2 no.2
    • /
    • pp.75-86
    • /
    • 2017
  • In this study, I propose a method to automate the method to diagnose the quality of big data. The reason for automating the quality diagnosis of Big Data is that as the Fourth Industrial Revolution becomes a issue, there is a growing demand for more volumes of data to be generated and utilized. Data is growing rapidly. However, if it takes a lot of time to diagnose the quality of the data, it can take a long time to utilize the data or the quality of the data may be lowered. If you make decisions or predictions from these low-quality data, then the results will also give you the wrong direction. To solve this problem, I have developed a model that can automate diagnosis for improving the quality of Big Data using machine learning which can quickly diagnose and improve the data. Machine learning is used to automate domain classification tasks to prevent errors that may occur during domain classification and reduce work time. Based on the results of the research, I can contribute to the improvement of data quality to utilize big data by continuing research on the importance of data conversion, learning methods for unlearned data, and development of classification models for each domain.

  • PDF

A Study of Big Data Domain Automatic Classification Using Machine Learning (머신러닝을 이용한 빅데이터 도메인 자동 판별에 관한 연구)

  • Kong, Seongwon;Hwang, Deokyoul
    • The Journal of Bigdata
    • /
    • v.3 no.2
    • /
    • pp.11-18
    • /
    • 2018
  • This study is a study on domain automatic classification for domain - based quality diagnosis which is a key element of big data quality diagnosis. With the increase of the value and utilization of Big Data and the rise of the Fourth Industrial Revolution, the world is making efforts to create new value by utilizing big data in various fields converged with IT such as law, medical, and finance. However, analysis based on low-reliability data results in critical problems in both the process and the result, and it is also difficult to believe that judgments based on the analysis results. Although the need of highly reliable data has also increased, research on the quality of data and its results have been insufficient. The purpose of this study is to shorten the work time to automizing the domain classification work which was performed from manually to using machine learning in the domain - based quality diagnosis, which is a key element of diagnostic evaluation for improving data quality. Extracts information about the characteristics of the data that is stored in the database and identifies the domain, and then featurize it, and automizes the domain classification using machine learning. We will use it for big data quality diagnosis and contribute to quality improvement.

Development of DSP Process-based Artificial-Intelligent Power Quality Equipment for Single-phase Power System (DSP320C6713기반의 인공지능형 단상전력품질 진단기 개발연구)

  • Kwack, Sun-Geun;Chung, Gyo-Bum;Choi, Jae-Ho
    • Proceedings of the KIPE Conference
    • /
    • /
    • pp.66-68
    • /
    • 2008
  • 본 논문은, 전력계통 내의 순시 파형으로부터 전력품질 자동진단을 위한 인공지능형 단상전력품질 진단기를 제안한다. 진단하는 전력품질은 전압강하(Sag), 전압상승(Swell), 과도현상(Transient) 및 전고조파함유율(THD) 이다. 인공지능 구현을 위해서 인공신경망 이론을 이용하였으며, 시뮬레이션 및 TI DSP 320C6713 사용하여 하드웨어를 구현하였다. 인공신경망의 학습을 위하여, 00변전소에서 일년(2007년)동안 측정한 데이터 중에서 Sag, Swell, Transient 특성이 명확히 관측된 150주기의 파형과 정상상태의 50주기 파형으로 구성된 총 200주기의 데이터를 사용하였다. 측정된 파형을 1/60[sec.]마다 256번 샘플링하여, FFT 및 웨이블렛 변환을 시행하여 얻어진 값을 인공신경망 학습에 사용하였다. 상용프로그램 PSIM을 이용하여 인공신경망 학습을 시뮬레이션하였으며, DSP 프로세서를 이용하여 하드웨어로 구현하여 검증하였다.

  • PDF

Decision Support System for Prediction and Estimation of Qualities Based on Neural Networks and Fuzzy Logic (퍼지 논리와 신경망에 기반한 공정 예측 및 품질 추정을 위한 공정관리 의사지원시스템)

  • Bae, Hyun;Woo, Young-Kwang;Kim, Sung-Sin;Woo, Kwang-Bang
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • /
    • pp.334-337
    • /
    • 2004
  • 차세대 생산 시스템(Next Generation Manufacturing System: NGMS)의 핵심 개념은 분산 생산 시스템과 다품종 소량의 유연 생산 시스템의 지원이다. 이러한 시스템의 구성을 위하여 실시간 데이터에 기반한 예측 모델이 필수적인데, 이러한 예측 기능을 통하여 생산공정의 관리와 운영, 특히 전체 공정관리를 효율적으로 수행할 수 있다. 한편, 공정으로부터 전송된 데이터는 특정한 형태의 지식으로 표현된다. 이러한 지식들은 시스템에 대한 다양한 정보를 가지고 있으므로 정보를 이용하여 시스템 상태를 빠르고 쉽게 진단할 수 있다. 공정 진단은 현재 공정 상태에서 생산되는 제품의 품질을 추정할 수 있는 정보로 활용된다. 본 논문에서는 이러한 개념이 바탕이 되어 공정관리 시스템을 설계하였다. 제안된 시스템의 적용 대상은 반도체 제조 공정의 단위 공정인 에칭 공정이다. 에칭 공정은 공정 중에 연속적인 검사가 수행되지 않고 최종 제품에 대한 검사가 수행되므로 불량 원인을 찾는 것이 쉽지 않다. 따라서 본 논문에서는 공정관리를 위한 의사지원시스템을 통해 공정의 연속적인 간접진단을 수행하고자 하였다. 본 연구에서 사용된 의사지원시스템은 각 공정에서 얻어지는 데이터와 경험적 지식을 토대로 공정시스템의 해석과 진단이 가능한 시스템이다.

  • PDF

Development of Artificial-Intelligent Power Quality Diagnosis Algorithm using DSP (DSP를 이용한 인공지능형 전력품질 진단기법 연구)

  • Chung, Gyo-Gbum;Kwack, Sun-Geun
    • Journal of the Korean Institute of Illuminating and Electrical Installation Engineers
    • /
    • v.23 no.1
    • /
    • pp.116-124
    • /
    • 2009
  • This paper proposes a new Artificial-Intelligent(AI) Power Quality(PQ) diagnosis algorithm using Discrete Wavelet Transform(DWT), Fast Fourier Transform(FFT), Root-Mean-Square(RMS) value. The developed algorithm is able to detect and classify the PQ problems such as the transient, the voltage sag, the voltage swell, the voltage interruption and the total harmonics distortion. The 15.36[kHz] sampling frequency is used to measure the voltages in a power system. The measured signals are used for DWT, FFT, RMS calculation. For AI diagnosis of the PQ problems, a simple multi-layered Artificial Neural Network(ANN) with the back-propagation algorithm is adopted, programmed in C++ and tested in PSIM simulation studies. Finally, the algorithm, which is installed in MP PQ+256 with TI DSP320C6713, is proved to diagnose the PQ problems efficiently.

Development of Business Rule Management System for Data Quality Management of Local Health Care Information System (지역보건의료정보시스템 데이터 품질 관리를 위한 업무규칙 관리시스템 구현)

  • Park, Sang-Mi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.759-762
    • /
    • 2014
  • 정보시스템은 변화한다. 업무 담당자도 변경된다. 변화하는 환경 속에서 데이터 품질을 유지한다는 것이 쉬운 일은 아니다. 신뢰성 있는 데이터를 얻기 위해서 공공 혹은 민간, 국내 혹은 국외에서 데이터 품질 관리에 관한 연구가 활발히 이루어지고 있다. 데이터 품질 관리 항목 중 하나인 업무규칙 관리시스템을 구현하여 신뢰성 있는 정보를 얻을 수 있도록 해보고자 한다. 도출 및 분류, 진단 수행 이력 관리가 가능하도록 시스템 분석, 설계, 구현하였다. 업무규칙 관리를 위해서 선결사항인 표준단어관리, 표준도메인 관리, 워크플로우 관리 기능을 구현하였다. 이로 인해 데이터품질관리 체계 수립을 중심으로 믿을 수 있는 데이터를 도출하여 국민 건강을 위하여 의미 있는 정책 수립에 도움이 되기를 기대한다.

  • PDF

Diagnostic Classification Based on Nonlinear Representation and Filtering of Process Measurement Data (공정측정데이터의 비선형표현과 전처리를 활용한 분류기반 진단)

  • Cho, Hyun-Woo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.16 no.5
    • /
    • pp.3000-3005
    • /
    • 2015
  • Reliable monitoring and diagnosis of industrial processes is quite important for in terms of quality and safety. The goal of fault diagnosis is to find process variables responsible for causing specific abnormalities of the process. This work presents a classification-based diagnostic scheme based on nonlinear representation of process data. The use of a nonlinear kernel technique is able to reduce the size of the data considered and provides efficient and reliable representation of the measurement data. As a filtering stage a preprocessing is performed to eliminate unwanted parts of the data with enhanced performance. The case study of an industrial batch process has shown that the performance of the scheme outperformed other methods. In addition, the use of a nonlinear representation technique and filtering improved the diagnosis performance in the case study.

Prototype Development of Data Warehouse Systems to Support Decision Making - focused on a medical examination system - (의사결정지원을 위한 데이터 웨어하우스 시스템 프로토타입 개발 - 건강진단 시스템을 중심으로 -)

  • 김성언;이유진
    • Proceedings of the Korea Association of Information Systems Conference
    • /
    • /
    • pp.53-63
    • /
    • 2000
  • 의사결정 지원을 위해 각광받고 있는 데이터 웨어하우스 시스템은 주제 지향적, 통합적, 시계열적, 비휘발적인 데이터 저장공간을 보유하여 사용자가 쉽게 데이터에 접근하여 원하는 분석을 수행할 수 있도록 도와주는 고품질의 정보제공 시스템이다. 본 논문에서는 구체적인 데이터 웨어하우스 시스템을 소개함에 있어 국내 병원의 건강진단 데이터 웨어하우스 시스템 프로토타입 개발을 시도한다. 이에 데이터 웨어하우스 시스템의 구성에 대해 살펴본 후, 데이터 웨어하우스 시스템 개발 툴인 Cognos사의 PowerPlay를 이용하여 건강진단 데이터 웨어하우스 시스템 개발을 시도하고, 그 구축 방법과 결과를 소개한다.

  • PDF

Real-Time Fraud Detection using Data Quality Diagnosis Techniques for R&D Grant (데이터 품질진단 기법을 이용한 연구개발비 이상거래 실시간 탐지)

  • Jang, Ki-Man;kim, Chang-Su;Jung, Hoe-kyung
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.11
    • /
    • pp.2609-2614
    • /
    • 2015
  • National research and development projects institutions have implemented various measures in order to prevent R&D expenses abuse and negate enforcement. but it reveals a limit to prevent abuse of R&D expenses[1,2]. In this paper, to prevent abuses resulting from the R & D for the unusual trading post caught collecting information from the R & D phase implementation plan to detect unusual transactions. The results are subjective and research institutions, and specialized agencies to take advantage of shared, real-time cross-linkage between the credit card companies. Studies of data quality diagnostic techniques developed for this purpose related regulations and manuals, Q & A, FAQ, Outside-in business rules that derive from a variety of information, such as personnel interviews (Outside-In) was used for analysis.

Packet data analyzing system for quality assurance of satellite network (위성망 품질보증을 위한 패킷 데이터 분석 시스템)

  • Yu Kang-Hi;Kim Jae-Kwon;Kong Kyung-Tae;Shin Dong-Houn;Lee Sang-Yun
    • 한국정보통신설비학회:학술대회논문집
    • /
    • /
    • pp.298-301
    • /
    • 2004
  • KT는 무궁화 3호 위성을 이용한 양방향 위성 통신 사업을 추진하고 있으며, 지상망을 이용하기 어려운 지역에 정부/공공, 에너지 산업, 기업 단일망 등 다양한 산업 분야를 대상으로 초고속 네트워크를 제공하고 있다. 양방향 위성 통신 서비스는 36,000km 상공의 위성 중계기와 지상 간의 통신 지연을 극복하기 위한 첨단 기술로 운용되고 있으며, 중요 데이터에 대한 위성 통신 품질보증 기능을 제공한다. 본 논문에서는 위성망의 트래픽을 수집하고 데이터를 로깅하는 위성망 트래픽 수집 도구와 수집된 데이터를 마이닝을 통해 실시간 모니터링하고 통계 정보를 생성하는 위성망 패킷 데이터 분석 도구로 이루어진 위성망 패킷 데이터 분석 시스템에 대해 논한다. 위성망 패킷 데이터 분석 시스템은 데이터 송수신 정보를 모니터링 함으로써 실시간 위성 통신 상태를 점검하고, 전송 지연 및 실패 등의 위성 통신 오류 상태를 조기 진단하고 조치할 수 있는 위성망 품질 보증 서비스를 제공한다.

  • PDF