• 제목/요약/키워드: Rare-event

검색결과 179건 처리시간 0.028초

희귀 사건 로지스틱 회귀분석을 위한 편의 수정 방법 비교 연구 (Comparison of Bias Correction Methods for the Rare Event Logistic Regression)

  • 김형우;고태석;박노욱;이우주
    • 응용통계연구
    • /
    • 제27권2호
    • /
    • pp.277-290
    • /
    • 2014
  • 본 연구에서는 로지스틱 회귀 모형을 이용하여 보은 지방의 산사태 자료를 분석하였다. 5000 지역의 관측치 가운데 단 9개만이 산사태 발생 지역이므로 이 자료는 희귀 사건 자료로 간주될 수 있다. 로지스틱 회귀 분석 모형이 희귀사건 자료에 적용될 때 주요 이슈는 회귀 계수 추정치에 심각한 편의 문제가 생길 수 있다는 것이다. 기존에 두 가지의 편의 수정 방법이 제안되었는데, 본 논문에서는 시뮬레이션을 통해 정량적으로 비교 연구를 진행하였다. Firth(1993)의 방식이 다른 방법에 비해 우수한 성능을 보였으며, 이항 희귀 사건을 분석하는 데 있어서 매우 안정된 결과를 보여주었다.

시간 속성을 갖는 이벤트의 의미있는 희소 관계에 기반한 연관 규칙 탐사 (Finding Association Rules based on the Significant Rare Relation of Events with Time Attribute)

  • 한대영;김대인;김재인;송명진;황부현
    • 정보처리학회논문지D
    • /
    • 제16D권5호
    • /
    • pp.691-700
    • /
    • 2009
  • 이벤트는 환자의 증상과 같이 시간 속성을 갖는 하나의 흐름을 의미하며 인터벌 이벤트는 시작과 종료 시점에 대한 시간 간격을 갖는다. 그리고 시간 데이터마이닝에 대한 많은 연구가 있었지만 환자 이력, 구매자 이력, 로그 이력과 같은 인터벌 이벤트에 대한 지식 탐사 방법에 대한 연구는 미흡하다. 이 논문에서는 이벤트들의 인과 관계에 대한 연관 규칙을 탐사하고 이 규칙에 기반하여 결과 이벤트 발생을 예측하는 시간 데이터마이닝 방법을 제안한다. 제안 방법은 이벤트 시간 속성을 사용하여 인터벌 이벤트로 요약하고 이벤트들의 인과 관계를 탐사하여 이벤트 발생을 예측한다. 성능평가를 통하여 제안 방법은 다양한 지지도를 적용하여 발생 빈도에 상관없이 이벤트 발생에 높은 영향을 주는 의미있는 희소 관계를 발견함으로써 기존의 데이터마이닝 기법에 비하여 보다 우수한 정보를 탐사할 수 있다.

목표 범주가 희귀한 자료의 과대표본추출에 대한 연구 (A Study on the Adjustment of Posterior Probability for Oversampling when the Target is Rare)

  • 김은나;이성건;최종후
    • 응용통계연구
    • /
    • 제24권3호
    • /
    • pp.477-484
    • /
    • 2011
  • 반응/미반응 목표변수를 갖는 모집단에서 관심 목표범주의 빈도가 극히 작을 경우, 즉 희귀할(rare) 경우, 모형 구축을 위한 데이터마트를 형성할 때 반응/미반응 범주 구성비는 구축된 모형의 성능에 영향을 준다. 본 연구는 이러한 점에 착안하여 반응/미반응 범주 구성비와 모형성능의 관련성을 모형평가 통계량에 기반하여 판단한다. 이로써 데이터마트 형성에 이상적인 반응/미반응 범주 구성비를 탐지하려는데 본 연구의 목적을 두고 있다. 또한 일반적으로 목표범주의 빈도가 희귀할 경우, 분할 표본추출에 의하여 희귀사건(rare event)을 과대표본추출(oversampling)하는 것이 일반적이며, 이로부터 기인하는 사후확률에 대한 편향을 조정하게 된다. 본 연구에서는 사후확률 조정방법으로 오프셋(offset) 방법과 가중치 방법(sampling weights)을 적용하고 이를 비교하였다.

IoT 기반 간헐적 이벤트 로깅 응용에 최적화된 효율적 플래시 메모리 전력 소모 감소기법 (Efficient Flash Memory Access Power Reduction Techniques for IoT-Driven Rare-Event Logging Application)

  • 권지수;조정훈;박대진
    • 대한임베디드공학회논문지
    • /
    • 제14권2호
    • /
    • pp.87-96
    • /
    • 2019
  • Low power issue is one of the most critical problems in the Internet of Things (IoT), which are powered by battery. To solve this problem, various approaches have been presented so far. In this paper, we propose a method to reduce the power consumption by reducing the numbers of accesses into the flash memory consuming a large amount of power for on-chip software execution. Our approach is based on using cooperative logging structure to distribute the sampling overhead in single sensor node to adjacent nodes in case of rare-event applications. The proposed algorithm to identify event occurrence is newly introduced with negative feedback method by observing difference between past data and recent data coming from the sensor. When an event with need of flash access is determined, the proposed approach only allows access to write the sampled data in flash memory. The proposed event detection algorithm (EDA) result in 30% reduction of power consumption compared to the conventional flash write scheme for all cases of event. The sampled data from the sensor is first traced into the random access memory (RAM), and write access to the flash memory is delayed until the page buffer of the on-chip flash memory controller in the micro controller unit (MCU) is full of the numbers of the traced data, thereby reducing the frequency of accessing flash memory. This technique additionally reduces power consumption by 40% compared to flash-write all data. By sharing the sampling information via LoRa channel, the overhead in sampling data is distributed, to reduce the sampling load on each node, so that the 66% reduction of total power consumption is achieved in several IoT edge nodes by removing the sampling operation of duplicated data.

Rare Disaster Events, Growth Volatility, and Financial Liberalization: International Evidence

  • Bongseok Choi
    • Journal of Korea Trade
    • /
    • 제27권2호
    • /
    • pp.96-114
    • /
    • 2023
  • Purpose - This paper elucidates a nexus between the occurrence of rare disaster events and the volatility of economic growth by distinguishing the likelihood of rare events from stochastic volatility. We provide new empirical facts based on a quarterly time series. In particular, we focus on the role of financial liberalization in spreading the economic crisis in developing countries. Design/methodology - We use quarterly data on consumption expenditure (real per capita consumption) from 44 countries, including advanced and developing countries, ending in the fourth quarter of 2020. We estimate the likelihood of rare event occurrences and stochastic volatility for countries using the Bayesian Markov chain Monte Carlo (MCMC) method developed by Barro and Jin (2021). We present our estimation results for the relationship between rare disaster events, stochastic volatility, and growth volatility. Findings - We find the global common disaster event, the COVID-19 pandemic, and thirteen country-specific disaster events. Consumption falls by about 7% on average in the first quarter of a disaster and by 4% in the long run. The occurrence of rare disaster events and the volatility of gross domestic product (GDP) growth are positively correlated (4.8%), whereas the rare events and GDP growth rate are negatively correlated (-12.1%). In particular, financial liberalization has played an important role in exacerbating the adverse impact of both rare disasters and financial market instability on growth volatility. Several case studies, including the case of South Korea, provide insights into the cause of major financial crises in small open developing countries, including the Asian currency crisis of 1998. Originality/value - This paper presents new empirical facts on the relationship between the occurrence of rare disaster events (or stochastic volatility) and growth volatility. Increasing data frequency allows for greater accuracy in assessing a country's specific risk. Our findings suggest that financial market and institutional stability can be vital for buffering against rare disaster shocks. It is necessary to preemptively strengthen the foundation for financial stability in developing countries and increase the quality of the information provided to markets.

데이터 스트림 시스템에서 이상 이벤트에 대한 연관 규칙 마이닝 (Mining Association Rule for the Abnormal Event in Data Stream Systems)

  • 김대인;박준;황부현
    • 정보처리학회논문지D
    • /
    • 제14D권5호
    • /
    • pp.483-490
    • /
    • 2007
  • 최근에 데이터 스트림을 분석하여 잠재되어 있는 지식을 발견하기 위한 마이닝 방법에 대한 연구가 진행되고 있다. 그러나 대부분의 지지도 기반의 마이닝 방법들은 일정 주기 동안에 미리 정의된 지지도 이상의 발생 빈도를 갖는 이벤트만을 고려함으로써 발생 빈도에 비하여 중요도가 높은 이벤트를 간과하는 문제점을 가지고 있다. 본 논문에서는 이상 이벤트에 대한 연관 규칙을 탐사할 수 있는 SM-AF 방법을 제안한다. SM-AF 방법은 이상 이벤트가 감지된 윈도우만 고려하여 연관 정보를 탐사함으로써 자주 발생하지 않더라도 중요도가 높은 이벤트에 대한 연관 정보를 탐사할 수 있다. 또한 SM-AF 방법은 이상 이벤트에 대한 의미 있는 희소 항목 집합과 주기적인 이벤트 집합도 탐사한다. 그리고 다양한 실험을 통하여 SM-AF 방법이 기존의 연관 규칙 방법들에 비하여 우수함을 확인하였다.

A New Fast Simulation Technique for Rare Event Simulation

  • Kim, Yun-Bae;Roh, Deok-Seon;Lee, Myeong-Yong
    • 한국시뮬레이션학회:학술대회논문집
    • /
    • 한국시뮬레이션학회 1999년도 춘계학술대회 논문집
    • /
    • pp.70-79
    • /
    • 1999
  • Importance Sampling (IS) has been applied to accelerate the occurrence of rare events. However, it has a drawback of effective biasing scheme to make the estimator from IS unbiased. Adaptive Importance Sampling (AIS) employs an estimated sampling distribution of IS to the systems of interest during the course of simulation. We propose Nonparametric Adaptive Importance Sampling (NAIS) technique which is nonparametrically modified version of AIS and test it to estimate a probability of rare event in M/M/1 queueing model. Comparing with classical Monte Carlo simulation, the computational efficiency and variance reductions gained via NAIS are substantial. A possible extension of NAIS regarding with random number generation is also discussed.

  • PDF

국내 원자력발전소 지진 PSA의 CDF 과평가 방지를 위한 비희귀사건 모델링 방법 연구 (A Simple Approach to Calculate CDF with Non-rare Events in Seismic PSA Model of Korean Nuclear Power Plants)

  • 임학규
    • 한국안전학회지
    • /
    • 제36권5호
    • /
    • pp.86-91
    • /
    • 2021
  • Calculating the scrutable core damage frequency (CDF) of nuclear power plants is an important component of the seismic probabilistic safety assessment (SPSA). In this work, a simple approach is developed to calculate CDF from minimal cut sets (MCSs) with non-rare events. When conventional calculation methods based on rare event approximations are employed, the CDF of industry SPSA models is significantly overestimated by non-rare events in the MCSs. Recently, quantification algorithms using binary decision diagrams (BDDs) have been introduced to prevent CDF overestimation in the SPSA. However, BDD structures are generated from a small part of whole MCSs due to limited computational memory, and they cannot be reviewed due to their complicated logic structure. This study suggests a simple approach for scrutinizing the CDF calculation based on whole MCSs in the SPSA system analysis model. The proposed approach compares the new results to outputs from existing algorithms, which helps in avoiding CDF overestimation.