• 제목/요약/키워드: Metropolis-Hastings algorithm

검색결과 42건 처리시간 0.045초

불완전 자료에 대한 Metropolis-Hastings Expectation Maximization 알고리즘 연구 (Metropolis-Hastings Expectation Maximization Algorithm for Incomplete Data)

  • 전수영;이희찬
    • 응용통계연구
    • /
    • 제25권1호
    • /
    • pp.183-196
    • /
    • 2012
  • 결측자료(missing data), 절단분포(truncated distribution), 중도절단자료(censored data) 등 불완전한 자료(incomplete data)하의 추론문제(incomplete problems)는 통계학에서 자주 발생되는 현상이다. 이런 문제의 해결방법으로 Expectation Maximization, Monte Carlo Expectation Maximization, Stochastic Expectation Maximization 알고리즘 등을 이용하는 방법이 있지만, 정형화된 분포의 가정이 필요하다는 단점을 가지고 있다. 본 연구에서는 정형화된 분포의 가정이 없는 경우에 사용할 수 있는 Metropolis-Hastings Expectation Maximization(MHEM) 알고리즘을 제안하고자 한다. MHEM 알고리즘의 효율성은 중도절단자료(censored data)를 이용한 모의실험과 KOSPI 200 수익률의 실증자료분석를 통해 알수 있었다.

Bayesian MCMC 및 Metropolis Hastings 알고리즘을 이용한 강우빈도분석에서 확률분포의 매개변수에 대한 불확실성 해석 (Uncertainty Analysis for Parameters of Probability Distribution in Rainfall Frequency Analysis by Bayesian MCMC and Metropolis Hastings Algorithm)

  • 서영민;박기범
    • 한국환경과학회지
    • /
    • 제20권3호
    • /
    • pp.329-340
    • /
    • 2011
  • The probability concepts mainly used for rainfall or flood frequency analysis in water resources planning are the frequentist viewpoint that defines the probability as the limit of relative frequency, and the unknown parameters in probability model are considered as fixed constant numbers. Thus the probability is objective and the parameters have fixed values so that it is very difficult to specify probabilistically the uncertianty of these parameters. This study constructs the uncertainty evaluation model using Bayesian MCMC and Metropolis -Hastings algorithm for the uncertainty quantification of parameters of probability distribution in rainfall frequency analysis, and then from the application of Bayesian MCMC and Metropolis- Hastings algorithm, the statistical properties and uncertainty intervals of parameters of probability distribution can be quantified in the estimation of probability rainfall so that the basis for the framework configuration can be provided that can specify the uncertainty and risk in flood risk assessment and decision-making process.

강우빈도분석에서 확률분포의 매개변수에 대한 불확실성 해석: Bayesian MCMC 및 Metropolis-Hastings 알고리즘을 중심으로 (Uncertainty Analysis for Parameters of Probability Distribution in Rainfall Frequency Analysis: Bayesian MCMC and Metropolis-Hastings Algorithm)

  • 서영민;지홍기;이순탁
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1385-1389
    • /
    • 2010
  • 수자원 계획에 있어서 강우 또는 홍수빈도분석시 주로 사용되는 확률의 개념은 상대빈도에 대한 극한으로 확률을 정의하는 빈도학파적 확률관점에 속하며, 확률모델에서 미지의 매개변수들은 고정된 상수로 간주된다. 따라서 확률은 객관적이고 매개변수들은 고정된 값을 가지기 때문에 이러한 매개변수들에 대한 확률론적 설명은 매우 어렵다. 본 연구에서는 강우빈도해석에서 확률분포의 매개변수에 대한 불확실성을 정량화하기 위하여 베이지안 MCMC 및 Metropolis-Hastings 알고리즘을 이용한 불확실성 평가모델을 구축하였다. 그리고 베이지안 MCMC 및 Metropolis-Hastings 알고리즘의 적용을 통하여 확률강우량 산정시 확률분포의 매개변수에 대한 통계학적 특성 및 불확실성 구간을 정량화하였으며, 이를 바탕으로 홍수위험평가 및 의사결정과정에서 불확실성 및 위험도를 충분히 설명할 수 있는 프레임워크 구성을 위한 기초를 마련할 수 있었다.

  • PDF

The Exponentiated Weibull-Geometric Distribution: Properties and Estimations

  • Chung, Younshik;Kang, Yongbeen
    • Communications for Statistical Applications and Methods
    • /
    • 제21권2호
    • /
    • pp.147-160
    • /
    • 2014
  • In this paper, we introduce the exponentiated Weibull-geometric (EWG) distribution which generalizes two-parameter exponentiated Weibull (EW) distribution introduced by Mudholkar et al. (1995). This proposed distribution is obtained by compounding the exponentiated Weibull with geometric distribution. We derive its cumulative distribution function (CDF), hazard function and the density of the order statistics and calculate expressions for its moments and the moments of the order statistics. The hazard function of the EWG distribution can be decreasing, increasing or bathtub-shaped among others. Also, we give expressions for the Renyi and Shannon entropies. The maximum likelihood estimation is obtained by using EM-algorithm (Dempster et al., 1977; McLachlan and Krishnan, 1997). We can obtain the Bayesian estimation by using Gibbs sampler with Metropolis-Hastings algorithm. Also, we give application with real data set to show the flexibility of the EWG distribution. Finally, summary and discussion are mentioned.

소량자료를 위한 베이지안 다중 변환점 모형 (Bayesian Multiple Change-Point for Small Data)

  • 전수영
    • Communications for Statistical Applications and Methods
    • /
    • 제19권2호
    • /
    • pp.237-246
    • /
    • 2012
  • 다중 변환점(multiple change-point) 추론에 있어 소량자료에 관한 연구는 많지 않다. 본 논문에서는 소량 자료의 다중 변환점 추정을 위해 베이지안 비중심(noncentral) t 분포 변환점 모형을 제안하고, 제안된 모형 추론을 위해 메트로폴리스-해스팅스를 포함한 깁스 샘플링(Metropolis-Hastings-Within-Gibbs sampling) 알고리즘을 이용하였다. 모의실험 및 태풍 발생 수의 실증 분석결과는 제안된 모형과 알고리즘의 우수성을 보여 준다.

Bayesian MCMC를 이용한 저수량 점 빈도분석: I. 이론적 배경과 사전분포의 구축 (At-site Low Flow Frequency Analysis Using Bayesian MCMC: I. Theoretical Background and Construction of Prior Distribution)

  • 김상욱;이길성
    • 한국수자원학회논문집
    • /
    • 제41권1호
    • /
    • pp.35-47
    • /
    • 2008
  • 저수분석(low flow analysis)은 수자원공학에서 중요한 분야 중 하나이며, 특히 저수량 빈도분석(low flow frequency analysis)의 결과는 저수(貯水)용량의 설계, 물 수급계획, 오염원의 배치 및 관개와 생태계의 보존을 위한 수량과 수질의 관리에 중요하게 사용된다. 그러므로 본 연구에서는 저수량 빈도분석을 위한 점 빈도분석을 수행하였으며, 특히 빈도분석에 있어서의 불확실성을 탐색하기 위하여 Bayesian 방법을 적용하고 그 결과를 기존에 사용되던 불확실성 탐색방법과 비교하였다. 본 논문의Ⅰ편에서는 Bayesian 방법 중 사전분포(prior distribution)와 우도함수(likelihood function)의 복잡성에 상관없이 계산이 가능한 Bayesian MCMC(Bayesian Markov Chain Monte Carlo) 방법과 Metropolis-Hastings 알고리즘을 사용하기 위한 여러 과정의 이론적 배경과 Bayesian 방법에서 가장 중요한 요소인 사전분포를 구축하고 이를 비교 및 평가하였다. 고려된 사전분포는 자료에 기반하지 않은 사전분포와 자료에 기반한 사전분포로써 두 사전분포를 이용하여 Metropolis-Hastings 알고리즘을 수행하고 그 결과를 비교하여 저수량 빈도분석에 합리적인 사전분포를 선정하였다. 또한 알고리즘의 수행과정에서 필요한 제안분포(proposal distribution)를 적용하여 그에 따른 알고리즘의 효율성을 채택률(acceptance rate)을 산정하여 검증해 보았다. 사전분포의 분석 결과, 자료에 기반한 사전분포가 자료에 기반하지 않은 사전분포보다 정확성 및 불확실성의 표현에 있어서 우수한 결과를 제시하는 것을 확인할 수 있었고, 채택률을 이용한 알고리즘의 효용성 역시 기존 연구자들이 제시하였던 만족스러운 범위를 가지는 것을 알 수 있었다. 최종적으로 선정된 사전분포는 본 연구의 II편에서 Bayesian MCMC방법의 사전분포로 이용되었으며, 그 결과를 기존 불확실성의 추정방법의 하나인 2차 근사식을 이용한 최우추정(maximum likelihood estimation)방법의 결과와 비교하였다.

Posterior density estimation for structural parameters using improved differential evolution adaptive Metropolis algorithm

  • Zhou, Jin;Mita, Akira;Mei, Liu
    • Smart Structures and Systems
    • /
    • 제15권3호
    • /
    • pp.735-749
    • /
    • 2015
  • The major difficulty of using Bayesian probabilistic inference for system identification is to obtain the posterior probability density of parameters conditioned by the measured response. The posterior density of structural parameters indicates how plausible each model is when considering the uncertainty of prediction errors. The Markov chain Monte Carlo (MCMC) method is a widespread medium for posterior inference but its convergence is often slow. The differential evolution adaptive Metropolis-Hasting (DREAM) algorithm boasts a population-based mechanism, which nms multiple different Markov chains simultaneously, and a global optimum exploration ability. This paper proposes an improved differential evolution adaptive Metropolis-Hasting algorithm (IDREAM) strategy to estimate the posterior density of structural parameters. The main benefit of IDREAM is its efficient MCMC simulation through its use of the adaptive Metropolis (AM) method with a mutation strategy for ensuring quick convergence and robust solutions. Its effectiveness was demonstrated in simulations on identifying the structural parameters with limited output data and noise polluted measurements.

베이지안 통계 추론 (On the Bayesian Statistical Inference)

  • 이호석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.263-266
    • /
    • 2007
  • 본 논문은 베이지안 통계 추론에 대하여 논의한다. 논문은 베이지안 추론, Markov Chain과 Monte Carlo 적분, MCMC(Markov Chain Monte Carlo) 기법, Metropolis-Hastings 알고리즘, Gibbs 샘플링, Maximum Likelihood Estimation, EM 알고리즘, 상실된 데이터 보완 기법, BMA(Bayesian Model Averaging) 순서로 논의를 진행한다. 이러한 통계적 기법들은 대용량의 데이터를 처리하는 생물학, 의학, 생명 공학, 과학과 공학, 그리고 일반 데이터 조사와 처리 등에 사용되고 있으며, 최적의 추론 결과를 이끌어 내는데 중요한 방법을 제공하고 있다. 그리고 마지막으로 PC(Principal Component) 분석 기법에 대하여 논의한다. PC 분석 기법도 데이터 분석과 연구에 많이 활용된다.

  • PDF

Bayesian Parameter Estimation using the MCMC method for the Mean Change Model of Multivariate Normal Random Variates

  • Oh, Mi-Ra;Kim, Eoi-Lyoung;Sim, Jung-Wook;Son, Young-Sook
    • Communications for Statistical Applications and Methods
    • /
    • 제11권1호
    • /
    • pp.79-91
    • /
    • 2004
  • In this thesis, Bayesian parameter estimation procedure is discussed for the mean change model of multivariate normal random variates under the assumption of noninformative priors for all the parameters. Parameters are estimated by Gibbs sampling method. In Gibbs sampler, the change point parameter is generated by Metropolis-Hastings algorithm. We apply our methodology to numerical data to examine it.

Posterior Inference in Single-Index Models

  • Park, Chun-Gun;Yang, Wan-Yeon;Kim, Yeong-Hwa
    • Communications for Statistical Applications and Methods
    • /
    • 제11권1호
    • /
    • pp.161-168
    • /
    • 2004
  • A single-index model is useful in fields which employ multidimensional regression models. Many methods have been developed in parametric and nonparametric approaches. In this paper, posterior inference is considered and a wavelet series is thought of as a function approximated to a true function in the single-index model. The posterior inference needs a prior distribution for each parameter estimated. A prior distribution of each coefficient of the wavelet series is proposed as a hierarchical distribution. A direction $\beta$ is assumed with a unit vector and affects estimate of the true function. Because of the constraint of the direction, a transformation, a spherical polar coordinate $\theta$, of the direction is required. Since the posterior distribution of the direction is unknown, we apply a Metropolis-Hastings algorithm to generate random samples of the direction. Through a Monte Carlo simulation we investigate estimates of the true function and the direction.