• 제목/요약/키워드: Pruning ensemble

검색결과 5건 처리시간 0.017초

분류 앙상블 모형에서 Lasso-bagging과 WAVE-bagging 가지치기 방법의 성능비교 (Comparison of ensemble pruning methods using Lasso-bagging and WAVE-bagging)

  • 곽승우;김현중
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권6호
    • /
    • pp.1371-1383
    • /
    • 2014
  • 분류 앙상블 모형이란 여러 분류기들의 예측 결과를 통합하여 더욱 정교한 예측성능을 가진 분류기를 만들기 위한 융합방법론이라 할 수 있다. 분류 앙상블을 구성하는 분류기들이 높은 예측 정확도를 가지고 있으면서 서로 상이한 모형으로 이루어져 있을 때 분류 앙상블 모형의 정확도가 높다고 알려져 있다. 하지만, 실제 분류 앙상블 모형에는 예측 정확도가 그다지 높지 않으며 서로 유사한 분류기도 포함되어 있기 마련이다. 따라서 분류 앙상블 모형을 구성하고 있는 여러 분류기들 중에서 서로 상이하면서도 정확도가 높은 것만을 선택하여 앙상블 모형을 구성해 보는 가지치기 방법을 생각할 수 있다. 본 연구에서는 Lasso 회귀분석 방법을 이용하여 분류기 중에 일부를 선택하여 모형을 만드는 방법과 가중 투표 앙상블 방법론의 하나인 WAVE-bagging을 이용하여 분류기 중 일부를 선택하는 앙상블 가지치기 방법을 비교하였다. 26개 자료에 대해 실험을 한 결과 WAVE-bagging 방법을 이용한 분류 앙상블 가지치기 방법이 Lasso-bagging을 이용한 방법보다 더 우수함을 보였다.

Pruning the Boosting Ensemble of Decision Trees

  • Yoon, Young-Joo;Song, Moon-Sup
    • Communications for Statistical Applications and Methods
    • /
    • 제13권2호
    • /
    • pp.449-466
    • /
    • 2006
  • We propose to use variable selection methods based on penalized regression for pruning decision tree ensembles. Pruning methods based on LASSO and SCAD are compared with the cluster pruning method. Comparative studies are performed on some artificial datasets and real datasets. According to the results of comparative studies, the proposed methods based on penalized regression reduce the size of boosting ensembles without decreasing accuracy significantly and have better performance than the cluster pruning method. In terms of classification noise, the proposed pruning methods can mitigate the weakness of AdaBoost to some degree.

Sparsity Increases Uncertainty Estimation in Deep Ensemble

  • Dorjsembe, Uyanga;Lee, Ju Hong;Choi, Bumghi;Song, Jae Won
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.373-376
    • /
    • 2021
  • Deep neural networks have achieved almost human-level results in various tasks and have become popular in the broad artificial intelligence domains. Uncertainty estimation is an on-demand task caused by the black-box point estimation behavior of deep learning. The deep ensemble provides increased accuracy and estimated uncertainty; however, linearly increasing the size makes the deep ensemble unfeasible for memory-intensive tasks. To address this problem, we used model pruning and quantization with a deep ensemble and analyzed the effect in the context of uncertainty metrics. We empirically showed that the ensemble members' disagreement increases with pruning, making models sparser by zeroing irrelevant parameters. Increased disagreement implies increased uncertainty, which helps in making more robust predictions. Accordingly, an energy-efficient compressed deep ensemble is appropriate for memory-intensive and uncertainty-aware tasks.

패턴 인식을 위한 유전 알고리즘의 개관 (Review on Genetic Algorithms for Pattern Recognition)

  • 오일석
    • 한국콘텐츠학회논문지
    • /
    • 제7권1호
    • /
    • pp.58-64
    • /
    • 2007
  • 패턴 인식 분야에는 지수적 탐색 공간을 가진 최적화 문제가 많이 있다. 이를 해결하기 위해 부 최적해를 구하는 순차 탐색 알고리즘이 사용되어 왔고, 이들 알고리즘은 국부 최적점에 빠지는 문제점을 안고 있다. 최근 이를 극복하기 위해 유전 알고리즘을 사용하는 사례가 많아졌다. 이 논문은 특징 선택, 분류기 앙상블 선택, 신경망 가지치기, 군집화 문제의 지수적 탐색 공간 특성을 설명하고 이를 해결하기 위한 유전 알고리즘을 살펴본다. 또한 향후 연구로서 가치가 높은 주제들에 대해 소개한다.

무가시성 적색 절화장미 '러브레터' 육성 (A Standard Rose Cultivar 'Love Letter' with Thornless Stems and Red Colored Petals for Cut Flowers)

  • 이영순;정윤경;박미옥;임재욱
    • 원예과학기술지
    • /
    • 제32권2호
    • /
    • pp.269-275
    • /
    • 2014
  • 장미 신품종 'Love Letter'는 경기도농업기술원에서 2011년에 종자친 'Red Giant'와 화분친 'Ensemble' 간의 교배를 통하여 얻게 된 교잡 후대로부터 선발되었다. 2007년에 교배실생 개체를 양성하였고, 2008년부터 2011년까지 3회 특성검정한 결과 절화특성의 우수성이 인정됨으로써 최종 선발하여 'Love Letter'로 명명하였다. 화형은 스탠다드이며, 화색은 적색(RHS Red Group 46A)이다. 화폭은 9.3cm이고 꽃잎수는 32.4매이며, 개화소요일수는 43일이다. 줄기에 가시가 없으며 절화 길이는 70.5cm이고 절화중은 40.0g이다. 연간 절화수량은 152본/$m^2$이며 절화수명은 12일이다.