• Title/Summary/Keyword: 중복

Search Result 3,559, Processing Time 0.43 seconds

Stream based DNA Read Deduplication Method (스트림 기반 DNA 리드 중복제거 방법)

  • Lee, Hyeon-byeong;Song, Seok-il;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • /
    • pp.9-10
    • /
    • 2019
  • NGS 분석과정 중 증폭된 DNA 리드(Read)는 중복이 발생하여 이로 인해 다음 단계의 정확도 저하 등의 문제를 야기한다. 이 논문에서는 기존 DNA 리드 중복 제거 도구 중 하나인 Samblaster의 중복제거 알고리즘을 이용하여 분산 병렬 형태로 중복제거를 수행하는 방법을 제안한다. 제안하는 중복제거 방법은 중복제거 전단계인 정렬단계애서 정렬된 리드에 대해 중복제거 키를 생성하고 이를 스트림으로 전달하여 중복제거를 수행한다.

  • PDF

Near Duplicate News Combining System to Prevent Information Loss Due to Deduplication of News (뉴스 중복 제거에 따른 정보 유실 방지하기 위한 중복 뉴스 결합 시스템)

  • Kim, Tae-Hwan;Choi, Won-Jae;Kim, Jung-Sun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • /
    • pp.391-392
    • /
    • 2020
  • 본 논문에서는 중복 데이터가 가장 많은 인터넷 뉴스 상에서 중복 뉴스를 제거하는 경우 중복 뉴스로 판단되는 유사 중복 문서를 제거할 때 정보의 유실이 발생한다. 본 논문에서는 인터넷 뉴스를 대상으로 유사 중복 뉴스를 제거할 때 발생하는 정보의 유실을 해결하기 위해 제거 된 뉴스와 결합하여 새로운 뉴스를 만드는 중복 뉴스 결합 시스템을 제안한다. 제안하는 방법은 뉴스의 기본 문장과 탐지된 중복 뉴스의 문장 간의 관계 유사도를 활용하여 유실 된 정보를 파악하고 파악된 결과를 기본 뉴스에 결합하여 정보의 유실을 최소화 시키는 것을 실험을 통해 보였다. 향후 뉴스분야뿐만 아니라 중복 문서 제거가 필요한 문서를 다루는 모든 분야에서 정보의 유실을 최소화하기 위한 방법으로 활용할 수 있을 것으로 기대 한다.

  • PDF

A study on logit choice probability model taking into account the problems of common-nodes and common-links (노드중복과 링크중복문제를 고려한 로짓선택확률의 비교연구)

  • 백승걸;임용택;임강원
    • Journal of Korean Society of Transportation
    • /
    • v.18 no.2
    • /
    • pp.63-71
    • /
    • 2000
  • One Problem of the choice Property in logit model is interpreted as the Problem of common links and common nodes in choice set. Common node Problem Plays important role in deciding the efficiency of network loading and common link problem is connected with choice Problem, both of which are to be solved to improve the logit choice model. Although much need has been pointed out for research on the topic, however, no Paper as yet considers these two factors at the same time. In the Paper we develop a new logit formulation, which is able to ease the logit Problem, widely known as the Problem of IIA(Independence of Irrelevant Alternatives). An example network is used to assess the Proposed model and compare it with other conventional models. From the results, we find out that the model is superior to others.

  • PDF

A Study on De-Duplication for Cloud Storage Systems (클라우드 스토리지 시스템을 위한 중복제거 기술 연구)

  • Kim, Taehun;Kim, Jee Hong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.188-190
    • /
    • 2012
  • 클라우드 스토리지에 저장되는 데이터가 급증하면서 데이터 중복으로 인한 스토리지의 저장 비용이 증가하고 있다. 이러한 데이터 중복 문제를 해결하기 위해서 기존의 스토리지 환경에서는 다양한 데이터 중복제거 기술이 제안되었다. 이에 본 논문에서는 클라우드 스토리지를 위한 데이터 중복제거 기술의 분석을 통하여 대규모 클라우드 스토리지에서의 데이터 중복 제거율을 높이기 위해 데이터 유형의 특성을 고려한 스토리지 중복제거 기술의 필요성을 제시한다.

  • PDF

Floating Primary Copy Method for Replica Control of Spatial Data (공간 데이터베이스의 중복 제어를 위한 Floating Primary Copy 기법)

  • 최진오
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • /
    • pp.68-72
    • /
    • 2002
  • CIS 응용에서 공간 객체들이 여러 사이트에 걸쳐 중복 저장되어 있다면, 이 객체들의 수정 시 일관성 제어를 위한 중복 제어 기법이 필요하다. 그러나, 일반적인 비즈니스 데이터를 위한 정통적인 중복 제어기법은 공간 데이터에는 그대로 사용될 수 없다. 공간 데이터의 수정은 긴 트랜 션을 필요로 하며, 또한 일반 데이터와 달리 데이터간의 공간 종속성을 지니기 때문이다. 본 논문은 기존의 Primary Copy 중복 제어 기법을 확장하며, time-stamp에 기반하여 Primary Copy 사이트가 변경되는 Floating Primary Copy 기법을 제안한다. 본 논문에서 제안하는 중복 제어 기법은 Primary Copy 사이트를 동적으로 변경함으로써, 긴 트랜 션의 중복 일관성 제어를 지원할 수 있다.

  • PDF

Efficient Deduplication Scheme on Fixed-length Chunking System Using File Similarity Information (파일유사도 정보를 이용한 고정 분할 기반 중복 제거 기법)

  • Moon, Young Chan;Jung, Ho Min;Ko, Young Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.202-205
    • /
    • 2012
  • 기존의 고정 길이 분할 (FLC: Fixed Length Chunking) 중복 제거 기법은 파일이 조금이라도 수정이 되면 수정된 블록에 대한 해시 정보가 달라져 중복 데이터 임에도 불구하고 중복 블록으로 검색이 되지 않는 문제점이 있다. 본 연구에서는 FLC 기반의 중복 제거 기법에 데이터 위치(offset) 정보를 활용하여 중복 블록을 효율적으로 찾아냄으로써 기존의 FLC 기반의 중복 제거 기법보다 더 좋은 성능을 발휘하는 유사도 정보를 활용하는 중복 제거 기법(FS_FLC: File Similarity based Fixed Length Chunking)을 설계하고 구현했다. 실험 결과 제안한 알고리즘은 낮은 오버헤드로 가변 분할 기법(VLC: Variable Length Chunking)만큼의 높은 중복 데이터 탐색 성능을 보여주었다.

  • PDF

A Safe and Efficient Secure Data Deduplication for Cloud Storage Environment (클라우드 스토리지 환경을 위한 안전하고 효율적인 암호데이터 중복제거 기술)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.714-717
    • /
    • 2015
  • 기존의 암호데이터 중복제거 기술은 데이터의 중복 여부를 판단하기 위해 다양한 방식으로 데이터를 전송하고 이를 기존에 저장된 데이터와 비교하여 중복여부를 판단하게 된다. 이러한 데이터 중복제거 기술의 중복제거 효율성을 높이기 위해 최근 블록 단위의 중복제거 기술이 사용되고 있다. 하지만 블록 단위 중복제거 기술의 적용 과정에서 다양한 보안 위협이 발생하는데, 이 중 포이즌 어택은 무결성 및 데이터 저장 시 저장되는 데이터에 대한 검증이 이루어지지 않는 시스템에서 발생하는 위협 중 하나이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 연구되어 제안되었지만 과도하게 많은 통신 횟수와 연산이 발생되어 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량에서 보다 효율적인 암호데이터 중복제거 기술을 제안한다.

Study on Judgement and Improvement of R&D Overlap Analysis during National R&D Pre-feasibility Study : Analysis based on Survey Response of Pre-feasibility Studying Team (예비타당성조사 R&D 중복성 검토의 판단 및 개선 방안에 대한 연구 : 조사 담당자의 설문 응답 기반 분석)

  • Park, Chang-hyun
    • Proceedings of the Korea Technology Innovation Society Conference
    • /
    • /
    • pp.535-546
    • /
    • 2017
  • 국가 R&D 사업에 대한 예비타당성조사 시 R&D 중복성에 대한 검토는 중복된 투자를 방지하여 재정 투자의 효율성을 높이는데 중요하다. 본 연구에서는 예비타당성조사 담당자들을 대상으로 중복성 검토에 대한 중요요인, 개선사항, 판단기준, 판단주체에 대한 설문조사 분석을 진행하였고, 외부 전문가 그룹의 인식차이와 비교하였다. 설문조사 결과에 대한 통계 분석을 통해 중복성 검토에서 가장 중요한 요인은 '중복성 판단기준, 시스템의 데이터베이스 및 검색 알고리즘'으로 확인되었고, 3가지 요인에 대한 개선이 중복성 검토를 개선하는데 가장 중요함을 확인하였다. 또한 다중회귀분석을 통해 주요 요인들이 중복성 검토결과의 정확성에 미치는 영향성을 분석하여 요인들의 유의성에 대해 확인하였다. 본 연구를 통해 예비타당성 조사 시 R&D 중복성에 대한 검토가 향후 어떤 방향으로 개선되어야하는지에 대해 시사점이 제시된다.

  • PDF

De-Duplication Performance Test for Massive Data (대용량 데이터의 중복제거(De-Duplication) 성능 실험)

  • Lee, Choelmin;Kim, Jai-Hoon;Kim, Young Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.271-273
    • /
    • 2012
  • 중복 제거(De-duplication) 여러 데이터를 저장한 스토리지에서 같은 내용을 담고 있는 파일자체나 블록단위의 chunk 등을 찾아 중복된 내용을 제거하여 중복된 부분은 하나의 데이터 단위를 유지함으로써 스토리지 공간을 절약할 수 있다. 본 논문에서는 실험적인 데이터가 아닌 실제 업무 환경에서 적용될만한 대용량의 데이터 백업을 가정한 상황에 대해 중복 제거 기법을 테스트해봄으로써 중복제거율과 성능을 측정하였으며 이를 시각적으로 표현하는 방법을 제안함으로써 평가자 및 사용자가 알아보기 쉽게 하였다.

  • PDF

Deduplication Server Supporting Dynamic Mode Change (동적 모드 변경을 제공하는 중복 제거 서버)

  • Jung, Ho Min;Kim, Jin;Ko, Young Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.218-221
    • /
    • 2010
  • 현재 중복 제거 기술은 클라이언트 기반 중복 제거 모델, 인라인(in-line) 중복 제거 모델 그리고 포스트 프로세스(post-process) 중복 제거 모델로 구분할 수 있다. 본 연구에서는 클라이언트와 서버의 부하를 모니터링하여 시스템 부하에 따라 중복 제거의 핵심 작업을 동적으로 변경한다. 즉, 클라이언트가 유휴하고 서버의 자원 사용량이 높은 경우에는 클라이언트 기반 중복 제거 모델로 동작시키고, 클라이언트의 자원 사용량이 높고 서버가 유휴한(idle) 경우에는 인라인 중복 제거 모델로 동작시킨다. 그리고 전체 시스템이 과부하인 경우는 포스트 프로세스 모델로 동작하게 된다. 제안하는 방식에 대한 실험 결과 전체 시스템의 처리율이 높아지는 것을 확인하였다.

  • PDF