• Title/Summary/Keyword: deduplication

Search Result 69, Processing Time 0.105 seconds

A Study on Memory Deduplication for Improvement of Memory Efficiency in Virtualization Environment (가상화 환경에서 메모리 효율성 향상을 위한 메모리 중복제거 연구)

  • Cho, Youngjoong;Lee, Seho;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.21-22
    • /
    • 2013
  • 가상화 기술은 하드웨어 위에서 여러 운영체제를 동작시키면서, 시스템의 활용률을 극대화 시키는 기술이므로 여러 분야에서 각광받고 있다. 가상화는 시스템 위험성 전파 등을 줄임으로써, 보안 노출을 막는 등 여러 장점들이 있다. 하지만, 게스트머신에서 하이퍼바이저로의 잦은 스위치는 가상화 성능을 떨어트린다. 또한, 다수의 가상머신에서 공유될 수 있는 페이지들에 대한 메모리 중복 문제도 존재한다. 우리는 가상화 환경에서 VMEXIT를 줄이고, 메모리를 절약할 수 있는 메모리 중복제거 기술을 제안하고, 이를 정성적으로 성능 평가를 진행하였다.

  • PDF

Chunk Placement Scheme on Distributed File System Using Deduplication File System (중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

  • PDF

Efficient Deduplication Scheme on Fixed-length Chunking System Using File Similarity Information (파일유사도 정보를 이용한 고정 분할 기반 중복 제거 기법)

  • Moon, Young Chan;Jung, Ho Min;Ko, Young Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.202-205
    • /
    • 2012
  • 기존의 고정 길이 분할 (FLC: Fixed Length Chunking) 중복 제거 기법은 파일이 조금이라도 수정이 되면 수정된 블록에 대한 해시 정보가 달라져 중복 데이터 임에도 불구하고 중복 블록으로 검색이 되지 않는 문제점이 있다. 본 연구에서는 FLC 기반의 중복 제거 기법에 데이터 위치(offset) 정보를 활용하여 중복 블록을 효율적으로 찾아냄으로써 기존의 FLC 기반의 중복 제거 기법보다 더 좋은 성능을 발휘하는 유사도 정보를 활용하는 중복 제거 기법(FS_FLC: File Similarity based Fixed Length Chunking)을 설계하고 구현했다. 실험 결과 제안한 알고리즘은 낮은 오버헤드로 가변 분할 기법(VLC: Variable Length Chunking)만큼의 높은 중복 데이터 탐색 성능을 보여주었다.

  • PDF

Smartphone Backup System Using Deduplication Scheme (중복 제거 기술을 이용한 스마트폰 백업 시스템)

  • Jeong, Ho Min;Kim, Byung-Ki;Song, Chang-Geun;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.1803-1806
    • /
    • 2010
  • 스마트폰에서 용량을 많이 차지하는 멀티미디어 컨텐츠, 응용 프로그램 데이터가 증가하면서 스마트폰을 위한 백업 프로그램에 대한 요구가 증가하고 있다. 본 논문에서는 중복 제거 기법을 적용한 스마트폰 백업 기술을 제안함으로 네트워크 대역폭을 효율적으로 사용하고 저장 공간을 줄일 수 있는 방안을 제시하고 있다. 제안하는 중복 제거 방식은 스마트폰에서 각 파일을 일정한 크기의 블록 단위로 분할하고 지문을 부여하고, 지문이 동일하지 않을 경우에만 데이터를 전송하는 방식을 사용한다. 실험결과 제안하는 방식이 네트워크 대역폭 및 저장 공간을 효율적으로 사용함을 보이고 있다.

  • PDF

Extracting Clinical Service Process Models by Analyzing Patient History (환자 이력 데이터 분석을 통한 임상 서비스 프로세스 모형 추출)

  • Kim, Jun-Woo;Lee, Sang-Chul;Park, Sang-Chan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • /
    • pp.403-404
    • /
    • 2014
  • 원 업무 효율성을 높이기 위해 최근 다양한 병원 정보 시스템들이 도입되어 왔다. 이러한 시스템들을 통해 병원에서는 다양한 데이터를 전자적인 형태로 기록하고 공유하고 있으나, 이러한 데이터들은 일반적으로 간단한 통계량을 집계하는 데에만 사용되고 있어, 보다 체계적인 방법으로 병원 운영 관리에 유용한 숨겨진 지식이나 패턴을 추출하는 방법이 필요하다. 이에 본 논문에서는 기존 병원 정보 시스템들에 의해 축적되어진 환자 이력 데이터를 분석하여 임상 서비스 프로세스 모형을 추출하는 방법을 제안한다. 환자 이력 데이터는 검사나 처방 등을 실시한 기록을 포함하는데, 일반적으로 구조가 복잡하고 데이터 소스가 분산되어 있어 단순한 방법으로 분석하는 것이 까다롭다. 따라서, 본 논문에서는 먼저 단순한 형태의 프로세스 모형을 생성하고 이를 확장해나가는 단계적인 분석 방법을 소개한다. 이러한 목적을 위해 적절한 데이터 전처리, 데이터 마이닝, 프로세스 마이닝 기법 등이 활용되었으며, 제안하는 방법을 실제 류머티스과 환자 이력 데이터에 적용하여 임상 서비스 프로세스 모형을 추출할 수 있었다.

  • PDF

Near Duplicate News Combining System to Prevent Information Loss Due to Deduplication of News (뉴스 중복 제거에 따른 정보 유실 방지하기 위한 중복 뉴스 결합 시스템)

  • Kim, Tae-Hwan;Choi, Won-Jae;Kim, Jung-Sun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • /
    • pp.391-392
    • /
    • 2020
  • 본 논문에서는 중복 데이터가 가장 많은 인터넷 뉴스 상에서 중복 뉴스를 제거하는 경우 중복 뉴스로 판단되는 유사 중복 문서를 제거할 때 정보의 유실이 발생한다. 본 논문에서는 인터넷 뉴스를 대상으로 유사 중복 뉴스를 제거할 때 발생하는 정보의 유실을 해결하기 위해 제거 된 뉴스와 결합하여 새로운 뉴스를 만드는 중복 뉴스 결합 시스템을 제안한다. 제안하는 방법은 뉴스의 기본 문장과 탐지된 중복 뉴스의 문장 간의 관계 유사도를 활용하여 유실 된 정보를 파악하고 파악된 결과를 기본 뉴스에 결합하여 정보의 유실을 최소화 시키는 것을 실험을 통해 보였다. 향후 뉴스분야뿐만 아니라 중복 문서 제거가 필요한 문서를 다루는 모든 분야에서 정보의 유실을 최소화하기 위한 방법으로 활용할 수 있을 것으로 기대 한다.

  • PDF

안전한 데이터 중복 처리 기술 연구 동향

  • Youn, Taek Young
    • Review of KIISC
    • /
    • v.31 no.2
    • /
    • pp.45-51
    • /
    • 2021
  • 중복 제거 기술(Deduplication)은 동일한 데이터에 대하여 중복 저장을 방지함으로써 다수의 클라이언트가 공용으로 사용하는 서버의 저장 성능을 향상하기 위한 기술이다. IT 서비스에서 사용되는 데이터의 크기 및 양이 증대함에 따라 중복 제거 기술의 중요성은 더욱 높아지고 있다. 모든 사용자를 신뢰할 수 있는 환경에서는 다수의 사용자가 동일 데이터를 저장하고자 하는 경우, 외부 서버에 하나의 데이터만 저장하고 반복된 데이터 저장 요청에 대해서는 해당 데이터에 대한 소유권만 인정하는 방식으로 중복 데이터 관리의 효율성을 높일 수 있다. 그러나 다양한 목적으로 악의적인 행위를 수행하는 공격자에 의해 특정 시스템의 작은 취약점도 해당 시스템 기반으로 제공되는 서비스들의 안전성을 훼손하기 위해 악용될 수 있고, 중복 제거 기술도 이러한 위협에 노출되어 있다. 본 논문에서는 중복 제거 기술을 대상으로 알려져있는 공격 방법에 대해 살펴보고, 안전하게 데이터 중복 처리를 제공하기 위한 요소 기술 및 관련 기술 동향에 대해 소개하고자 한다.

  • PDF

Design of Deduplication Supported Clustering Backup System using File Finger Printing (파일 지문으로 중복 파일을 제거한 클러스터링 백업 시스템 설계)

  • Jeong, Ho-Min;Ko, Young-Woong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.737-740
    • /
    • 2007
  • 기존의 백업시스템에서는 데이터의 중복을 고려하지 않고 백업 데이터 전부를 저장하기 때문에 저장용량 공간을 많이 차지하는 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 백업 데이터의 각 파일에 대해서 일정한 크기의 블록 단위로 파일지문을 부여하고 파일지문이 동일할 경우 하나의 사본만을 공유하는 방법으로 백업 데이터의 용량을 감소시키는 방법을 도입하였다. 제안하는 백업 시스템은 중복되어 발생하는 데이터에 대해 하나의 사본만 백업함으로써 백업되는 데이터의 양을 효과적으로 감소시켰다. 또한 백업되는 파일 블록에 대해서 클러스터링 기술을 사용함으로서 입출력 성능 향상을 고려하였다.

  • PDF

Using Data Deduplication In A Cloud Environment, Efficient Data Synchronization Algorithm Design (클라우드 환경에서 데이터 중복제거를 활용한 효율적인 데이터 동기화 알고리즘 설계)

  • Lim, Kwang-Soo;Park, Suk-chun;Kim, Young-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.626-628
    • /
    • 2015
  • 빅 데이터의 시대가 도래 하면서 데이터의 양이 기하급수적으로 증가 하고 있으며, 이에 따라 데이터를 효율적으로 처리하는 기술의 중요성이 부각 되고 있다. 데이터를 효율적으로 처리하기 위한 기술 중 하나인, 데이터 중복제거 기술은 저장 시스템 공간을 효율적으로 사용 할 수 있게 할 뿐만 아니라, 네트워크 환경에서 전송되는 데이터의 양도 획기적으로 줄여 주어 통신비용을 절감하게 한다. 기존의 데이터 중복제거 기술과 데이터 동기화 기법을 분석하고, 이를 바탕으로 클라우드 환경에서 데이터 중복제거를 통한 효율적인 데이터 동기화 기법을 제안하고자 한다.

Survey on the Key Generation of the Convergent Encryption for Deduplication in Cloud Computing (클라우드 컴퓨팅에서 중복제거를 위한 수렴 암호화 키 생성에 관한 연구)

  • Seong, Ki-Woong;Lee, Byung-Do;Park, Hyo-min;Shin, Sang UK
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.730-732
    • /
    • 2015
  • 데이터 중복 제거 기술은 클라우드 스토리지에 저장되어 있는 중복된 데이터들 중에 하나의 데이터만 저장하는 기술로, 클라우드 스토리지 서비스에서 저장효율을 높이기 위한 핵심적인 기술 중 하나이다. 하지만 아웃소싱된 데이터가 암호화가 되지 않으면 기밀성을 유지하지 못해 프라이버시에 큰 영향을 끼치게 된다. 데이터를 암호화하여 아웃소싱하는 경우에는 암호문의 특성으로 인해 중복 제거 기술이 적용하기 힘든 단점을 가지고 있으며 이를 위해 수렴 암호화를 사용한다. 본 논문에서는 수렴 암호화로 암호화된 데이터에 대해 중복제거 기술을 적용하는 여러 제안모델을 분석하고, 개선방안을 제시한다.