• 제목/요약/키워드: deduplication

검색결과 71건 처리시간 0.171초

CPU-GPGPU 를 기반으로 멀티스레드 파일청킹 시스템 (A CPU-GPGPU Based Multithread File Chunking System)

  • 단지;원유집
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.336-337
    • /
    • 2011
  • The popularity of general purpose GPU(GPGPU)makes the CPU-GPGPU heterogeneous architecture normal. Therefore, tradeoff the usage of CPU and GPGPU becomes a way to improve performance of programs. In this work, we exploit the properties of the CPU-GPGPU heterogeneous architecture and use them to accelerate the content based chunking operation of deduplication. We built a prototype system which is able to coordinate CPU and GPGPU to chunk file and has been proven to have a better performance compared to using either CPU or GPGPU alone.

가상화 환경에서 메모리 효율성 향상을 위한 메모리 중복제거 연구 (A Study on Memory Deduplication for Improvement of Memory Efficiency in Virtualization Environment)

  • 조영중;이세호;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.21-22
    • /
    • 2013
  • 가상화 기술은 하드웨어 위에서 여러 운영체제를 동작시키면서, 시스템의 활용률을 극대화 시키는 기술이므로 여러 분야에서 각광받고 있다. 가상화는 시스템 위험성 전파 등을 줄임으로써, 보안 노출을 막는 등 여러 장점들이 있다. 하지만, 게스트머신에서 하이퍼바이저로의 잦은 스위치는 가상화 성능을 떨어트린다. 또한, 다수의 가상머신에서 공유될 수 있는 페이지들에 대한 메모리 중복 문제도 존재한다. 우리는 가상화 환경에서 VMEXIT를 줄이고, 메모리를 절약할 수 있는 메모리 중복제거 기술을 제안하고, 이를 정성적으로 성능 평가를 진행하였다.

  • PDF

중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법 (Chunk Placement Scheme on Distributed File System Using Deduplication File System)

  • 김건우;김지홍;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

  • PDF

환자 이력 데이터 분석을 통한 임상 서비스 프로세스 모형 추출 (Extracting Clinical Service Process Models by Analyzing Patient History)

  • 김준우;이상철;박상찬
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.403-404
    • /
    • 2014
  • 원 업무 효율성을 높이기 위해 최근 다양한 병원 정보 시스템들이 도입되어 왔다. 이러한 시스템들을 통해 병원에서는 다양한 데이터를 전자적인 형태로 기록하고 공유하고 있으나, 이러한 데이터들은 일반적으로 간단한 통계량을 집계하는 데에만 사용되고 있어, 보다 체계적인 방법으로 병원 운영 관리에 유용한 숨겨진 지식이나 패턴을 추출하는 방법이 필요하다. 이에 본 논문에서는 기존 병원 정보 시스템들에 의해 축적되어진 환자 이력 데이터를 분석하여 임상 서비스 프로세스 모형을 추출하는 방법을 제안한다. 환자 이력 데이터는 검사나 처방 등을 실시한 기록을 포함하는데, 일반적으로 구조가 복잡하고 데이터 소스가 분산되어 있어 단순한 방법으로 분석하는 것이 까다롭다. 따라서, 본 논문에서는 먼저 단순한 형태의 프로세스 모형을 생성하고 이를 확장해나가는 단계적인 분석 방법을 소개한다. 이러한 목적을 위해 적절한 데이터 전처리, 데이터 마이닝, 프로세스 마이닝 기법 등이 활용되었으며, 제안하는 방법을 실제 류머티스과 환자 이력 데이터에 적용하여 임상 서비스 프로세스 모형을 추출할 수 있었다.

  • PDF

뉴스 중복 제거에 따른 정보 유실 방지하기 위한 중복 뉴스 결합 시스템 (Near Duplicate News Combining System to Prevent Information Loss Due to Deduplication of News)

  • 김태환;최원재;김정선
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.391-392
    • /
    • 2020
  • 본 논문에서는 중복 데이터가 가장 많은 인터넷 뉴스 상에서 중복 뉴스를 제거하는 경우 중복 뉴스로 판단되는 유사 중복 문서를 제거할 때 정보의 유실이 발생한다. 본 논문에서는 인터넷 뉴스를 대상으로 유사 중복 뉴스를 제거할 때 발생하는 정보의 유실을 해결하기 위해 제거 된 뉴스와 결합하여 새로운 뉴스를 만드는 중복 뉴스 결합 시스템을 제안한다. 제안하는 방법은 뉴스의 기본 문장과 탐지된 중복 뉴스의 문장 간의 관계 유사도를 활용하여 유실 된 정보를 파악하고 파악된 결과를 기본 뉴스에 결합하여 정보의 유실을 최소화 시키는 것을 실험을 통해 보였다. 향후 뉴스분야뿐만 아니라 중복 문서 제거가 필요한 문서를 다루는 모든 분야에서 정보의 유실을 최소화하기 위한 방법으로 활용할 수 있을 것으로 기대 한다.

  • PDF

안전한 데이터 중복 처리 기술 연구 동향

  • 윤택영
    • 정보보호학회지
    • /
    • 제31권2호
    • /
    • pp.45-51
    • /
    • 2021
  • 중복 제거 기술(Deduplication)은 동일한 데이터에 대하여 중복 저장을 방지함으로써 다수의 클라이언트가 공용으로 사용하는 서버의 저장 성능을 향상하기 위한 기술이다. IT 서비스에서 사용되는 데이터의 크기 및 양이 증대함에 따라 중복 제거 기술의 중요성은 더욱 높아지고 있다. 모든 사용자를 신뢰할 수 있는 환경에서는 다수의 사용자가 동일 데이터를 저장하고자 하는 경우, 외부 서버에 하나의 데이터만 저장하고 반복된 데이터 저장 요청에 대해서는 해당 데이터에 대한 소유권만 인정하는 방식으로 중복 데이터 관리의 효율성을 높일 수 있다. 그러나 다양한 목적으로 악의적인 행위를 수행하는 공격자에 의해 특정 시스템의 작은 취약점도 해당 시스템 기반으로 제공되는 서비스들의 안전성을 훼손하기 위해 악용될 수 있고, 중복 제거 기술도 이러한 위협에 노출되어 있다. 본 논문에서는 중복 제거 기술을 대상으로 알려져있는 공격 방법에 대해 살펴보고, 안전하게 데이터 중복 처리를 제공하기 위한 요소 기술 및 관련 기술 동향에 대해 소개하고자 한다.

클라우드 환경에서 데이터 중복제거를 활용한 효율적인 데이터 동기화 알고리즘 설계 (Using Data Deduplication In A Cloud Environment, Efficient Data Synchronization Algorithm Design)

  • 임광수;박석천;김용희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.626-628
    • /
    • 2015
  • 빅 데이터의 시대가 도래 하면서 데이터의 양이 기하급수적으로 증가 하고 있으며, 이에 따라 데이터를 효율적으로 처리하는 기술의 중요성이 부각 되고 있다. 데이터를 효율적으로 처리하기 위한 기술 중 하나인, 데이터 중복제거 기술은 저장 시스템 공간을 효율적으로 사용 할 수 있게 할 뿐만 아니라, 네트워크 환경에서 전송되는 데이터의 양도 획기적으로 줄여 주어 통신비용을 절감하게 한다. 기존의 데이터 중복제거 기술과 데이터 동기화 기법을 분석하고, 이를 바탕으로 클라우드 환경에서 데이터 중복제거를 통한 효율적인 데이터 동기화 기법을 제안하고자 한다.

클라우드 컴퓨팅에서 중복제거를 위한 수렴 암호화 키 생성에 관한 연구 (Survey on the Key Generation of the Convergent Encryption for Deduplication in Cloud Computing)

  • 성기웅;이병도;박효민;신상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.730-732
    • /
    • 2015
  • 데이터 중복 제거 기술은 클라우드 스토리지에 저장되어 있는 중복된 데이터들 중에 하나의 데이터만 저장하는 기술로, 클라우드 스토리지 서비스에서 저장효율을 높이기 위한 핵심적인 기술 중 하나이다. 하지만 아웃소싱된 데이터가 암호화가 되지 않으면 기밀성을 유지하지 못해 프라이버시에 큰 영향을 끼치게 된다. 데이터를 암호화하여 아웃소싱하는 경우에는 암호문의 특성으로 인해 중복 제거 기술이 적용하기 힘든 단점을 가지고 있으며 이를 위해 수렴 암호화를 사용한다. 본 논문에서는 수렴 암호화로 암호화된 데이터에 대해 중복제거 기술을 적용하는 여러 제안모델을 분석하고, 개선방안을 제시한다.

클라우드 스토리지 환경을 위한 안전하고 효율적인 암호데이터 중복제거 기술 (A Safe and Efficient Secure Data Deduplication for Cloud Storage Environment)

  • 김원빈;이임영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.714-717
    • /
    • 2015
  • 기존의 암호데이터 중복제거 기술은 데이터의 중복 여부를 판단하기 위해 다양한 방식으로 데이터를 전송하고 이를 기존에 저장된 데이터와 비교하여 중복여부를 판단하게 된다. 이러한 데이터 중복제거 기술의 중복제거 효율성을 높이기 위해 최근 블록 단위의 중복제거 기술이 사용되고 있다. 하지만 블록 단위 중복제거 기술의 적용 과정에서 다양한 보안 위협이 발생하는데, 이 중 포이즌 어택은 무결성 및 데이터 저장 시 저장되는 데이터에 대한 검증이 이루어지지 않는 시스템에서 발생하는 위협 중 하나이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 연구되어 제안되었지만 과도하게 많은 통신 횟수와 연산이 발생되어 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량에서 보다 효율적인 암호데이터 중복제거 기술을 제안한다.

SSD의 마모도 감소를 위한 복합적 데이터 중복 제거 기법 (Hybrid Data Deduplication Method for reducing wear-level of SSD)

  • 이승규;양유석;김덕환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.543-546
    • /
    • 2011
  • SSD는 일반적으로 사용되는 HDD와는 달리 기계적 동작이 없는 반도체 메모리를 사용하여 데이터를 저장하는 장치이다. 플래시 기반의 SSD는 읽기 성능이 뛰어난 반면 덮어쓰기 연산이 안되는 단점이 있다. 즉 마모도가 존재하여 SSD의 수명에 영향을 준다. 하지만 HDD보다 뛰어난 성능 때문에 노트북이나 중요한 데이터 등을 다루는 시스템 등에서 많이 사용하고 있다. 본 논문에서는 이러한 SSD를 서버 스토리지로 사용할 때 기존의 데이터 중복 제거 기법의 장점만을 조합한 복합적 데이터 중복 제거 기술을 제안하고 이 기법이 SSD의 마모도 측면에서 훨씬 효율적임을 검증하였다.