• 정보보호학회논문지
• /
• 제27권4호
• /
• pp.981-987
• /
• 2017

클라우드 컴퓨팅의 대중화로 개인 및 기업의 로컬 저장소에서 관리되던 데이터가 클라우드 스토리지 등 제 3의 공간에 아웃소싱 되면서 유지, 관리 비용의 절감 효과를 얻을 수 있게 됨과 동시에, 다수의 원격저장 서비스 제공자는 공간 자원의 효율화를 위하여 아웃소싱된 데이터의 중복제거 기법을 도입하고 있다. 동일 데이터의 중복성 판단에 해시 트리가 사용되는 경우에는 검증 데이터의 크기 및 트리의 일부 정보에 대한 부채널이 존재하게 되는데, 이로부터 특정 데이터에 대한 정보 수집 및 검증의 우회 가능성이 증가하게 된다. 이러한 부채널로 인한 검증의 유효성 문제를 개선하기 위하여, 본 논문에서는 멀티 셋 해시함수를 이용한 동일성 검증 기법을 제시한다.

• 스마트미디어저널
• /
• 제4권4호
• /
• pp.33-38
• /
• 2015

부 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근 네트워크 대역폭의 효율적인 사용을 위해 클라이언트측 중복제거 기술이 주목을 받으면서 다양한 클라이언트 측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트 측 소스기반 중복제거 기술을 제안한다.

• 디지털융복합연구
• /
• 제14권2호
• /
• pp.175-181
• /
• 2016

클라우드 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근 네트워크 대역폭의 효율적인 사용을 위해 클라이언트 측 중복제거 기술이 주목을 받으면서 다양한 클라이언트 측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트 측 소스기반 중복제거 기술을 제안한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.322-325
• /
• 2017

급격한 데이터의 증가로 인해 효율적으로 데이터를 관리하기 위한 다양한 연구가 진행되고 있다. 2025년 데이터의 총량은 163 ZB 이상으로 증가하고, 그 중 1/4 이상의 데이터는 실시간 데이터가 될 것이라 전망한다. 대용량의 저장장치가 HDD에서 SSD로 바뀌고 있는 추세로, SSD에서 데이터를 효과적으로 관리하기 위한 별도의 방안이 필요하다. 본 논문은 현재까지의 Flash-SSD 관련 시스템 구조 및 데이터 관리 방법 중 중복 제거 관리 방법에 관련한 연구들을 탐색한다. 그리고 중복 제거기법을 적용한 어플리케이션 레벨의 사용자 파일 시스템을 제안하여, 저장 장치의 용량 확보, 성능 저하 및 불필요한 트래픽 최소화 등의 효과를 가져 올 수 있음을 기대한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권6호
• /
• pp.3238-3257
• /
• 2019

Closed-circuit television (CCTV) technology continuously captures and stores video streams. Users are typically required by policy to store all the captured video for a certain period. Accordingly, increasing the number of CCTV operation cycles and photographing positions expands the amount of data to be stored. However, expanding the available storage space for video data incurs increased costs. In recent years, this problem has been addressed with cloud storage solutions, which enable multiple users and devices to access and store data simultaneously. However, because of the large amount of data to be stored, a vast storage space is required. Consequently, cloud storage administrators need a way to store data more efficiently. To save storage space, deduplication technology has been proposed to prevent duplicate storage of the same data. However, because cloud storage is hosted on remote servers, data encryption technology must be applied to address data exposure issues. Although deduplication techniques for encrypted data have been studied, there have been various security vulnerabilities. We attempted to solve this problem by addressing various issues such as poison attacks, property forgery, and ownership management while removing the redundant data and handling the data more securely.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.379-381
• /
• 2012

중복 제거(deduplication)기법은 저장장치의 공간을 효율적으로 사용할 수 있도록 해 주기 때문에 기존의 스토리지 시스템에서 많이 사용된 기법이다. 최근에는 플래시 메모리 기반의 SSD를 위한 중복 제거 기법도 많이 제안되었지만, 플래시 메모리의 특성을 고려하지 못하고 있다. 본 논문에서는 오프라인 중복 제거 기법을 대상으로 SSD의 특성을 고려하여 가비지 컬렉션의 비용을 절감할 수 있도록 중복 가능성이 있는 데이터와 중복 가능성이 없는 데이터를 온라인에 구분하여 플래시 메모리의 다른 영역에 기록하여 오프라인 중복 제거 후에 가비지 컬렉션 성능을 향상시키는 기법을 제안하였다. 실험결과, 제시된 기법은 가비지 컬렉션 비용인 페이지 이동 횟수를 약 80%이상 감소시켰다.

• Journal of Information Processing Systems
• /
• 제15권4호
• /
• pp.967-985
• /
• 2019

Bug report processing is a key element of bug fixing in modern software maintenance. Bug reports are not processed immediately after submission and involve several processes such as bug report deduplication and bug report triage before bug fixing is initiated; however, this method of bug fixing is very inefficient because all these processes are performed manually. Software engineers have persistently highlighted the need to automate these processes, and as a result, many automation techniques have been proposed for bug report processing; however, the accuracy of the existing methods is not satisfactory. Therefore, this study focuses on surveying to improve the accuracy of existing techniques for bug report processing. Reviews of each method proposed in this study consist of a description, used techniques, experiments, and comparison results. The results of this study indicate that research in the field of bug deduplication still lacks and therefore requires numerous studies that integrate clustering and natural language processing. This study further indicates that although all studies in the field of triage are based on machine learning, results of studies on deep learning are still insufficient.

• 전자공학회논문지
• /
• 제50권2호
• /
• pp.143-151
• /
• 2013

낸드 플래시 기반 SSD(Solid State Drive)는 빠른 입출력 성능, 저전력 등의 장점을 가지고 있어, 타블릿, 데스크탑 PC, 스마트폰, 서버 등의 저장장치로 널리 사용되고 있다. 하지만 SSD는 쓰기 횟수에 따라서 마모도가 증가하는 단점이 있다. SSD의 수명을 향상시키기 위해 다양한 데이터 중복제거 기법이 도입되었으나, 일반적인 고정 크기 분할방식은 데이터의 지역성을 고려하지 않고 청크크기를 할당함으로써, 불필요한 청킹 및 해시값 생성을 수행하는 문제점이 있으며, 가변 크기 분할방식은 중복제거를 위해 바이트 단위로 비교하여 과도한 연산량을 유발한다. 본 논문에서는 SSD 기반 서버급 스토리지에서 쓰기 요청된 데이터의 지역성에 기반한 적응형 청킹 정책을 제안한다. 제안한 방법은 중복데이터가 가지는 응용프로그램 및 파일 이름 기반 지역성에 따라 청크 크기를 4KB 또는 64KB로 적응적으로 분할하여, 청킹 및 해시값 생성에 따른 오버헤드를 감소시키고, 중복 쓰기를 방지한다. 실험결과, 제안하는 기법이 기존의 가변 크기 분할 및 4KB의 고정 크기 분할을 이용한 중복제거기법보다 SSD의 쓰기 성능이 향상되고 전력 소모 및 연산시간을 감소시킬 수 있음을 보여준다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.223-226
• /
• 2014

클라우드 컴퓨팅 및 모바일 통신 서비스의 사용량이 급격히 증가함에 따라 데이터가 기하급수적으로 증가하고 있다. 이러한 데이터를 저장하는 스토리지 장치로서 소비 전력이 작으며 우수한 데이터 접근 성능을 보이는 SSD(Solid State Disk)가 각광받고 있다. SSD는 다수의 NAND 플래시 메모리를 부착하고 호스트에서 요구하는 명령을 받아 수행하는 대용량 장치이다. 이러한 SSD는 비휘발성, 빠른 성능, 내구성, 저전력 등의 장점으로 인해 시장에서 널리 사용되고 있다. 그러나 이러한 SSD의 장점들에도 불구하고 읽기, 쓰기, 삭제 연산 수행 시간의 비대칭성과 불균등한 기본단위, 덮어쓰기 연산의 불가, 한정된 블록 당 삭제횟수 등의 NAND 플래시 메모리의 내재적 단점들이 존재한다. 그 중 NAND 플래시 메모리의 블록 당 한정된 삭제 횟수는 SSD의 수명에 영향을 끼치며 일정한 삭제 횟수를 초과하게 되면 안정성이 크게 떨어지게 되고 더 이상 사용이 불가능하게 된다. 따라서 본 논문에서는 클라우드 환경에서의 SSD에서 NAND 플래시 블록의 한정된 삭제 횟수에 따른 성능의 효율성을 향상시키기 위하여 중복 제거 기법을 적용한 SSD기반의 회복 효율성 최적화 시스템을 설계하였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제9권3호
• /
• pp.45-58
• /
• 2020

클라우드 서비스와 모바일 기기의 대중화로 네트워크 트래픽이 계속 증가하고 있는 현재 추세에 LAN 대역폭에 비해 WAN 대역폭이 아주 낮다. WAN 환경에서는 전송 프로토콜, 패킷 손실, 네트워크 대역폭 한계 때문에 생기는 성능 문제를 극복하는 WAN 최적화기가 필요하다. 본 논문에서는 오픈소스 WAN 최적화기인 WANProxy의 데이터 중복제거 알고리즘을 분석하고 성능을 네트워크 대기시간 및 WAN 대역폭 관점에서 평가한다. 또한, WANProxy에 추가로 zstd를 적용하는 2단계 압축을 적용할 경우의 성능을 평가한다. 또한, WANProxy의 데이터 중복 제거 방법을 개선한 새로운 방법을 제안하고 성능 개선 효과를 평가한다. 데이터 세그먼트 크기를 2048바이트로 하고 Silesia의 12개 데이터 파일을 이용한 성능 실험을 수행한다. 실험 결과에 의하면, WANProxy에 의한 평균 압축률이 150.6이고 네트워크 대기시간 평균 감소율은 10 Mbps WAN 환경에서는 95.2%, 100 Mbps WAN 환경에서는 60.7%가 된다. WANProxy에 추가로 zstd를 적용하는 방법은 WANProxy를 적용하는 경우와 비교할 때 압축률이 평균 33% 증가하지만 네트워크 대기시간이 10 Mbps WAN 환경에서는 평균 2.1%, 100 Mbps WAN 환경에서는 평균 5.2% 각각 증가한다. 본 논문에서 제안한 개선 방법을 WANProxy에 적용한 경우는 기존의 WANProxy와 비교할 때 압축률이 평균 34.8% 증가하고 네트워크 대기시간이 10 Mbps WAN 환경에서는 평균 13.8%, 100 Mbps WAN 환경에서는 평균 12.9% 각각 감소한다. 성능 분석 결과에 의하면, WAN 대역폭이 10 Mbps 이하인 환경에서 WANProxy를 적용할 경우 네트워크 대기시간과 WAN 대역폭 관점에서 성능 개선 효과가 아주 우수하고 WAN 대역폭이 100 Mbps 환경에서도 우수하다.