Abstract
While numerous information services are provided on the Web as a core infrastructure of information society, semantic services using the Semantic Web technologies still stay deployed number and application range. This situation would be mainly originated from the failure of securing reliability to the user. Thus, this paper introduces an evaluation method for measuring reliabilities of the semantic services comparatively. To measure the reliability of the compared systems, the observer assesses 'precision in task performance' as a quantitative analysis and 'reliability of expectation-result' as a qualitative analysis described by the test persons. On the other hand, the test person should rate the functional reliability and reliability of the served information on the vector graph by himself with a scale from 0 to 5. Experimental results show that assessment by the observer is very similar to rating value by test persons, and that the accuracy of the served information has a close effect on the functional reliability. Through this paper, we can verify the essential factors for evaluating the reliability of semantic service systems. These are functional reliability and reliability of served information resulting from function execution. In particular, it has been proven that the reliability of the semantic information services largely influences the "Quality in Use" and therefore determines the major factors of the semantic service reliability.
정보화 사회 핵심 인프라인 웹 상에서 수많은 정보 서비스가 제공되고 있지만, 차세대 웹이라 일컫는 시맨틱 웹 기술을 활용한 시맨틱 서비스는 그 숫자나 서비스 제공 범위에 대한 공감대에 있어서 아직 성숙되지 못한 상태이다. 본 연구는 2개의 시맨틱 서비스들의 동일한 세 가지 기능들을 비교 평가하는 방식으로 시맨틱 서비스를 개발함에 있어 반드시 고려해야 할 신뢰성을 어떻게 측정할 수 있을 것인지 그 방법을 제시하고 있다. 비교 대상 시스템의 신뢰성 측정을 위해, 피실험자의 기대-결과 신뢰성과 작업 정확도 측정이 관찰자 관점에서 수행되었으며, 다른 한편으로, 기능적 신뢰성과 정보 신뢰성 스칼라 값(0~5)을 피실험자 스스로 벡터 그래프에 나타내도록 하였다. 실험결과는 관찰자에 의한 평가 값과 피실험자에 의한 평가 값이 매우 유사함을 보여 주었으며, 서비스된 정보의 정확성과 작업 수행의 만족성이 사용자 관점에서 상호 밀접한 관계를 가진다는 사실을 확인하여 주었다. 본 연구 결과를 통하여, 우리는 시맨틱 서비스가 제공하는 기능적 신뢰성과 기능 수행의 결과로 서비스되는 정보에 대한 신뢰성이 정보 시스템의 신뢰성 평가를 위한 필수적 요소임을 알 수 있었다. 특히, 신뢰성은 시맨틱 정보 서비스에서 사용상 품질 (Quality in Use)을 의미한다고 볼 수 있으며, 결과적으로 서비스의 사용상 품질을 결정하는 중요한 요소임을 실증하였다.
