Journal of the Korean Society for information Management (정보관리학회지)

Korean Society for Information Management (한국정보관리학회)
권호 표지

A Study on the Measurement of the system effectiveness with ranked results

순위화시스템의 효과측정척도에 관한 연구

  • 노정순 (한남대학교 문헌정보학과)
  • Published : 2000.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

This study discussed why Precision(& Recall) is not a good effectiveness measurement of IR system providing ranked results, reviewed other effectiveness measurements appropriate for ranked results, and proposed new measurements based on the average rank of relevant documents retrieved. The 18 case-sets of ranked results were used for evaluating 10 effectiveness measurements including proposed measurements. Simple measurements were significantly similar with the 11-Point Precision requiring complicated calculation.

본 연구는 IR시스템 평가에 가장 많이 사용되는 R과 P가 순위화된 검색결과를 제공하는 시스템의 효과를 측정하는데 적절한가를 논의하고, R과 P 대신 순위화된 검색결과를 평가하는데 사용되고 있는 평가척도들을 고찰하고, 새로운 평가척도를 제안하였다. 또한 이들 평가척도가 어떤 환경에서 타당한지를 이론적으로 규명하고 사례를 들어 검증하였다. 11-포인트 평균정확률(평균)이 11-포인트 평균정확률(최고)보다 판별력이 있는 것으로 나타났고, 보다 간편한 여러 측정척도가 11-포인트 평균정확률을 대신할 수 있을 정도로 충분히 유사도가 높은 것으로 검증되었다.

Keywords

References

  1. 정보관리학회지 v.16 no.1 P-norm 검색의 문헌순위화기법에 관한 실험적 연구 고미영;정영미
  2. 한국문헌정보학회지 v.31 no.2 네트웍 데이터베이스에서의 주제별 디렉토리와 키워드 검색엔진의 검색효율에 관한 탐색적 연구 이명희
  3. 한국문헌정보학회지 v.32 no.3 교육학 분야 주제전문가와 탐색전문가의 인터넷 검색엔진을 사용한 정보탐색 형태 비교 연구 이명희
  4. 제4회 한국정보관리학회 학술대회 논문집 WWW 탐색도구의 검색성능에 관한 실험적 연구 이은주;정영미
  5. 한국문헌정보학회지 v.34 no.2 국내 인터넷 탐색엔진에 대한 이용자 중심의 평가에 관한 연구: 한글 알타비스타와 네이버를 중심으로 오삼균;박희진
  6. 제5회 한국정보관리학회 학술대회논문집 웹 검색엔진의 피드백 기능 평가 우유미;정영미
  7. 한국문헌정보학회지 v.31 no.1 WWW 탐색도구의 색인 및 탐색기능 평가에 관한 연구 정영미;김성은
  8. Information Processing & Management v.35 Discriminating Meta-Search: a Framework for Evaluation Chignell, Mark H.;Jacek Gwizdka;Richard C. Bodner
  9. ASIS 1996 Annual Conference Proceedings, Baltimore, MD, October 19-24, 1996 Search Engines for the World Wide Web:A Comparative Study and Evaluation Methodology Chu,H.;M.Rosenthal
  10. Information Processing and Management v.36 Relevance Ranking for One to Three Term Queries Clarke, Charles L. A.(et al.)
  11. Aslib proceedings v.49 no.7 Estimating the Recall Performance of Web Search Engines Clarke,W.;P.Willett
  12. JASIS v.19 Expected Search Length : A Single Measure of Retrieval Effectiveness Based on Weak Ordering Action of Retrieval Systems Cooper,W.S.
  13. ASIS 1996 Annual conference Proceedings, Baltimore, MD, October 19-24, 1996 A Comparative Study of Web Search Service Performance Ding,W.;G.Marchionini
  14. JASIS v.44 no.1 Multiversion Information Retrieval Systems and Feedback with Mechanism of Selection Frants,V.;J.Shapiro;V.G.Voiskunskii
  15. Webnet 96 Conference, San Francisco, CA, October 15-19, 1996 Information Fusion with Profusion Gauch,S.;G.Wang
  16. JASIS v.50 no.10 First 20 Precision Among World Wide Web Search Services(Search Engines) Leighton,H.V.;J.Srivastava
  17. Information Processing & Management v.30 no.2 Upper Bounds for Retrieval Performance and Their Use Measuring Performance and Generating Optimal Boolean Queries: Can It Get Any Better Than This Losee,R.M.
  18. J. of Documentation v.56 no.2 The Evaluation of WWW Search Engines Lowley,S.
  19. Computers in Libraries v.16 no.6 An Analysis of Internet Search Engines: Assessment of Over 200 Search Queries Timaiuolo,N.G.;J.G.Packer