• Title, Summary, Keyword: 웹마이닝

Search Result 299, Processing Time 0.049 seconds

Modeling a Multi-Agent based Web Mining System on the Hierarchical Web Environment (계층적 웹 환경에서의 멀티-에이전트 기반 웹 마이닝 시스템 설계)

  • Yoon, Hee-Byung;Kim, Hwa-Soo
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.13 no.6
    • /
    • pp.643-648
    • /
    • 2003
  • In order to provide efficient retrieving results for user query on the web environment, the various searching algorithms have developed and considered user's preference and convenience. However, the searching algorithms are developed on the horizontal and non hierarchical web environment in general and could not apply to the complex hierarchical and functional web environments such like the enterprise network. In this paper, we purpose the multi-agent based web mining system which can provide the efficient mining results to the user on the special web environment. For doing this, we suggest the network model with the hierarchical web environment and model the multi agent based web mining system which has four corporation agents and fourteen process modules. Then, we explain the detailed functions of each agent considered the hierarchical environment according to the module. Especially, we purpose the new merging agent and improved ranking algorithm by using the graph theory.

Design and Implementation of a Web Mining System Using WMSQL (WMSQL을 이용한 Web Mining System의 설계 및 구현)

  • 최성경;박민호;이근호;백인구;한기준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • /
    • pp.166-168
    • /
    • 2000
  • World-Wide Web(WWW)이 발전하면서 웹으로부터 사용자가 원하는 정보를 효과적으로 찾기 위한 정보검색 방법론이 연구가들로부터 중요한 이슈로서 대두되었고 이에 기반하여 여러 상용 정보검색 시스템들이 등장하게 되었다. 그러나, 이러한 정보검색 시스템들은 웹에 존재하는 데이터의 비구조화와 다양성, 사용자의 다양성, 그리고 정보의 질과 양이 문제로 인하여 사용자의 의도와 요구에 맞는 정보를 구하기 어렵다. 또한, 웹 상의 많은 데이터들로부터 단순히 일반적인 정보만을 얻어 이용할 뿐 효과적인 지식의 탐사나 관리 기능을 갖고 있지 않다. 본 논문에서는 이전의 정보검색 시스템들이 갖는 문제점을 분석하고 이를 보완하고자 웹에 대한 지식 발견(Knowledge Discovery)의 새로운 시도인 웹 마이닝(Web Mining)에 대한 관련 연구를 토대로 웹 마이닝 시스템을 설계 및 구현한다. 특히, 사용자의 의도를 정확히 전달하기 위하여 기존의 SQL 과 유사한 형태의 질의어인 WMSQL을 사용하여 웹 문서의 내용에 직접적인 웹 마이닝을 수행하는 Web Content Mining을 개발함으로서 웹의 비구조화된 데이터로부터 의미있고 함축적인 지식을 추출할 수 있도록 한다.

  • PDF

User Identification and Session completion in Input Data Preprocessing for Web Mining (웹 마이닝을 위한 입력 데이타의 전처리과정에서 사용자구분과 세션보정)

  • 최영환;이상용
    • Journal of KIISE:Software and Applications
    • /
    • v.30 no.9
    • /
    • pp.843-849
    • /
    • 2003
  • Web usage mining is the technique of data mining that analyzes web users' usage patterns by large web log. To use the web usage mining technique, we have to classify correctly users and users session in preprocessing, but can't classify them completely by only log files with standard web log format. To classify users and user session there are many problems like local cache, firewall, ISP, user privacy, cookey etc., but there isn't any definite method to solve the problems now. Especially local cache problem is the most difficult problem to classify user session which is used as input in web mining systems. In this paper we propose a heuristic method which solves local cache problem by using only click stream data of server side like referrer log, agent log and access log, classifies user sessions and completes session.

Design of the web data mining system and definition of useful access patterns (웹 마이닝 시스템 설계 및 유용한 접근 패턴 정의)

  • 김종달;김성민;남도원;이동하;이전영
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • /
    • pp.283-291
    • /
    • 2000
  • 인터넷 서비스 제공자들이 관심을 가지고 있는 것 중 하나는 인터넷 사용자들의 서비스 이용 패턴과 경향을 분석하는 것이다. 이를 통해 매출 증대와 실제 경영에 도움이 되는 사용자의 특성을 이해할 수 있기 때문이다. 이와 관련된 기본적인 접근방법은 사용자가 웹 서버에 접근했을 때 서버에 남는 웹 로그를 분석하여 사용자 패턴을 분석하는 것이다. 웹 로그 분석에 전형저인 통계기법이 사용되고 있다. 그러나 단순 통계 기법만으로는 알려지지 않는 데이터들 사이에 숨겨진 유용한 정보를 찾는 데에는 한계가 있다. 최근에는 이러한 한계를 극복하기 위해 데이터 마이닝 기술을 이용한 새로운 접근 방법이 시도되고 있다. 그러나 실제로 웹 로그에서부터 데이터 마이닝 기술을 이용하는 데에는 전처리 과정의 어려움과 실제 유용한 패턴을 어떻게 정의하는 가가 어려운 문제이다. 본 연구에서는 로(raw) 데이터인 웹 로그에서 유용한 패턴을 찾기 위한 전처리 과정을 알아보고, 웹 마이닝 시스템에 적합한 트랜잭션의 데이터 구조를 제시한다. 그리고 정의된 데이터 구조를 통한 패턴 발견 과정인 웹 사이트의 개념계층을 이용한 통계 기법과 연관규칙(Association Rules) 탐사에 대해 알아본다. 마지막으로 정의된 데이터 구조를 통한 새로운 유용한 패턴을 정의한ㄷ.

  • PDF

User Access Patterns Discovery based on Apriori Algorithm under Web Logs (웹 로그에서의 Apriori 알고리즘 기반 사용자 액세스 패턴 발견)

  • Ran, Cong-Lin;Joung, Suck-Tae
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.12 no.6
    • /
    • pp.681-689
    • /
    • 2019
  • Web usage pattern discovery is an advanced means by using web log data, and it's also a specific application of data mining technology in Web log data mining. In education Data Mining (DM) is the application of Data Mining techniques to educational data (such as Web logs of University, e-learning, adaptive hypermedia and intelligent tutoring systems, etc.), and so, its objective is to analyze these types of data in order to resolve educational research issues. In this paper, the Web log data of a university are used as the research object of data mining. With using the database OLAP technology the Web log data are preprocessed into the data format that can be used for data mining, and the processing results are stored into the MSSQL. At the same time the basic data statistics and analysis are completed based on the processed Web log records. In addition, we introduced the Apriori Algorithm of Web usage pattern mining and its implementation process, developed the Apriori Algorithm program in Python development environment, then gave the performance of the Apriori Algorithm and realized the mining of Web user access pattern. The results have important theoretical significance for the application of the patterns in the development of teaching systems. The next research is to explore the improvement of the Apriori Algorithm in the distributed computing environment.

Web Navigation Mining by Integrating Web Usage Data and Hyperlink Structures (웹 사용 데이타와 하이퍼링크 구조를 통합한 웹 네비게이션 마이닝)

  • Gu Heummo;Choi Joongmin
    • Journal of KIISE:Software and Applications
    • /
    • v.32 no.5
    • /
    • pp.416-427
    • /
    • 2005
  • Web navigation mining is a method of discovering Web navigation patterns by analyzing the Web access log data. However, it is admitted that the log data contains noisy information that leads to the incorrect recognition of user navigation path on the Web's hyperlink structure. As a result, previous Web navigation mining systems that exploited solely the log data have not shown good performance in discovering correct Web navigation patterns efficiently, mainly due to the complex pre-processing procedure. To resolve this problem, this paper proposes a technique of amalgamating the Web's hyperlink structure information with the Web access log data to discover navigation patterns correctly and efficiently. Our implemented Web navigation mining system called SPMiner produces a WebTree from the hyperlink structure of a Web site that is used trl eliminate the possible noises in the Web log data caused by the user's abnormal navigational activities. SPMiner remarkably reduces the pre-processing overhead by using the structure of the Web, and as a result, it could analyze the user's search patterns efficiently.

Webdrama Analysis and Recommendation using Text Mining and Opinion Mining Technique of Social Media (소셜미디어 빅데이터의 텍스트 마이닝과 오피니언 마이닝 기법을 활용한 웹드라마 분석과 제안)

  • Oh, Se-Jong;Kim, Kenneth Chi Ho
    • Cartoon and Animation Studies
    • /
    • /
    • pp.285-306
    • /
    • 2016
  • With the increase use of smartphones, users can consume contents such as webtoon, webnovel and TV drama directly provided by the producers. In this Direct-to-Consumer era, webdrama services from the portal websites are increasing rapidly. Webdramas such as , , and can be analyzed in real time using responses such as unique users, likes, and comments. The analyses used in this research were Social Media Big Data Mining Method and Opinion Mining Method. Specific key words from webdrama can be extracted and viewers positive, neutral or negative emotion can be predicted from the words. The analyses of popular webdramas showed that the established K-Pop Idol member appearance and servicing portal site greatly influence the views, traffics, comments, and likes. Also, 'Mobile TV' proved the effectiveness as another platform other than television. Mobile targeted contents and robust business models still to be developed and identified. Overcoming these few tasks, Korea will be proven to be a webdrama content powerhouse.

Design and Implementation for the Effective Web (효율적인 웹 마이닝 시스템의 설계 및 구현)

  • 김형욱;최익규;김민구
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • /
    • pp.303-307
    • /
    • 2002
  • 효율적인 웹 마이닝을 위해서는 방대한 인터넷 공간에서 사용자가 원하는 정보를 찾아내고, 이들 중 보다 유용하다고 판단되어진 자료를 선별적으로 제시할 수 있어야 한다. 본 논문에서는 웹 컨텐츠 분석과 HTML 문서들 사이의 링크 연결의 패턴 분석을 기반으로 하는 웹 구조 분석 방법들을 검토하고, 웹 검색 시스템을 구현하여 결과를 분석하였다. 이를 위해 웹 문서의 내용을 인덱싱한 뒤 질의와의 관련성의 확률을 구하는 랭귀지 검색 모델에 링크 구조 분석을 이용한 순위 알고리즘을 사용하여 좋은 결과를 얻고자 하였다. 또한 기존의 링크 관련 알고리즘에서 알려진 문제점을 해결하기 위한 몇가지 테크닉을 사용하였다.

  • PDF

Real-time Web-Sewer Intrusion Detection Using Web-Log Mining (웹 로그 마이닝을 통한 실시간 웹 서버 침입 탐지)

  • 진홍태;박종서
    • Proceedings of the Korean Information Science Society Conference
    • /
    • /
    • pp.313-315
    • /
    • 2004
  • 인터넷 사용이 보편화됨에 따라 기존의 방화벽만으로는 탐지가 불가능한 웹 서비스의 취약점을 이용한 공격이 증가하고 있다. 그 중에서도 특히 웹 어플리케이션의 프로그래밍 오류를 이용한 침입이 공격 수단의 대부분을 차지하고 있다. 본 논문에서는 웹 어플리케이션의 동작을 분석한 후 취약점 발생 부분에 대해 웹 로그 마이닝 기법을 사용하여 실시간으로 로그를 분석함으로서 공격 패턴을 비교ㆍ분석한다. 또한 프로세스 분석기를 통한 결정(decision) 과정을 통해 침입으로 판단되면 해당 접속 프로세스(pid)를 제거 한 후 공격 아이피를 차단함으로서 침입을 탐지하는 메커니즘을 제시한다.

  • PDF

Web Access Pattern Mining considering Page Visiting Duration Time (페이지 소요 시간을 고려한 웹 액세스 패턴 마이닝)

  • 성현정;용환승
    • Proceedings of the Korean Information Science Society Conference
    • /
    • /
    • pp.55-57
    • /
    • 2001
  • 웹로그 마이닝은 대용량의 웹로그 데이터로부터 웹액세스 패턴을 추출함으로써 사용자의 행등 패턴을 찾아내는데 이러한 작업은 웹사이트 설계상의 문제점 등을 발견 및 보완하거나 사용자에게 개인화 페이지를 제공하는데 이용될 수 있다. 사용자의 관심도를 반영하는 웹액세스 패턴을 추출할 때 페이지의 액세스 횟수 뿐만 아니라 페이지의 소요 시간까지 고려함으로써 더욱 정확한 액세스 패턴을 추출하는 것이 본 논문의 목적이다.

  • PDF