• 제목/요약/키워드: audiovisual data

검색결과 33건 처리시간 0.033초

KMSAV: Korean multi-speaker spontaneous audiovisual dataset

  • Kiyoung Park;Changhan Oh;Sunghee Dong
    • ETRI Journal
    • /
    • 제46권1호
    • /
    • pp.71-81
    • /
    • 2024
  • Recent advances in deep learning for speech and visual recognition have accelerated the development of multimodal speech recognition, yielding many innovative results. We introduce a Korean audiovisual speech recognition corpus. This dataset comprises approximately 150 h of manually transcribed and annotated audiovisual data supplemented with additional 2000 h of untranscribed videos collected from YouTube under the Creative Commons License. The dataset is intended to be freely accessible for unrestricted research purposes. Along with the corpus, we propose an open-source framework for automatic speech recognition (ASR) and audiovisual speech recognition (AVSR). We validate the effectiveness of the corpus with evaluations using state-of-the-art ASR and AVSR techniques, capitalizing on both pretrained models and fine-tuning processes. After fine-tuning, ASR and AVSR achieve character error rates of 11.1% and 18.9%, respectively. This error difference highlights the need for improvement in AVSR techniques. We expect that our corpus will be an instrumental resource to support improvements in AVSR.

Incomplete Cholesky Decomposition based Kernel Cross Modal Factor Analysis for Audiovisual Continuous Dimensional Emotion Recognition

  • Li, Xia;Lu, Guanming;Yan, Jingjie;Li, Haibo;Zhang, Zhengyan;Sun, Ning;Xie, Shipeng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권2호
    • /
    • pp.810-831
    • /
    • 2019
  • Recently, continuous dimensional emotion recognition from audiovisual clues has attracted increasing attention in both theory and in practice. The large amount of data involved in the recognition processing decreases the efficiency of most bimodal information fusion algorithms. A novel algorithm, namely the incomplete Cholesky decomposition based kernel cross factor analysis (ICDKCFA), is presented and employed for continuous dimensional audiovisual emotion recognition, in this paper. After the ICDKCFA feature transformation, two basic fusion strategies, namely feature-level fusion and decision-level fusion, are explored to combine the transformed visual and audio features for emotion recognition. Finally, extensive experiments are conducted to evaluate the ICDKCFA approach on the AVEC 2016 Multimodal Affect Recognition Sub-Challenge dataset. The experimental results show that the ICDKCFA method has a higher speed than the original kernel cross factor analysis with the comparable performance. Moreover, the ICDKCFA method achieves a better performance than other common information fusion methods, such as the Canonical correlation analysis, kernel canonical correlation analysis and cross-modal factor analysis based fusion methods.

중학생의 성교육 실태 및 프로그램 효과분석 (Condition and Effect of Sex Education Program for Korean Middle School Students)

  • 문인옥;윤영옥;김노을
    • 한국학교ㆍ지역보건교육학회지
    • /
    • 제8권1호
    • /
    • pp.1-11
    • /
    • 2007
  • Objectives: School must provide the proper sex education to students, thereby, the students for have right standards of sexuality and preventing from sexual crimes. This study conducted to identify the effectiveness and students' satisfaction level on Sex education program for middle school students prepared by the Ministry of Education and Human Resources. Methods: The sample size of the study was 644 students(458 female students and 186 male students) in middle school. A self reporting type of questionnaire survey was conducted from May 2 through May 27, 2005. Collected data were processed using SPSSwin 12.0; The data were analysed through t-test, stepwise multiple regression analysis. Results: Lectures and audiovisual materials were mostly used for sex education for students. Many students were satisfied with the program of physical and sexual organ development, pregnancy, contraceptive methods and sexual abuse. Many students wanted to study more on courtship, love, and marriage. The programs which the students did not understand well were sexually transmitted diseases, pregnancy and mass media and sex. Forty six percentage of the students reported that they were satisfied with the education program. Thirty three percentage of the students said that they were not satisfied with the program. The students who had earlier menstruation experience and the students whose academic achievement were higher were more satisfied with sex education program (P<.05). The students who were satisfied with the sex education CD prepared by the ministry of education were more satisfied with sex education program. (P<.001). When the CDs were appropriately used, the students were more satisfied with the education program (P<.05). The sound and pictures in the CD did not much affect the students. Audiovisual programs were more effective than lectures.

  • PDF

비디오테잎을 이용한 간호정보 제공이 수술전 수면 및 불안에 미치는 영향 -위수술환자를 중심으로- (The effect of preparatory audiovisual information with videotape influencing on sleep and anxiety of abdominal sugical patients)

  • 김금순;강지연
    • 기본간호학회지
    • /
    • 제1권1호
    • /
    • pp.19-35
    • /
    • 1994
  • To test the effectiveness of the preparatory audiovisual information with videotape, 34 patients with gastric cancer and who have scheduled for subtotal gastrectomy were studied with quasiexperimental research design. The subjects were selected from the 4 general surgical wards of one university hospital in Seoul, and assigned to experimental and control group conveniently. The videotaped information on the preparation and recovery for surgery was showed to the experimental subjects once before having operation. Data on the sleep and the state anxiety level before and after treatment day was collected with VSH sleep scale and STAI. The data was analyzed with t-test to test the effect of preparatory information and the Pearson's correlation to identify the correlation between anxiety and sleep. The results were summerized as follows : 1. After receiving the preparatory information, the level of anxiety of the experimental group was the same level as the initial, whereas that of the control group showed markedly increase. However no significant difference in anxiety between the two groups was found. 2. There was significant difference in sleep score between the experimental and the control group. 3. There was significant negative correlation between the state anxiety score and the sleep score. Based upon the above findings, this study concludes that preparatory information is effective to enhance sleep just prior to the surgery.

  • PDF

시청각 유형 보존포맷 선정기준 및 권고포맷 연구 - 오디오 유형을 중심으로 - (Research on Audiovisual Type Preservation Format Selection Criteria and Recommended Formats: Focusing on Audio Types)

  • 전한역;양동민
    • 한국비블리아학회지
    • /
    • 제35권1호
    • /
    • pp.273-300
    • /
    • 2024
  • 전자기록 환경에서는 아날로그 기록물의 디지털화 방안에 대한 논의와 함께, 전자적으로 생산, 접수된 기록물에 대한 유형별 보존전략 마련이 중요하게 인식된다. 같은 맥락에서, 문서유형 외 데이터세트, 시청각 유형 전자기록물의 장기보존을 목표로 보존포맷 선정체계를 적용하기 위한 논의가 필요하다. 시청각 기록물은 이미지, 오디오, 비디오와 같이 매체별 특성에 적합한 보존전략을 적용해야 한다. 본 연구는 시청각 중 오디오 유형 전자기록물의 보존포맷 선정을 위한 고유기준을 문헌 조사에 바탕을 둔 필수보존속성 분석을 통해 수립하고, 오디오 유형 보존포맷 적합성 평가항목을 구성하고 이를 적용한 결과를 토대로 권고포맷을 제안했다.

ATM망에서 Network Performance를 고려한 Real-Time Multimedia Service에 관한 연구 (A Study on Real-Time Multimedia Service Considering Network Performance in ATM Networks)

  • 김영준;이병호
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1998년도 추계종합학술대회 논문집
    • /
    • pp.91-94
    • /
    • 1998
  • ATM technology is reaching a certain level of maturity that allow for its deployment in local as well as in wide area networks. Concurrently, audiovisual applications are foreseen as one of the major users of such broadband networks. We present in this paper requriement of real-time multimedia service on B-ISDN networks and simulating the transport of MPEG-2 encoded multimedia data over ATM networks using CBR, VBR, ABR of ATM Traffic Service. We compare each delay time considering network performance and propose need for real-time multimedia service.

  • PDF

T-DMB 하이브리드 데이터 서비스 Part 1: 하이브리드 BIFS 기술 (T-DMB Hybrid Data Service Part 1: Hybrid BIFS Technology)

  • 임영권;김규헌;정제창
    • 방송공학회논문지
    • /
    • 제16권2호
    • /
    • pp.350-359
    • /
    • 2011
  • 1990년대 이후 방송 기술의 눈부신 발전은 고선명 방송 서비스의 도입으로 가정에서의 고화질 방송 서비스 제공을 가능하게 하였을 뿐만 아니라, 이동 방송 서비스의 등장으로 고속으로 이동하는 차량에서도 방송 서비스를 즐길 수 있도록 하였다. Terrestrial Digital Multimedia Broadcasting (T-DMB) 기술은 이동 방송 서비스 제공을 위해 개발된 기술 중 성공적으로 상용화된 기술 중 하나이다. 고속 이동체에서의 안정적인 방송 수신 기능 외에 T-DMB의 기술적 혁신 중 주목할 만한 것으로는 MPEG-4 표준에 기반 한 시스템 프레임워크를 들 수 있다. 이는 장면 기술(Scene Description) 및 그래픽 객체 표현 언어인 Binary Format for Scene (BIFS)와 객체(object) 개념의 멀티미디어 구성 요소 표현 방식인 Object Descriptor (OD) 프레임워크를 통해 대화형 데이터 서비스를 제공할 수 있다. 그런데, T-DMB 대화형 데이터 서비스에는 두 가지 근본적인 제약 사항이 존재한다. 첫 번째 제약 사항은 대화형 서비스를 위한 그래픽 데이터는 비디오 화면을 벗어날 수 없어 항상 비디오 화면 위에 중첩되어 표현되어야 한다는 것이다. 두 번째 제약 사항은 양방향 서비스를 위한 데이터는 항상 방송망을 통해서만 전송되어야 한다는 것이다. 이러한 제약 사항은 단말의 위치 정보나 사용자의 특성 정보를 반영한 개인 맞춤형 서비스 제공의 제약조건이 되고 있다. 본 논문에서는 이러한 제약 사항을 극복하기 위해 기존방송망 및 무선 인터넷 망을 통해 각각 전송되는 장면 기술 정보 뿐만 아니라, 단말의 저장 장치에 저장된 장면 기술 정보를 활용하는 T-DMB 하이브리드 데이터 서비스 방식을 제안하고 기존 T-DMB 데이터 서비스와의 역호환성을 보장하는 하이브리드 BIFS 기술을 제안한다.

Role of Print and Audiovisual Media in Cervical Cancer Prevention in Bangladesh

  • Nessa, Ashrafun;Hussain, Muhammad Anwar;Ur Rashid, Mohammad Harun;Akhter, Nargis;Roy, Joya Shree;Afroz, Romena
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제14권5호
    • /
    • pp.3131-3137
    • /
    • 2013
  • Background: Visual inspection of cervix with acetic acid (VIA) is offered at 252 centers in 64 districts of Bangladesh. VIA+ve women are managed at colposcopy clinics of Bangabandhu Sheikh Mujib Medical University (BSMMU) and 14 Medical College Hospitals (MCHs). This research work has been supported by 'UICC Cancer Prevention Campaign' programme. Objectives: This study explored the role of print materials and electronic media to improve cervical cancer screening in the present socio-cultural context of Bangladesh. Methods: This study was performed from January to August 2011 at two upazilas of Bangladesh (Singair with screening facility and Sonargaon without screening facility). Data were collected by focus group discussion (FGD) with women, husbands and community people before and after intervention. Information on cervical cancer screening and VIA camps was disseminated using advertisement through local cable line of the television, microphone announcement, service providers and leaflet throughout the week prior to a VIA camp. Three-day VIA camps were organized at the upazila health complex (UHC) of both upazilas. Quantitative data was gathered from women at the camps on source of information on VIA and the best method of awareness creation. Results: The population was aware of "cancer" and a notable number knew about cervical cancer. Baseline awareness on prevention and VIA was low and it was negligible where screening services were unavailable. Awareness was increased fourfold in both upazilas after interventions and half of the women and the majority of the community people became aware of screening and available facilities. Cable line advertisement (25.5%), microphone announcement (21.4%), and discussion sessions (20.4%) were effective for awareness creation on VIA. Television was mentioned as the best method (37.4%) of awareness creation. Conclusion: Television should be used for nation-wide awareness creation. For local awareness creation, cable line advertisement, microphone announcements and health education at Uthan Baithaks/ EPI sessions can easily be adopted by the government.

초·중·고등학생들의 극지에 대한 인식 (Elementary, Middle, and High School Students' Perception of Polar Region)

  • 정수임;최하늘;김민지;신동희
    • 한국지구과학회지
    • /
    • 제42권6호
    • /
    • pp.717-733
    • /
    • 2021
  • 이 연구는 극지 연구의 중요성을 확산하고자, 극지 소양 교육 방향을 설정하는 기초 자료를 제공하기 위해 수행되었다. 초·중·고등학생들의 극지 인식을 극지 정보 획득 현황, 극지에 대한 인상, 극지 문제 인식 측면에서 조사했다. 초·중·고 9개교 학생 975명이 선택형과 서답형이 포함된 16문항에 대한 설문 조사에 참여했다. 연구 결과, 학생들은 시청각 매체를 중심으로 한 극지 경험이 많았고, 학교 교육에서 극지에 대한 학습 경험이 상대적으로 적었다. 극지에 대한 인상은 지구 온난화로 빙하가 녹으면서 위기에 처한 북극곰과 같은 이미지가 대부분이었다. 학생들은 시청각 매체에서 본 장면을 정서와 결합하면서 이미지를 형성했다. 극지 문제 인식 측면에서 학생들은 공통적으로 생물과 자연 환경, 기후 변화에 관심이 많았지만, 학교급 및 진로 희망에 따라 관심 분야가 달랐다. 학생들은 극지 문제를 해결하는 주체로서 과학자의 위상을 높게 평가했으며, 극지 문제에 대해 실용적 가치보다는 세계 시민적 가치를 우선했다. 이상의 결과를 바탕으로 학교 교육과정에서 극지 내용 수용 및 체계화, 극지 과학자와 교육자의 협력에 의한 차별화된 학습 경험 마련, 여러 교과에 생성력 있는 빅아이디어 중심의 극지 소양 설정, 지구계 중심의 학습 접근법, 후속 연구의 방향 설정, 다양한 가치를 수용하는 과학 교육의 필요성 등을 시사점으로 제시했다.

일부 응급구조학과 학생들의 라이프케어를 위한 방사선방어에 대한 지식과 태도의 상관관계 및 교육요구도 분석 (Analysis of Educational Needs and Correlation between Knowledge and Attitude of Radiation Protection among Emergency Medical Services Students for Life Care)

  • 김승국;고대식
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제14권7호
    • /
    • pp.571-579
    • /
    • 2020
  • 응급구조(학)과 학생들의 방사선 방어에 관한 지식, 태도 및 교육요구도를 조사하고 분석하여 방사선 방어를 위한 안전관리의 교육과정 프로그램 개발에 기초자료를 제공하기 위해 시행되었다. 연구대상자 244명을 분석한 결과 방사선 방어에 대한 지식 점수는 9.50점, 방사선 방어 태도 점수는 30.24점이었다. 방사선 방어에 대한 지식과 태도 모두 방사선 방어 교육을 받은 군이 받지 않은 군에 비해 통계학적으로 유의하게 높았고, 지식과 태도 간의 상관관계에서는 방사선 방어에 대한 태도 점수와 지식 점수와는 양의 상관관계를 보여(r=.472, p<.000), 응급구조(학)과 학생들의 지식 점수가 높아질수록 태도 점수가 높아진다는 것을 알 수 있었다. 방사선 방어 교육을 받은 대상자는 6.1%, 교육요구는 87.3%, 참여 의향은 82.0%, 교육시기는 2학년이 54.9%로 가장 높았다. 교육방법은 시청각 교재를 활용한 강의가 59.04%로 가장높았고, 강연자는 방사선사가 77.45%로 가장 높았다. 이 결과로부터 응급구조(학)과 학생들의 방사선 방어에 대한 지식 점수와 태도 점수가 낮음에도 불구하고 교육요구와 참여 의도가 높음을 알 수 있었고 교육효과를 높이기 위해서는 방사선사가 시청각 교재를 활용하여 교육을 실시하는 것이 가장 효과적이라는 결론을 얻었다.