Journal of Service Research and Studies (서비스연구)

The Society of service Science (서비스사이언스학회)
권호 표지
DOI QR코드

DOI QR Code

Exploring Factors to Minimize Hallucination Phenomena in Generative AI - Focusing on Consumer Emotion and Experience Analysis -

생성형AI의 환각현상 최소화를 위한 요인 탐색 연구 - 소비자의 감성·경험 분석을 중심으로-

  • Received : 2024.01.26
  • Accepted : 2024.03.18
  • Published : 2024.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

This research aims to investigate methods of leveraging generative artificial intelligence in service sectors where consumer sentiment and experience are paramount, focusing on minimizing hallucination phenomena during usage and developing strategic services tailored to consumer sentiment and experiences. To this end, the study examined both mechanical approaches and user-generated prompts, experimenting with factors such as business item definition, provision of persona characteristics, examples and context-specific imperative verbs, and the specification of output formats and tone concepts. The research explores how generative AI can contribute to enhancing the accuracy of personalized content and user satisfaction. Moreover, these approaches play a crucial role in addressing issues related to hallucination phenomena that may arise when applying generative AI in real services, contributing to consumer service innovation through generative AI. The findings demonstrate the significant role generative AI can play in richly interpreting consumer sentiment and experiences, broadening the potential for application across various industry sectors and suggesting new directions for consumer sentiment and experience strategies beyond technological advancements. However, as this research is based on the relatively novel field of generative AI technology, there are many areas where it falls short. Future studies need to explore the generalizability of research factors and the conditional effects in more diverse industrial settings. Additionally, with the rapid advancement of AI technology, continuous research into new forms of hallucination symptoms and the development of new strategies to address them will be necessary.

본 연구는 소비자의 감성과 경험이 중요한 서비스 분야에서 생성형 인공지능을 활용하는 방법에 대한 조사를 목표로 활용시의 환각 현상을 최소화하고, 소비자의 감성 및 경험에 대한 전략적 서비스를 개발하는 것에 초점을 맞추고 있다. 이를 위해 기계적인 방식의 접근과 사용자가 프롬프트를 직접 생성하는 방식을 검토하였고, 사업아이템 정의 제공, 페르소나 특성 값 제공, 예시와 맥락형 동사명령, 출력 포멧과 톤 컨셉 지정 등의 프롬프트 생성 요인을 중심으로 실험적으로 적용하였다. 연구는 생성형 AI가 제공하는 맞춤형 콘텐츠의 정확성과 사용자 만족도를 향상시키는 데 기여할 수 있는 방안을 탐색한다. 또한, 이러한 접근 방식은 생성형 인공지능을 실제 서비스에 적용 시 발생할 수 있는 환각 현상 중심의 문제들을 해결하는 데 중요한 역할을 하며, 생성형 인공지능을 통한 소비자 서비스 혁신에 기여할 것으로 기대한다. 연구 결과는 소비자의 감성과 경험을 풍부하게 해석하는데 생성형 인공지능이 중요한 역할을 할 수 있음을 보여주며, 이는 다양한 산업 분야에서의 활용 가능성을 넓히고, 기술 발전을 넘어 소비자 감성 및 경험 전략의 새로운 방향을 제시할 것으로 기대한다. 하지만, 아직은 연구가 생소한 생성형 AI 기술 기반의 연구를 진행함으로써 미흡한 부분이 많다. 향후 연구에서는 더 다양한 산업 환경 적용으로 연구요인들의 범용성과 조건별 효과를 더 깊이 탐구할 필요가 있다. 또한, AI 기술의 급속한 발전에 따라 새로운 형태의 환각 증상과 이에 대응하는 새로운 전략 개발에 관한 연구가 지속해서 이루어져야 할 것이다.

Keywords

Acknowledgement

본 연구는 한성대학교 학술연구비 지원과제임

References

  1. Ahn, J.H. and Lee, J.S.(2020), A Study on the Reliability and Validity of the Collection of the Ethnography Method of Service Experience Data, Journal of Service Studies, 10(4), 43-55.
  2. Bruno, A., Mazzeo, P.L., Chetouani, A., Tliba, M., and Kerkouri, M.A.(2023). Insights into Classifying and Mitigating LLMs' Hallucinations. preprint arXiv:2311.08117.
  3. Cao, Y, Yan, Z, Dai, Y, Yu, P. S, Li, S, Liu, Y, and Sun, L.(2023), A comprehensive survey of ai-generated content (aigc): A history of generative ai from gan to chatgpt, arXiv preprint Xiv:2303.04226, 1-44.
  4. Chen, H., Liu, X., Yin, D., and Tang, J.(2017). A survey on dialogue systems: Recent advances and new frontiers. A m Sigkdd Explorations Newsletter, 19(2), 25-35.
  5. Choi, S.M. and Choi, D.Y.(2023), The Effect of AI Chatbot Service Experience and Relationship Quality on Continuous Use Intention and Recommendation Intention, Journal of Service Studies, 13(3), 43-55.
  6. Gonzalez-Castro, N., Munoz-Merino, P.J., Alario-Hoyos, C., and Kloos, C.D.(2021). Adaptive learning module for a conversational agent to support MOOC learners. Australasian Journal of Educational Technology, 37(2), 24-44.
  7. Hannan, S.A., Ahmed, J., Ahmed, N., and Thakur, R.A.(2012). Data Mining and Natural Language Processing Methods for Extracting Opinions from Customer Reviews. International Journal of Computational Intelligence and Information Security, 3(6), 52-58.
  8. Jung, W.H., and Ahn, J.H.(2022), A study on the impact of persona-style consumer analysis on corporate R&D, Journal of Service Studies, 12(3), 60-69.
  9. Lee, H.S., and Kim, J. B.(2023). A case study on ways to alleviate hallucinations in generative AI for game content creation. Journal of the Korea Game Society, 23(5), 121-129.
  10. Meyer, C., and Schwager, A.(2007), Understanding customer experience, Harvard Business Review, 85(2), 116-126.
  11. Shin, J.G., Jo, I.K., Lim, W.S., and Kim, S.H.(2020). Definition and classification of interaction design variables that affect user satisfaction of voice-based intelligent systems, Journal of the Korean Ergonomics Society, 39(1), 73-86.
  12. Shuster, K., Poff, S., Chen, M., Kiela, D., and Weston, J.(2021). Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567.
  13. Sun, X., Bosch, J. A., De Wit, J. & Krahmer, E.(2023). Human-in-the-Loop Interaction for continuously Improving Generative Model in Conversational Agent for Behavioral Intervention. In Companion Proceedings of the 28th International Conference on Intelligent User Interfaces. 99-101.
  14. www.iknowyou.kr