การพัฒนาแชทบอทอัจฉริยะด้วยเทคโนโลยี Retrieval-Augmented Generation (RAG) สำหรับการสืบค้นสารสนเทศหลักสูตรระดับบัณฑิตศึกษา: กรณีศึกษาคณะมนุษยศาสตร์และสังคมศาสตร์มหาวิทยาลัยสงขลานครินทร์
Keywords:
ระบบสนทนาอัตโนมัติ, การค้นคืนสารสนเทศแบบผสมผสาน, ระบบสารสนเทศเพื่อการศึกษา, การจัดอันดับท่อนข้อมูล, การแบ่งท่อนข้อมูลAbstract
งานวิจัยนี้มีวัตถุประสงค์เพื่อ 1) พัฒนาแชทบอทอัจฉริยะด้วยเทคโนโลยี Retrieval-Augmented Generation (RAG) สำหรับการสืบค้นสารสนเทศหลักสูตรระดับบัณฑิตศึกษา คณะมนุษยศาสตร์และสังคมศาสตร์ มหาวิทยาลัยสงขลานครินทร์ 2) ประเมินสมรรถนะด้านความแม่นยำในการค้นคืนข้อมูลและระยะเวลาการตอบสนองของระบบ และ 3) ประเมินประสิทธิภาพและความพึงพอใจต่อการใช้งานจากผู้เชี่ยวชาญและผู้รับบริการ การวิจัยนี้เป็นการวิจัยและพัฒนา โดยระบบ “คลาวดี้ (Cloudy)” พัฒนาในรูปแบบเว็บแอปพลิเคชัน ใช้เทคโนโลยี RAG ร่วมกับ Hybrid Search (BM25, Vector Search และ Reciprocal Rank Fusion) และ Rule-based Hybrid Reranker บนคลังข้อมูลคู่มือหลักสูตรระดับบัณฑิตศึกษา 4 หลักสูตร เครื่องมือวิจัยประกอบด้วยชุดคำถามควบคุม 100 ข้อ แบบประเมินประสิทธิภาพโดยผู้เชี่ยวชาญ 6 ท่าน และแบบประเมินความพึงพอใจของผู้รับบริการ 30 คน โดยแบบประเมินผ่านการตรวจคุณภาพจากผู้ทรงคุณวุฒิจำนวน 3 ท่าน และคัดเลือกข้อคำถามที่มีค่า IOC ตั้งแต่ 0.50 ขึ้นไป วิเคราะห์ข้อมูลด้วยดัชนีสมรรถนะการค้นคืนสารสนเทศและสถิติเชิงพรรณนา ผลการวิจัยพบว่าระบบที่พัฒนาขึ้นสามารถรองรับการสืบค้นสารสนเทศหลักสูตรในประเด็นสำคัญได้ครบถ้วน ผลการทดสอบสมรรถนะระบบพบว่า มีค่าความถูกต้อง 0.91 ค่าความแม่นยำ 1.00 ค่าความระลึก 0.90 และค่า F1-Score 0.95 โดยปฏิเสธคำถามนอกขอบเขตได้ครบ 10 ข้อ (FP = 0) สามารถแสดงผลคำตอบได้โดยมีค่ามัธยฐานประมาณ 4.4 วินาทีต่อคำถาม และผลการประเมินโดยผู้เชี่ยวชาญพบว่าประสิทธิภาพของระบบในภาพรวมอยู่ในระดับมาก (x̄ = 4.39, S.D. = 0.75) ขณะที่ผู้รับบริการมีความพึงพอใจต่อการใช้งานในภาพรวมอยู่ในระดับมากเช่นกัน (x̄ = 4.41, S.D. = 0.73) สรุปได้ว่าแชทบอทอัจฉริยะที่พัฒนาขึ้นมีความเหมาะสมสำหรับใช้เป็นช่องทางเสริมในการให้บริการสารสนเทศหลักสูตรระดับบัณฑิตศึกษา ช่วยสนับสนุนการสืบค้นข้อมูลที่ถูกต้องและรวดเร็ว และมีแนวโน้มช่วยลดภาระงานตอบคำถามซ้ำของบุคลากรสายสนับสนุนได้ในระดับหนึ่ง
Downloads
References
กรรวี เกตุสุริยวงศ์ และ นิภาดา ไตรรัตน์. (2566). การพัฒนาแชทบอทเพื่อส่งเสริมประสิทธิภาพงานโสตทัศนศึกษาโรงเรียนมัธยมวัดสิงห์. วารสารวิจัยทางการศึกษา คณะครุศาสตร์ มหาวิทยาลัยศรีนครินทรวิโรฒ, 18(1), 1-14.
จริยาพร ช่างสี, วัตสาตรี ดิถียนต์, และ บุญรัตน์ แผลงศร. (2567). การพัฒนาแชทบอทเพื่อส่งเสริมการสื่อสารและการทำงานภายในองค์กรของอาจารย์และเจ้าหน้าที่ ภาควิชาเทคโนโลยีการศึกษา คณะศึกษาศาสตร์ มหาวิทยาลัยเกษตรศาสตร์. วารสารครุศาสตร์ปริทรรศน์, 11(2), 32-45.
ธนากร อุยพานิชย์ และ กอบแก้ว มีเพียร. (2565). การพัฒนาแชทบอทเพื่อบริการกองทุนเงินให้กู้ยืมเพื่อการศึกษา. วารสารวิทยสารสนเทศและเทคโนโลยี, 3(1), 65-76.
ลัทธกาญจน์ กุยแก้ว, พนิดา พานชิกุล, และ เสาวลักษ์ คำถา. (2568). การพัฒนาแชทบอทสำหรับตอบคำถามและประชาสัมพันธ์สาขาวิชาคอมพิวเตอร์ธุรกิจดิจิทัล มหาวิทยาลัยราชภัฏศรีสะเกษ. วารสารวิทยสารสนเทศและเทคโนโลยี, 6(2), 29-41.
Fan, W., Ding, Y., Ning, L., Wang, S., Li, H., Yin, D., Chua, T. S., & Li, Q. (2024). A survey on RAG meeting LLMs: Towards Retrieval-augmented large language models (pp. 6491-6501). In Proceedings of the Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. Barcelona, Catalonia: ACM Digital Library.
Huang, Y., & Huang, J. X. (2026). A survey on retrieval-augmented text generation for large language models. ACM Computing Surveys, 58(12), 300.
Klesel, M., & Wittmann, H. F. (2025). Retrieval-augmented generation (RAG). Business & Information Systems Engineering, 67(4), 551-561.
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W. t., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks (pp. 9459-9474). In Proceedings of the 34th International Conference on Neural Information Processing Systems. Barcelona, Catalonia: ACM Digital Library.
Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to information retrieval. Cambridge: Cambridge University Press.
Robertson, S., & Zaragoza, H. (2009). The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval, 3(4), 333-389.
Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for classification tasks. Information Processing & Management, 45(4), 427-437.
Soongswang, K., Patikorn, T., & Naowanich, E. (2025). Developing a chatbot system for university website using large language models and retrieval-augmented generation via Flowise platform. VRU Research and Development Journal Science and Technology, 20(3), 291-305.