وجد الباحثون أن أداء الطلاب في اختبارات المحاسبة كان أفضل من ChatGPT، وهو منتج chatbot الخاص بـ OpenAI.
وعلى الرغم من ذلك، قالوا إن أداء ChatGPT كان “مثيرًا للإعجاب” وأنه “سيغير قواعد اللعبة وسيغير الطريقة التي يعلم بها الجميع ويتعلمون – نحو الأفضل”. أراد الباحثون من جامعة بريغهام يونغ (BYU) بالولايات المتحدة و186 جامعة أخرى معرفة مدى نجاح تقنية OpenAI في اختبارات المحاسبة. وقد نشروا النتائج التي توصلوا إليها في مجلة قضايا في تعليم المحاسبة.
وفي اختبار المحاسبة الذي أجراه الباحثون، سجل الطلاب متوسطًا إجماليًا قدره 76.7 بالمائة، مقارنة بنتيجة ChatGPT البالغة 47.4 بالمائة.
في حين أنه في 11.3% من الأسئلة، وجد أن ChatGPT حصل على درجات أعلى من متوسط الطلاب، وكان أداؤه جيدًا بشكل خاص في أنظمة المعلومات المحاسبية (AIS) والتدقيق، وُجد أن أداء روبوت الذكاء الاصطناعي كان أسوأ في التقييمات الضريبية والمالية والإدارية. يعتقد الباحثون أن هذا قد يكون بسبب معاناة ChatGPT مع العمليات الرياضية المطلوبة للنوع الأخير.
تبين أيضًا أن روبوت الذكاء الاصطناعي، الذي يستخدم التعلم الآلي لإنشاء نص باللغة الطبيعية، كان أفضل في أسئلة الصواب والخطأ (68.7 بالمائة صحيحة) وأسئلة الاختيار من متعدد (59.5 بالمائة)، لكنه واجه صعوبات مع أسئلة الإجابات القصيرة (بين 28.7 بالمائة). و 39.1 بالمائة).
بشكل عام، قال الباحثون إن الأسئلة ذات الترتيب الأعلى كانت أصعب على ChatGPT للإجابة عليها. في الواقع، في بعض الأحيان وجد أن ChatGPT يقدم أوصافًا مكتوبة موثوقة للإجابات غير الصحيحة، أو يجيب على نفس السؤال بطرق مختلفة.
ووجدوا أيضًا أن ChatGPT غالبًا ما يقدم تفسيرات لإجاباته، حتى لو كانت غير صحيحة. وفي أحيان أخرى، استمر في تحديد إجابة خاطئة متعددة الاختيارات، على الرغم من تقديم أوصاف دقيقة.
لاحظ الباحثون بشكل مهم أن ChatGPT يختلق أحيانًا حقائق. على سبيل المثال، عند تقديم مرجع، تم إنشاء مرجع ذو مظهر حقيقي ملفق بالكامل. العمل وأحيانًا المؤلفون لم يكونوا موجودين حتى.
وشوهد أن الروبوت يرتكب أيضًا أخطاء رياضية لا معنى لها مثل إضافة رقمين في مسألة الطرح، أو تقسيم الأرقام بشكل غير صحيح.
رغبةً في الإضافة إلى الجدل الدائر المكثف حول كيفية تأثير نماذج مثل ChatGPT في التعليم، قرر مؤلف الدراسة الرئيسي ديفيد وود، أستاذ المحاسبة بجامعة BYU، تعيين أكبر عدد ممكن من الأساتذة لمعرفة مدى نجاح الذكاء الاصطناعي في مواجهة طلاب المحاسبة الجامعيين الفعليين. .
انفجرت عروض تجنيد المؤلفين المشاركين على وسائل التواصل الاجتماعي: شارك 327 مؤلفًا مشاركًا من 186 مؤسسة تعليمية في 14 دولة في البحث، وساهموا بـ 25,181 سؤالًا في امتحان المحاسبة في الفصول الدراسية.
كما قاموا بتجنيد طلاب جامعيين في جامعة BYU لطرح 2,268 سؤالًا آخر من أسئلة بنك اختبار الكتب المدرسية على ChatGPT. غطت الأسئلة نظام المعلومات الآلي، والتدقيق، والمحاسبة المالية، والمحاسبة الإدارية والضرائب، وتنوعت في الصعوبة والنوع (صواب/خطأ، اختيار من متعدد، إجابة قصيرة).
