وأوضح الأمين العام للمجمع الدكتور عبدالله بن صالح الوشمي، أن إطلاق تقرير مؤشر بلسم يجسد التزام المجمع بقيادة الجهود الوطنية في دعم المحتوى العربي الرقمي، إذ يعد مرجعا لأدوات موضوعية لتقييم أداء النماذج، وتحليل مخرجاتها، وتطويرها بما يتوافق مع الخصائص اللغوية العربية، مشيرا إلى أن التقرير أعد بالشراكة مع عدد من الجهات المختصة، عبر تطوير منهجية متقدمة للتقييم، تجمع بين التحكيم البشري والتقييم الآلي عالي الدقة؛ للوصول إلى مقاييس تقارب نتائج التحكيم البشري بنسبة 0.88%، وهو ما يمنح المؤشر موثوقية عالية تسهم في اعتماده على المستويين البحثي والتطبيقي.

وشملت الجهات المشاركة في إعداد التقرير: الهيئة السعودية للبيانات والذكاء الاصطناعي سدايا، وجامعة الملك سعود، وجامعة الملك عبدالعزيز، وجامعة بيشة، وجامعة قطر، وجامعة الملك عبدالله للعلوم التقنية، ومعهد قطر لبحوث الحوسبة QCRI، وجامعة محمد بن زايد للذكاء الاصطناعي، وجامعة نيويورك أبو ظبي، وشركة aiXplain، إضافة إلى مجموعة من الباحثين والخبراء في الذكاء الاصطناعي واللغة العربية.

ويشكل التقرير خطوة عملية ضمن دعم المجمع لتطوير أدوات ومعايير تقييم دقيقة، تسهم في تحسين جودة تطبيقات الذكاء الاصطناعي باللغة العربية، وتدعم بناء مخرجات قابلة للتطبيق في البيئات التقنية من خلال بيانات موثوقة تستخدم في المقارنة والتحسين.

ويعرض التقرير نتائج تقييم شاملة لـ22 نموذجا لغويا، استنادا إلى 12,786 سؤالا موزعة على 54 مهمة ضمن 13 فئة لغوية، تتنوع بين الترجمة، والتلخيص، والكتابة الإبداعية، والفهم القرائي، والبرمجة، والتصنيف، وغيرها من المهام المتصلة بمعالجة اللغة الطبيعية.

ويقدم التقرير أيضا تحليلات مفصلة لأداء النماذج، وييسر المقارنة بينها، ويساعد في تحديد نقاط القوة والضعف لكل نموذج بحسب المهمة.

ويعد مؤشر بلسم أحد مشروعات المجمع في تمكين الحوسبة اللغوية، وتوسيع نطاق الذكاء الاصطناعي الموجه للعربية، ويسهم في دعم منظومة الابتكار التقني التي تسعى المملكة إلى تعزيزها، ضمن مستهدفات التحول الرقمي، ومبادرات المحتوى المحلي، وبناء القدرات الوطنية في تقنيات اللغة.