العرض التجريبي يجيب عن كل شيء. وبعد ستة أسابيع من الإطلاق تصل الشكاوى الثلاث نفسها كل أسبوع، ثم يطفئ أحدهم المساعد بهدوء، ويتحول المشروع إلى تجربة سابقة. وبين اللحظتين لا يوجد عادة شيء: لا مجموعة اختبار، ولا حد نجاح، ولا تعريف مكتوب لما كان يعنيه أن المساعد يعمل. عرض المورد نتيجة ناجحة، ووافق الجميع، وصار موعد الإطلاق هو معيار القبول.
لم أعد أعتمد مساعدا عربيا يخاطب العملاء بلا اختبار قبول مكتوب. وهذا هو الاختبار الذي أستعمله: ما الذي يدخل في المجموعة، وماذا تكتبون فيه، وما الذي يعد نجاحا، ومن الذي يصححه. نصف يوم لبنائه، وساعتان لتشغيله.
العرض التجريبي ليس اختبارا
العرض التجريبي هو أسئلة المورد، بعربية المورد، على بيانات المورد. واختبار القبول هو أسئلة عملائكم، بعربيتهم هم، على بياناتكم أنتم. واحد منهما فقط يتنبأ بما يحدث بعد الإطلاق. وهذه طبقة تحت أسباب توقف معظم تجارب الذكاء الاصطناعي في الإمارات قبل الإنتاج: قد يكون للتجربة مالك صحيح وعملية صحيحة وميزانية كافية، ثم تسقط عند أول مئة رسالة حقيقية.
ابنوا المجموعة مما لديكم. صدروا آخر مئتي رسالة واردة من كل قناة يصلكم العميل عبرها: واتساب وإنستغرام وفيسبوك، ونموذج الموقع، والملاحظات التي يكتبها موظفو الهاتف بعد المكالمة. خذوها كما هي حرفيا. الرغبة في ترتيبها هي الرغبة نفسها التي تنتج عرضا تجريبيا.
احذفوا الأسماء وأرقام الحسابات قبل أن يخرج الملف من الشركة، لأن هذه الرسائل تصبح بيانات شخصية في اللحظة التي يحوزها فيها مورد، ولأن أسئلة قانون حماية البيانات الإماراتي قبل ربط أي نموذج تنطبق على مجموعة اختبار كما تنطبق على الإنتاج. ثم احذفوا التكرار: مئتا رسالة تتحول عادة إلى خمسين أو ستين سؤالا مختلفا.
اختاروا منها أربعين، موزونة بتكرار كل سؤال فعليا لا بالتنوع: إذا كان ثلث الوارد صيغة من صيغ «أين طلبي»، فثلث المجموعة هو ذلك السؤال بكل طرق كتابته.
الاختبار الأول: العربية التي يكتبها عملاؤكم فعلا
ثلاث أو أربع عربيات تصل على القناة نفسها، وكثيرا من العميل نفسه في الأسبوع نفسه. العربية الفصحى، ممن يكتب بصيغة رسمية. واللهجة الخليجية مكتوبة، وهي معظم ما يصل. والعربيزي، بحروف لاتينية وأرقام تنوب عن أصوات لا حرف لاتيني لها، فالرقم 3 يحمل العين والرقم 7 يحمل الحاء. ثم التبديل بين اللغتين داخل الجملة الواحدة، حيث السؤال عربي واسم المنتج أو نصف الجملة الثاني إنجليزي.
تعاملوا بحذر مع أي ادعاء بأن هذه المسألة محلولة. في مهمة نادي المشتركة للهجات العربية لعام 2025 بلغ أفضل نظام دقة 79.8 بالمئة في مجرد تحديد أي لهجة يسمع، ومعايير أراديتشي للقدرات اللهجية والثقافية وجدت أن التعرف والتوليد والترجمة كلها ما زالت صعبة حتى على النماذج العربية المتخصصة. «النموذج يدعم العربية» ليست إجابة، بل هي بداية السؤال.
من الأربعين، اجعلوا اثنتي عشرة رسالة باللهجة، وستا بالعربيزي، وستا مختلطة اللغتين. وحد النجاح نصفان، والثاني هو الذي يهمل: أن تكون الإجابة صحيحة، وأن تكون بالمستوى اللغوي الذي استعمله العميل. ثلاث فقرات بالفصحى ردا على رسالة من خمس كلمات سقوط حتى لو كانت كل معلومة فيها صحيحة.
ومعهد الابتكار التكنولوجي في أبوظبي ينشر نماذج فالكون العربية أولا، مقيمة على فهم اللهجات لا على معايير إنجليزية مترجمة. فإذا كان المعروض عليكم نموذجا إنجليزيا أولا خلف طبقة ترجمة، فهذا قرار اتخذه أحدهم، ومن حقكم أن تسألوا عن سببه.
الاختبار الثاني: الأسماء والأرقام والتواريخ التي يعيدها
هذا هو الاختبار الذي يمسك الأخطاء التي تكلف مالا لا سمعة فقط. الاسم العربي ليس له تهجئة لاتينية واحدة صحيحة: Mohammed وMuhammad وMohamad وMohd عميل واحد، وفي بحث بني بلا انتباه هي أربعة سجلات أو لا شيء. ضعوا ست رسائل يعطي فيها العميل اسمه بالعربية ويتوقع أن يجد نفسه تحت التهجئة اللاتينية في نظامكم.
ثم الأرقام، وهي ما لا يختبره أحد تقريبا. نظاما أرقام مستعملان يوميا في السوق نفسه، ومتطلبات تخطيط النص العربي والفارسي من اتحاد الشبكة العالمية تشير إلى أنهما ليسا متكافئين برمجيا: الأرقام الأوروبية والأرقام العربية الهندية تحمل تصنيفي اتجاه مختلفين. ولهذا قد يظهر رقم الطلب بترتيب مقلوب بجانب نص عربي على الهاتف بينما هو صحيح تماما في قاعدة البيانات.
إذن: أرقام الطلبات والمبالغ بالدرهم والتواريخ وأرقام الهواتف، بنظامي الأرقام معا، مدفونة داخل جمل عادية. وحد النجاح أن تكون القيمة التي يعيدها المساعد هي القيمة التي كتبها العميل، حرفا بحرف، وأن تقرأ بالترتيب الصحيح على شاشة هاتف. افحصوها على هاتف لا في لوحة الإدارة. رقم واحد مقلوب في سعر معروض ليس عيبا لغويا، بل هو استرجاع ومشكلة.
الاختبار الثالث: ماذا يفعل حين لا يعرف
أقل السلوكيات اختبارا وأثمنها. عشر من الأربعين ينبغي أن تكون أسئلة لا تستطيع شركتكم الإجابة عنها فعلا: منتج لا تبيعونه، وخصم غير موجود، ووعد تسليم لم يعتمده أحد.
النجاح أن يقول إنه لا يعرف ويعرض الخطوة التالية. والسقوط جملة فصيحة واثقة وخاطئة، وهي المخرج الافتراضي لنموذج بلا قيود. وإرشادات مايكروسوفت للتفاعل بين الإنسان والذكاء الاصطناعي تضع هذا ثانيا في قائمة من ثمانية عشر بندا: أوضحوا مدى جودة أداء النظام لما يستطيعه. المساعد الذي لا يشير إلى شكه أبدا نقل مهمة اكتشاف أخطائه إلى العميل.
ومن هنا شرطان في البناء، وموضعهما عرض السعر لا طلب تغيير لاحق: إجابات مستندة إلى وثائقكم أنتم لا إلى ذاكرة النموذج، وأسعار ومخزون وتواريخ تسليم تقرأ لحظة السؤال لا تستعاد من الذاكرة. وهذه هي النسخة الضيقة من ما ينبغي حسمه قبل ربط نموذج بنظام يعمل أصلا.
الاختبار الرابع: التحويل إلى موظف
سيعرض عليكم المورد نسبة المحادثات التي لم تصل إلى موظف. وهو الرقم الخطأ: إنه يكافئ المساعد على إبعاد العملاء عن البشر، وهو السلوك نفسه الذي ينتج شكاوى الأسبوع السادس. قيسوا بدلا منه دقة التحويل: من المحادثات التي كان يجب أن تصل إلى موظف، كم وصل فعلا، وبأي سرعة.
ثلاثة محفزات، مكتوبة قبل الإطلاق لا مضبوطة بعده. أن يسأل العميل الشيء نفسه مرتين. أن تتجاوز القيمة حدا تضعونه أنتم، أو أن تكون الرسالة شكوى. أن يطلب العميل موظفا، بأي صيغة قالها. والنجاح أن يستلم الزميل المحادثة كاملة، باللغة التي جرت بها، وألا يطلب من العميل أن يبدأ من جديد.
وهنا قيد على القناة يفاجئ الفرق متأخرا. توثيق ميتا صريح في أن رسائل القوالب هي النوع الوحيد الذي يمكن إرساله خارج نافذة خدمة العملاء على واتساب، وأن القوالب تراجع قبل استعمالها. فموظفكم الذي يرد صباح اليوم التالي لا يستطيع ببساطة كتابة رد حر. وإذا لم يصمم أحد لهذا، فالتحويل طريق مسدود بعد ساعات العمل.
الاختبار الخامس: الرسالة الثانية والثالثة
العروض التجريبية دورة واحدة. والسقوط يقع في الدورة الثالثة. شغلوا ثمانيا من الأربعين محادثات مكتوبة مسبقا: تصحيحا، «لا، ليس ذلك، المقاس الأكبر»؛ وإحالة إلى الوراء، «مثل المرة الماضية»؛ وتغيير الموضوع ثم العودة إليه لاحقا؛ والسؤال نفسه مرتين بصياغتين مختلفتين.
الأخير هو الأكثر إفادة. المساعد الذي يعطي إجابتين مختلفتين لسؤال واحد داخل محادثة واحدة أسوأ من مساعد يمتنع عن الإجابة.
تصحيح الاختبار حتى لا تكون النتيجة رأيا
مصححان، كلاهما قارئ عربي أصيل، وأحدهما من الجهة التي تستقبل الشكاوى في الشركة لا من قسم التقنية. أربع علامات لكل رسالة. الصحة: هل تطابق الإجابة سجلاتكم. المستوى اللغوي: هل هي العربية التي استعملها العميل. الأمان: هل اخترع شيئا أو وعد بما لم يعتمد. التحويل: هل توقف وحول عند اشتعال محفز.
اتفقوا على حدود النجاح أولا، لأن حدا يختار بعد رؤية النتائج ليس حدا. وحدودي أنا: تسعون بالمئة للصحة، وخمسة وثمانون للمستوى اللغوي، ومئة للأمان، وكل محفز تحويل في كل مرة. والمئة هي التي تهم: سعر واحد مخترع يوقف الإصدار.
سجلوا كل سقوط حرفيا مع الرسالة التي أنتجته. هذا الملف هو قائمة عمل موردكم هذا الشهر، وهو اختبار الانحدار من الإصدار الثاني فصاعدا.
ما الذي يتغير في العقد
أربعة بنود، لا شيء غريب فيها. الرسائل الأربعون ملحق في الاتفاقية لا حديث في اجتماع. ودفعة مالية مرتبطة بتشغيل القبول لا بموعد الإطلاق. والمورد يعيد تشغيل المجموعة قبل كل إصدار ويرسل لكم الورقة. وملف السقوط ملك لكم، فينتقل معكم إن لم ينتقل المورد.
لا شيء من هذا غير معتاد في شراء البرمجيات، وما زال غير معتاد في شراء الذكاء الاصطناعي. وحين يستقر القبول يبقى سؤالان: ما الذي يسمح للمساعد بلمسه، وكم يكلف تشغيله سنة كاملة. وبناء هذه المجموعة على صندوق رسائلكم أنتم لا على قالب جاهز جزء من عمل الذكاء الاصطناعي الذي أقدمه في الإمارات.
وبناء مساعد يجتاز هذه الاختبارات بالعربية هو عمل شركتي: مساعدون مخصصون بالذكاء الاصطناعي من توثيق.
أسئلة متكررة
هل أربعون رسالة كافية فعلا لقبول نظام؟
لإطلاق أول، نعم، بشرط أن تكون موزونة بالتكرار الحقيقي لا مختارة للتنوع. أربعون سؤالا حقيقيا تكشف عيوبا أكثر مما تكشفه أربعمئة سؤال مخترع، والمجموعة التي تصحح في بعد ظهر واحد هي التي تصحح قبل كل إصدار. ثم وسعوها بأمانة: أضيفوا كل سقوط يكتشفه عميل بعد الإطلاق، فتطول المجموعة حيث أثبت الواقع أنكم لم تكونوا تختبرون شيئا.
معظم عملائنا يكتبون إلينا بالإنجليزية. هل نحتاج الاختبار العربي؟
انظروا إلى القناة لا إلى الموقع. الشركات التي تصف نفسها بأنها تعمل بالإنجليزية تجد عادة أن رسائل واتساب وإنستغرام لديها عربية أو عربيزي في جزء كبير منها. عدوا قبل أن تقرروا. وإذا كانت حصة العربية أقل من العشر فعلا، فشغلوا مجموعة من عشر رسائل بدل لا شيء، وتأكدوا أن التحويل إلى موظف يعرف لغة المحادثة.
المورد يقول إن النموذج يتعامل مع كل اللهجات. أليس هذا كافيا؟
هذا ادعاء عن نموذج، وأنتم تشترون نظاما. والنموذج مكون واحد: الاسترجاع وبيانات المنتجات والتعليمات وقواعد التحويل كلها تقف بينه وبين العميل. والرد المفيد ليس الجدال بل تشغيله على اثنتي عشرة رسالة لهجية من رسائلكم أنتم ومشاركة الورقة.
هل يصحح المورد اختبار القبول الخاص به؟
يشغله، نعم. وألا يكون المصحح الوحيد، للسبب نفسه الذي يمنع المقاول من توقيع قائمة ملاحظاته بنفسه. ما ينجح عمليا: المورد يشغل المجموعة ويرسل النصوص الخام، ومصححاكم يضعان العلامات دون أن يريا علامات المورد. والاختلاف مفيد، لأن معظمه يتبين أنه مشكلة تعريف في حد النجاح.
كم مرة تعاد المجموعة بعد الإطلاق؟
قبل كل إصدار، ومرة كل شهر سواء صدر شيء أم لا. والنصف الثاني يفاجئ الناس: النماذج التي تقف خلف هذه الأنظمة يحدثها مزودوها دون أن يسألوكم، فالمساعد الذي نجح في مارس قد ينحرف في يونيو دون تغيير سطر واحد عند أي طرف.