Humanoid – وكيل ذكاء اصطناعي سمعي بصري
وكيل ذكاء اصطناعي سمعي بصري متكامل بوجه متحرك في الوقت الفعلي، يسمع ويفكّر ويرد بصوت وتعابير وجه متزامنة — وليس مجرد روبوت محادثة آخر.
نظرة عامة
مشروع التخرج – جامعة عين شمس وجامعة شرق لندنبنيت وكيل ذكاء اصطناعي سمعيًا بصريًا متكاملًا — وليس روبوت محادثة تقليديًا. يتميّز النظام بوجه متحرك يستمع ويفكّر ويرد بالصوت والصورة في الوقت الفعلي. وكان الهدف أن يشعر المستخدم بأنه يتحدث إلى إنسان، لا إلى نظام. يعمل الوكيل عبر مسار معالجة متكامل بالكامل: يتحدث المستخدم ← يحوّل نظام ASR الكلام إلى نص بدقة عالية ← يدخل النص إلى نموذج لغوي كبير (LLM) يفهم السياق ويولّد ردًا ذكيًا ← يتحول الرد إلى كلام طبيعي عبر TTS ← وفي الوقت نفسه يستقبل نظام توليد الوجه الصوت وينتج حركة وجه بتزامن دقيق للشفاه وتعابير الوجه وحركة الرأس — وكل ذلك في الوقت الفعلي. كما صُمّم النظام ليقبل الربط بواجهات APIs وأنظمة خارجية — مثل CRM أو قواعد البيانات أو أي أداة أخرى — لأن الوكيل لا ينبغي أن يعمل بمعزل عن غيره، بل يجب أن يكون متصلًا.
ما الذي لم يكن يعمل
معظم وكلاء الذكاء الاصطناعي المتاحين إما نصيون فقط، أو صوتيون فقط، أو يقتصرون على شخصية رمزية (Avatar). وكان التحدي الأساسي هو دمج الوسائط الثلاث في مسار معالجة واحد متماسك يعمل في الوقت الفعلي، مع الحفاظ على زمن استجابة منخفض وتفاعل يبدو طبيعيًا. إضافة إلى ذلك، تطلّب تحقيق دعم عالي الجودة لمعالجة اللغة العربية (لا مجرد الترجمة) وتحريك الوجه في الوقت الفعلي بتزامن دقيق للشفاه تجاوزَ الأساليب التقليدية.
ما الذي بنيته
استخدمت TalkingGaussian v2 لتحريك الوجه بدلًا من تقنية NeRF التقليدية، ما حقّق أداءً أسرع بكثير في الوقت الفعلي. ويعمل GPT-4o محركًا للنموذج اللغوي، مع إمكانية استبداله بنماذج مفتوحة المصدر مثل DeepSeek أو Jais في البيئات الحساسة للخصوصية أو عند الاستضافة الذاتية. تدعم البنية تكامل RAG بالكامل — إذ يمكن للوكيل الاتصال بقواعد بيانات متجهية مثل Pinecone أو Chroma واستخلاص المعلومات من قواعد المعرفة الخاصة بالشركة أو المتجر، فتأتي الردود دقيقة ومخصّصة بدلًا من أن تكون عامة. حققت الشخصية العربية التي دُرّبت في هذا المشروع أعلى أداء بين جميع الشخصيات وفق مقاييس PSNR وLMD وLPIPS. وقد بُني النظام واختُبر وقُيّم باستخدام معايير أكاديمية حقيقية.
التقنيات
عدد المكونات: 08دور كل جزء في النظام، من الشاشات التي يعمل عليها الفريق إلى الخدمات التي ترسل الرسائل والتقارير.