Aller au contenu principal

الذكاء الاصطناعي والاستدلال

استدلال موزَّع مع حماية النموذج

يُشفّر FPGA الأوزان أثناء النقل، ويُنسّق CPU تقديم النموذج (model serving)، وينفّذ GPU الاستدلال.

FPGA

حماية الأوزان والتفعيلات

أعباء العمل
  • ▸ تشفير الأوزان أثناء النقل
  • ▸ علامة مائية للنموذج
  • ▸ مواجهة استخراج النموذج
الأداء
تحميل الأوزان في أقل من 5 ثوانٍ لنموذج 70B
CPU

تقديم النموذج والتوجيه

أعباء العمل
  • ▸ vLLM / TensorRT-LLM
  • ▸ مُجدوِل الدفعات (Batch scheduler)
  • ▸ واجهة برمجية متوافقة مع OpenAI
الأداء
1 000 طلب/ثانية لكل جهاز
GPU

استدلال LLM/الرؤية الحاسوبية

أعباء العمل
  • ▸ نماذج Transformer لفك الترميز بحجم 70B
  • ▸ نماذج الانتشار (Diffusion models)
  • ▸ نماذج LLM متعددة الوسائط
الأداء
300 رمز (token) / ثانية على نموذج 70B

سيناريو متعدّد الوكلاء

يُرسل عميل مُحثّا (prompt): يوجّه CPU الطلب إلى النموذج المناسب، ويفكّ FPGA تشفير الأوزان داخل ذاكرة GPU، ويُجري GPU الاستدلال، ويُعيد FPGA تشفير الاستجابة قبل إرسالها.