يقدّم هذا الدليل معلومات مهمة للمطوّرين الذين ينشئون تطبيقات Android باستخدام الذكاء الاصطناعي التوليدي (GenAI). تطرح عملية دمج الذكاء الاصطناعي التوليدي تحديات فريدة تتجاوز عملية تطوير البرامج العادية.
يتم تعديل هذا الدليل باستمرار ليعكس المخاطر الجديدة والمتطورة المرتبطة بالذكاء الاصطناعي. استخدِم هذا المحتوى للتعرّف على المخاطر الكبيرة المرتبطة بدمج إمكانات الذكاء الاصطناعي التوليدي في تطبيقاتك واكتشاف استراتيجيات فعّالة للحدّ من هذه المخاطر.
حقن الطلبات
يصمّم المهاجمون مدخلات ضارة (طلبات) لخداع النموذج من أجل تجاوز سياسات الأمان والسلامة أو تنفيذ إجراءات غير مقصودة. يمكن أن يؤدي الهجوم الناجح إلى أن يكشف النموذج عن بيانات حساسة أو ينشئ محتوًى ضارًا أو ينفّذ إجراءات غير مقصودة، ما يؤدي إلى فقدان ثقة المستخدمين. تعرَّف على كيفية الحدّ من هجمات حقن الطلبات.
الإفصاح عن المعلومات الحسّاسة
تشكّل نماذج الذكاء الاصطناعي التوليدي خطرًا كبيرًا يتمثل في الكشف عن معلومات حساسة، ما قد يؤدي إلى تسريب مجموعة كبيرة من البيانات التي تؤثر في النموذج اللغوي الكبير وسياق تطبيقه. يمكن أن تحدث عمليات التسريب عندما يعرض النموذج هذه البيانات السرية للمستخدمين الآخرين، أو عندما يخزّن مقدّمو خدمة تعلُّم الآلة كخدمة (MLaaS) الطلبات بشكل غير آمن، أو عندما يستغلّ الجهات الخبيثة النظام للكشف عن المنطق الداخلي. وتتراوح العواقب الوخيمة بين انتهاكات الملكية الفكرية والعقوبات التنظيمية (مثل اللائحة العامة لحماية البيانات وقانون خصوصية المستهلك في كاليفورنيا) إلى فقدان ثقة المستخدمين بالكامل واختراق النظام. كيفية الحدّ من خطر الإفصاح عن المعلومات الحساسة
الوكالة المفرطة
يمكن أن يؤدي دمج وكلاء النماذج اللغوية الكبيرة مع وظائف أو أدوات لتنفيذ الإجراءات إلى حدوث مخاطر أمنية. قد تؤدي الطلبات الضارة التي تستغل ميزة "استدعاء الدوال" إلى فقدان البيانات بشكل غير مقصود. يتحمّل المطوّرون مسؤولية تنفيذ إجراءات وقائية (مثل موافقة المستخدم والتحقّق من الصحة وعناصر التحكّم في الوصول) لمنع الإجراءات الضارة التي تتخذها تكنولوجيات الذكاء الاصطناعي. كيفية الحدّ من المخاطر المفرطة التي تتحمّلها الوكالة
ملخّص
يتطلّب تأمين أنظمة الذكاء الاصطناعي التوليدي اتّباع نهج متعدد الجوانب يتجاوز ممارسات الأمن السيبراني التقليدية لمعالجة التحديات الفريدة التي تطرحها نماذج الذكاء الاصطناعي، مثل دورة حياة التطوير والتفاعلات مع المستخدمين والأنظمة. تشمل هذه الجهود الشاملة إجراء اختبارات استباقية، والمراقبة المستمرة، والحوكمة الفعّالة، والالتزام بالأُطر التنظيمية المتطورة. من أفضل الطرق لتطبيق هذه المبادئ استخدام أدوات المجال، مثل تقييم المخاطر الذاتي وفقًا لإطار عمل SAIF، لفهم المخاطر والحدّ منها بشكل أفضل.