تصميم مسارات عمل بالذكاء الاصطناعي مع موافقة بشرية

افصل الاقتراح عن القرار

تلخيص طلب شراء يختلف عن إرساله إلى المورد. الأول يساعد الموظف على فهم المعلومات، والثاني ينشئ التزامًا قد يترتب عليه إنفاق. لذلك يبدأ التصميم بتحديد ما يستطيع المساعد اقتراحه، وما يستطيع النظام تنفيذه، ومن يملك سلطة الانتقال بين المرحلتين.

في مثال افتراضي لشركة صيانة، يمكن للمساعد ترتيب بيانات طلب معدات وبيان المعلومات الناقصة. لكن نظام المشتريات هو الذي يتحقق من صلاحية مقدم الطلب وحدود الميزانية والموافق المطلوب. جودة الصياغة لا تجعل الطلب معتمدًا، ووجود اسم مدير داخل المحادثة لا يمنح المستخدم صلاحياته.

اختر للمرحلة التجريبية عملية ضيقة، مثل إنشاء مسودة غير مرسلة. لا تمنحها تعديل بيانات الحساب البنكي أو اعتماد الطلب أو إرسال أمر شراء. كل صلاحية إضافية تحتاج مبررًا واختبارًا مستقلًا.

اجعل الموافقة مرتبطة بمحتوى واضح

لا تكفي نافذة تسأل «هل توافق؟» دون أن تعرض النتيجة. يجب أن يرى المراجع السجل المتأثر والقيم المهمة ومصدرها وما استنتجه المساعد وما لم يتمكن من التأكد منه. اعرض الطلب الأصلي إلى جوار المسودة حتى لا يضطر الموظف إلى البحث عن الدليل في تطبيقات متعددة.

اربط الاعتماد بنسخة محددة من الاقتراح. تغيير المورد أو الكمية أو المستلم بعد الاعتماد يستلزم مراجعة جديدة. كذلك قد تنتهي صلاحية الموافقة إذا تغيرت الظروف، وتجب إعادة التحقق من دور الشخص عند التنفيذ الفعلي. لا تملأ رقم مورد ناقصًا بالتخمين لمجرد أن النموذج قدم إجابة واثقة.

طبق الضوابط داخل نظام الأعمال

يناقش OWASP مخاطر الصلاحيات المفرطة. والتوصية العملية هنا هي تحويل الأفعال المسموح بها إلى عمليات محددة، تتحقق من المدخلات وحالة السجل وصلاحية المستخدم خارج المحادثة.

لا ينبغي للنص الناتج أن يختار أوامر قاعدة بيانات أو روابط إرسال عشوائية. وأي تعليمات داخل مرفق تظل مادة للفحص، ولا تتحول إلى سياسة جديدة. إذا كانت العملية تحتاج موافقتين، فعلى النظام فرضهما مهما طلب المساعد خلاف ذلك.

عالج إعادة المحاولة كذلك: انقطاع الشبكة بعد إنشاء الطلب لا يبرر إنشاء طلب ثانٍ. استخدم معرفًا للعملية ومسارًا للتحقق من نتيجتها، وأظهر الحالة غير المحسومة للمشغل بدل الادعاء بالنجاح أو الفشل دون دليل.

خطط للحالات التي تتوقف فيها العملية

حدد مسبقًا ما يحدث عند غياب الموافق أو تعارض البيانات أو انتهاء الجلسة. بعض الحالات تعود لصاحب الطلب، وبعضها ينتظر مراجعًا مخولًا. تجنب معالجة التأخير بمنح صلاحية أوسع تلقائيًا.

احتفظ بمسار يدوي مفهوم ومجرب. يجب أن يعرف الموظفون مكان الطلب الأصلي وكيفية استكماله عند إيقاف المساعد. وعيّن مسؤولًا يستطيع تعليق التشغيل إذا ظهرت تغييرات غير مبررة في المستلمين أو محاولات متكررة لتجاوز الصلاحيات، مع الاحتفاظ بقائمة الأعمال المعلقة.

اختبر الأخطاء ذات الأثر

اختبر اسم مورد ملتبسًا ومبلغين متعارضين ومرفقًا يحتوي تعليمات مضللة وطلبًا مكررًا وموافقًا سُحبت صلاحياته. راقب دقة الاقتراحات وجهد تصحيحها والأخطاء التي وصلت للتنفيذ، ولا تكتف بقياس سرعة إنشاء المسودة.

يقدم ملف NIST للذكاء الاصطناعي التوليدي مرجعًا طوعيًا لإدارة المخاطر، وليس شهادة باعتماد التطبيق. قبل التوسع تأكد من عمل الصلاحيات والمراجعة وإيقاف التشغيل. ويمكن مناقشة احتياجات تصميم البرمجيات وتكامل الإجراءات انطلاقًا من مسار العمل الحقيقي واستثناءاته.