الأمن السيبراني وحقن الأوامر وصلاحيات الأدوات

Cybersecurity, Prompt Injection and Tool Permissions

أهداف التعلم
  • شرح موضوع «الأمن السيبراني وحقن الأوامر وصلاحيات الأدوات» بلغة عملية.
  • تطبيق المفهوم على سير عمل واقعي للطبيب.
  • التعرف على الخطر الرئيسي المتعلق بالسلامة أو الموثوقية.
  • استخدام قاعدة أمان بسيطة في الممارسة اليومية.
المفهوم
المفهوم الأساسي

قد تتفاعل أنظمة الذكاء الاصطناعي مع الوثائق والمواقع والأدوات. قد يحاول المحتوى الخبيث أو غير الموثوق التلاعب بالتعليمات وتزيد الصلاحيات الواسعة أثر الخطأ.

Show English

AI systems can interact with documents, websites and tools. Malicious or untrusted content may try to manipulate instructions, and broad permissions can increase the impact of an error.

مثال سريري
مثال سريري

قد يصادف وكيل يقرأ وثيقة مرفوعة تعليمات مخفية تطلب تجاهل المهمة وكشف البيانات المتصلة.

Show English

An agent reading an uploaded document may encounter hidden instructions telling it to ignore its task and expose connected data.

أين قد يحدث الخطأ
أين قد يحدث الخطأ

قد يثق المستخدم باستقلالية الوكيل دون فهم الأنظمة التي يمكنه قراءتها أو تعديلها.

Show English

Users may trust an agent's autonomy without understanding which systems it can read or change.

قاعدة الاستخدام الآمن
قاعدة الاستخدام الآمن

استخدم أقل صلاحية ممكنة ومدخلات موثوقة وسجلات تدقيق وموافقة بشرية قبل الإجراءات ذات العواقب.

Show English

Use least privilege, trusted inputs, logging and human approval for consequential actions.

تدريب 60 ثانية
تدريب لمدة 60 ثانية

اختر مهمة حديثة ترتبط بموضوع «الأمن السيبراني وحقن الأوامر وصلاحيات الأدوات». اكتب: المدخل، مخرج الذكاء الاصطناعي، الضرر المحتمل إذا كان خاطئاً، مصدر الحقيقة، وخطوة المراجعة البشرية.

Show English

Choose one recent task related to cybersecurity, prompt injection and tool permissions. Write: input, AI output, possible harm if wrong, source of truth and human review step.

اختبار سريع (4)

سؤال 1
أي إجراء يعكس الممارسة الآمنة بشكل أفضل في موضوع «الأمن السيبراني وحقن الأوامر وصلاحيات الأدوات»؟
سؤال 2
المخرج السلس والواثق من الذكاء الاصطناعي دليل كافٍ على أن المحتوى صحيح سريرياً.
سؤال 3
قبل أن يغير مخرج الذكاء الاصطناعي رعاية المريض، ما المبدأ العام الأهم؟
سؤال مفتوح 4
اذكر خطراً واحداً مرتبطاً بموضوع «الأمن السيبراني وحقن الأوامر وصلاحيات الأدوات» وإجراءً يقلله.

بطاقات تعليمية (3)

المصادر