الموديل مش المنتج

لما حد يسمع «ذكاء اصطناعي» في الصحة بيفتكر الموديل. بس الموديل جزء صغير من أي منتج صحي محترم.

اللي حواليه هو اللي بيحدد الأمان: حدود واضحة لما يقدر يعمله، وبوابة تحقق قبل أي مخرج، وأثر مراجعة، وخطوات تصعيد لإنسان.

باختصار:

• الموديل بيرتّب ويقترح. هو مساعد، مش مصدر قرار.
• أربع حاجات حواليه هي اللي بتحدد إذا كان المنتج الصحي آمن: الحدود، وبوابة التحقق، وأثر المراجعة، وإن الحالة تتسلّم لإنسان.
• السؤال اللي يتسأل مش «الموديل ذكي قد إيه؟»، لكن «لو غلط، إيه اللي هيمسكه؟».

الموديل في النص، والأمان بيتبني حواليه.

إيه اللي بيخلّي الذكاء الاصطناعي في الصحة آمن؟

المنتج الصحي اللي فيه ذكاء اصطناعي بيبقى آمن لما تصميمه يفترض إن الموديل هيغلط أحيانًا، ويكون في حاجة غير الموديل موجودة علشان تمسك الغلط ده. وده عمليًا معناه أربع حاجات: حدود على اللي الموديل يقدر يعمله، بتتحط قبل ما يتستخدم؛ وبوابة تحقق بتراجع كل مخرج قبل ما حد يشوفه؛ وأثر مراجعة بيحفظ كل خطوة؛ وإنسان بيقرر لما النظام ما يبقاش متأكد.

موديل شاطر من غير الأربع حاجات دول عرض تجريبي، مش منتج صحي. وتحت هتلاقي كل واحدة فيهم بتمسك إيه، والأسئلة اللي تسألها لأي أداة صحية بالذكاء الاصطناعي، وإحنا منهم.

ليه الموديل هو الجزء الصغير؟

الموديل ممكن يبهرك في عرض تجريبي، ويفضل مش آمن في عيادة. العرض بيوريك الموديل بيعمل إيه لما يكون صح. لكن المنتج الصحي لازم يتصمم للحظة اللي يغلط فيها: كلمة اتفهمت غلط، أو تفصيلة ناقصة، أو إجابة طالعة بثقة أكبر من اللازم.

واللحظات دي مش حوادث نادرة، دي جزء من طريقة شغل نماذج اللغة. نفس السؤال ممكن يرجع بإجابة مختلفة. والملخص ممكن يبقى فيه تفصيلة محدش قالها. وجملة بلهجة الموديل ما قابلهاش كتير ممكن تتفهم حاجة تانية. وإرشادات منظمة الصحة العالمية سنة 2024 عن النماذج الكبيرة متعددة الوسائط، وهي نوع الذكاء الاصطناعي التوليدي اللي ورا أدوات الشات اللي الناس بتستخدمها النهارده، بتشير لمخاطر موثقة إنها تطلّع كلام غلط أو مش دقيق أو متحيز أو ناقص، ممكن يأذي الناس اللي بيعتمدوا عليه في قرارات صحية.

وفي سبب إقليمي كمان. تقرير منظمة الصحة العالمية عن الذكاء الاصطناعي في الصحة سنة 2021 بينبّه إن الأنظمة اللي اتدربت أساسًا على بيانات من الدول مرتفعة الدخل ممكن ما تشتغلش كويس في البلاد منخفضة ومتوسطة الدخل، وبيطلب إن الذكاء الاصطناعي يتصمم على قد تنوّع أماكن الرعاية الصحية اللي هيقابلها. فالمنتج اللي معمول للشرق الأوسط وأفريقيا، بالعربي ولهجاته، لازم يتوقع إن الموديل هيقابل كلام شاف منه قليل وهو بيتدرب، ويتبني على الأساس ده.

علشان كده أهم شغل بيبقى برّه الموديل. هو اللي بيحدد الموديل مسموحله يلمس إيه، ومخرجه بيحصله إيه قبل ما حد يشوفه، ومين بيتدخل لما الموديل ما يبقاش متأكد.

أربع حاجات حوالين الموديل

1. حدود واضحة لما يقدر يعمله. بتتحط قبل ما يتستخدم، مش بنكتشفها بعدين. وأول حد في ميديچايز إن مفيش أي جزء من المنتج بيدّي تشخيص، وكتبنا الحدود دي في تلات حاجات مش هنبنيها.
2. بوابة تحقق قبل أي مخرج. كل مخرج بيتراجع بحاجة مش هي الموديل، علشان المراجعة تقدر تمسك الموديل وهو غلطان.
3. أثر مراجعة. اللي حصل في كل خطوة بيتحفظ، علشان نقدر نرجع نشوفه.
4. تصعيد لإنسان. لما النظام ما يبقاش متأكد، إنسان هو اللي يقرر، والاستعجال بيزيد مش بيقل.

كل واحدة فيهم بترد على نوع غلط مختلف، وعلشان كده مفيش واحدة تقدر تاخد مكان التانية:

حوالين الموديل	بتعمل إيه	موجودة علشان تمسك إيه
حدود واضحة	بتقول من الأول الأداة تقدر تعمل إيه وما تقدرش تعمل إيه	أداة بتنزلق لقرارات من حق الطبيب
بوابة تحقق	بتراجع كل مخرج قبل ما يظهر	مخرج بيكسر حد من الحدود
أثر مراجعة	بيحفظ اللي اتسأل واللي اتجاوب واللي ظهر	غلط محدش يقدر يتتبعه، فمحدش يقدر يصلّحه
تصعيد لإنسان	بيسلّم الحالة لإنسان لما النظام ما يبقاش متأكد	تخمين متقدّم على إنه قرار

الحد اللي محدش بيراجعه مجرد أمنية، وعلشان كده البوابة مهمة قد الحدود نفسها. والأثر هو اللي بيخلّي النظام كله قابل للتصحيح. شغل سلامة المرضى بيتعامل مع الإبلاغ عن الحوادث كوسيلة للتعلّم مش للّوم، ومنظمة الصحة العالمية بتعدّ أنظمة الإبلاغ عن الحوادث علشان التعلّم والتحسين المستمر من سمات النظام الصحي الآمن. وأثر المراجعة بيعمل نفس الشغلانة في البرمجيات. من غيره، المخرج الغلط بيبقى حكاية بتتحكي. وبيه، بيبقى خطوة حد يقدر يلاقيها ويفهمها ويغيّرها.

مهندس بيقول

نتعامل مع الموديل كمساعد يرتب ويقترح، مش كمصدر قرار. وأي مخرج حساس بيتراجع قبل ما يوصل لحد.

كل مهمة ليها مكانها، والموديل ليه واحدة بس منهم.

وفي عادة طالعة من الجملة دي على طول: المراجعة عمرها ما تكون الموديل وهو بيصحّح شغله بنفسه. المراجعة ما تنفعش غير لو تقدر تختلف مع اللي بتراجعه.

وإرشادات منظمة الصحة العالمية عن الذكاء الاصطناعي في الصحة بتحط نفس الفكرة أول مبادئها الستة: البشر لازم يفضلوا متحكمين في أنظمة الرعاية الصحية والقرارات الطبية.

واقرا الخمسة الباقيين وفي دماغك سؤال المقال ده، هتلاقي أغلبهم بيوصفوا اللي حوالين الموديل مش الموديل نفسه: رقابة على الجودة في الممارسة الفعلية، ومعلومات موثقة قبل ما تقنية الذكاء الاصطناعي تتطرح، وطرق للاعتراض على القرارات المبنية على الخوارزميات والحصول على إنصاف، وتقييم مستمر أثناء الاستخدام الفعلي.

والجهات اللي بتنظّم الأجهزة الطبية وصلت لنفس النقطة من طريق تاني. واحد من عشر مبادئ استرشادية للتعلّم الآلي في الأجهزة الطبية، أصدرتها إدارة الغذاء والدواء الأمريكية ووزارة الصحة الكندية والوكالة البريطانية لتنظيم الأدوية ومنتجات الرعاية الصحية، بيطلب التركيز على أداء الفريق اللي فيه الإنسان والذكاء الاصطناعي مع بعض، مش بس أداء الموديل لوحده. المبدأ ده اتكتب للأجهزة الطبية، بس الدرس بيمشي على غيرها.

ونفس إرشادات 2024 بتضيف تحذير يخص آخر طبقة. بتوصف حاجة اسمها «انحياز الأتمتة»: إن العاملين في الصحة والمرضى يعدّوا أخطاء كانوا هيمسكوها في العادي، أو يسيبوا قرار صعب للآلة. والإنسان اللي في الحلقة ما بيفيدش غير لو هو اللي بيقرر بجد.

مثال عملي: رسالة واحدة وأربع طبقات

ده شكل الأربع طبقات وهي بتقابل رسالة واحدة. ده رسم توضيحي مش مريض حقيقي، والتفاصيل الطبية فيه مش واضحة عن قصد.

1. الرسالة بتوصل. حد بيكتب، نص بالعامية ونص بالإنجليزي، إن في وجع بدأ من كام يوم، وإنه بيزيد، وإنه خد له «البرشامة اللي بناخدها دايمًا».
2. الموديل بيرتّب ويقترح. بيفصل المعروف (شكوى، ومن إمتى تقريبًا، وإنها بتزيد) عن الناقص (فين بالظبط، وأنهي برشامة)، ويقترح السؤال الجاي.
3. الحدود ثابتة، مهما الموديل فهم إيه. الأداة مش مسموحلها تسمّي مرض، ولا تقول إن ده غالبًا حاجة بسيطة.
4. البوابة بتراجع المخرج. قبل ما السؤال الجاي أو أي ملخص يوصل للشخص، حاجة مش هي الموديل بتراجعه على الحدود دي. والمخرج اللي ما يعدّيش ما بيطلعش.
5. الأثر بيحفظه. اللي اتسأل واللي اتجاوب واللي ظهر بيتحفظ، علشان لو سؤال طلع غلط، حد يقدر يعرف فين وليه.
6. إنسان بيقرر لما النظام ما يبقاش متأكد. لو الإجابات سابت شك حقيقي، إنسان هو اللي بيقرر، والاستعجال بيزيد مش بيقل.

خد بالك الموديل عمل إيه في الحكاية دي: رتّب، واقترح. وكل اللي خلّى التعامل آمن حصل حواليه. ولو إجابة كانت أشّرت لعلامة خطر محتاجة إسعاف، كانت الخطوة الجاية هي المكالمة، مش كتابة أكتر.

أخطاء شائعة في الحكم على منتج صحي بالذكاء الاصطناعي

• إنك تحكم عليه من العرض التجريبي. العرض بيتختار علشان يمشي كويس. اسأل إيه اللي بيحصل في اليوم اللي يمشي فيه وحش.
• إنك تثق في النبرة الواثقة. نماذج اللغة بتكتب جمل سلسة وواثقة سواء كانت صح أو غلط. الكلام الواثق مش دليل.
• إنسان في الحلقة كل شغله يدوس «موافق». شخص مطلوب منه يوافق على سيل من المخرجات، من غير وقت ولا سبب يخليه يشك، معرّض يقع في انحياز الأتمتة اللي منظمة الصحة العالمية بتحذّر منه. وده مش رقابة.
• إنك تضيف الأمان بعد الإطلاق. الحدود اللي بتتحط بعد ما حاجة غلط حصلت تصليح. والحدود اللي بتتحط قبل الاستخدام تصميم.
• إنك تقدّم نتيجة الموديل على إنها نتيجة المنتج. الموديل لما يتختبر لوحده بيقول حاجة قليلة عن النظام كله وهو بيشتغل مع ناس حقيقيين وفي سير عمل حقيقي. وعلشان كده إحنا ما بندّعيش أي أثر قبل ما يتقاس، مقارنة بنقطة بداية اتقاست الأول.

أسئلة تسألها قبل ما تثق في أداة صحية بالذكاء الاصطناعي

السؤال اللي تحت واحد للكل: لو غلطت، إيه اللي هيمسكها؟ بس صوته بيختلف من كل ناحية.

لو انت مريض أو حد من العيلة:

• هل بتقولّي أنا عندي إيه؟ المفروض لأ. التشخيص محتاج طبيب يقدر يكشف عليك.
• لما ما تبقاش متأكدة، بتقول كده؟ ومين بيستلم؟
• هل بتقولّي إن حاجة ممكن تستنى؟ أداة الملاحة ما ينفعش تطمّنك على حاجة محتاجة كشف.
• هل أي حاجة بقولها بتتنقل من غير موافقتي؟ المفروض ما تتنقلش غير بموافقتك، زي ما شرحنا في ملف يتحرك معاك.

لو بتدير عيادة أو مستشفى:

• اطلب الحدود مكتوبة: الأداة عمرها ما هتعمل إيه، وإن ده اتقرر قبل ما تتبني.
• اسأل إيه اللي بيراجع كل مخرج قبل ما يوصل لمريض أو لطبيب، وهل المراجعة دي منفصلة عن الموديل.
• اطلب تشوف الأثر بتاع حالة واحدة، من أول رسالة لحد التسليم. لو محدش يقدر يوريهولك، يبقى محدش يقدر يصلّحه.
• اسأل قاسوا إيه، وإزاي، ومقارنة بأنهي نقطة بداية. الرقم اللي من غير طريقة قياس مش ادعاء تعتمد عليه.
• اسأل إيه اللي هيتغير لو الموديل اتبدّل بواحد أحدث. لو الحدود والبوابة والأثر والتسليم هيفضلوا زي ما هم، يبقى الأمان ساكن في المنتج.
• اسأل هل الأداة بتشتغل فوق الأنظمة اللي عندك، ولا بتطلب منك تغيّرها. وإجابتنا إحنا موجودة في المنافس الحقيقي هو الواتساب والورقة.

الموديل، ولا اللي حواليه؟

ست أجزاء من أي منتج صحي بالذكاء الاصطناعي. قرّر كل جزء تبع الموديل، ولا تبع اللي بيتبني حواليه:

الخلاصة

السؤال المهم مش «الموديل ذكي قد إيه؟». السؤال: «لو غلط، إيه اللي هيمسكه؟». ده اللي بنبنيه حوالين الموديل.

اسأل أي منتج صحي بالذكاء الاصطناعي: انت أنهي واحد فيهم؟

وده سؤال بندعوك تسألهولنا إحنا كمان، وكتبناه مع أسئلة تانية في ليه بنبني قدام الناس. وعن أداة الملاحة تقدر تعمل إيه للمريض وما تقدرش إيه، اقرا هل التطبيق يقدر يقولك حالتك طارئة؟ وعن مكان الشغل ده حوالين العلاج، اقرا يعني إيه «عمليات الرعاية»؟

أسئلة شائعة

إيه الفرق بين موديل الذكاء الاصطناعي والمنتج؟

الموديل هو الجزء اللي بيقرا ويقترح. والمنتج هو كل اللي حواليه: الحدود على اللي يقدر يعمله، والمراجعة على مخرجه، وأثر اللي حصل، والناس اللي بتقرر.

هل موديل الذكاء الاصطناعي يقدر يشخّص؟

أدوات ميديچايز مش بتشخّص. التشخيص للطبيب اللي يقدر يكشف على المريض.

يعني إيه بوابة تحقق؟

مراجعة برّه الموديل، بيعدّي عليها كل مخرج قبل ما يوصل لأي حد.

يعني إيه «إنسان في الحلقة» في الذكاء الاصطناعي الصحي؟

يعني إن إنسان، مش الموديل، هو اللي بياخد القرارات المهمة، وعنده الوقت والمعلومة اللي تخليه يقدر يختلف معاه. ومنظمة الصحة العالمية بتحط تحكّم البشر في القرارات الطبية أول مبادئها الستة للذكاء الاصطناعي في الصحة.

هل الموديل الأدق بيبقى أأمن تلقائيًا؟

لأ. النتيجة اللي بتتقاس على الموديل لوحده بتقول حاجة قليلة عن النظام كله وهو بيشتغل مع ناس حقيقيين. والجهات اللي بتنظّم الذكاء الاصطناعي في الأجهزة الطبية بتطلب التركيز على الفريق اللي فيه الإنسان والذكاء الاصطناعي، مش الموديل لوحده.

ليه ميديچايز بتقول «مساعد بالذكاء الاصطناعي»؟

لأن الموديل بيساعد. بيرتّب ويقترح، والطبيب هو القائد دايمًا.

إيه اللي بيحصل لما النظام ما يبقاش متأكد؟

إنسان هو اللي بيقرر، ولما يكون في شك، الاستعجال بيزيد، عمره ما بينزل.

ميديچايز أداة ملاحة وتنسيق غير تشخيصية. الكلام هنا توعية عامة مش نصيحة طبية. في الطوارئ اطلب الإسعاف أو روح أقرب طوارئ.

المراجع

1. منظمة الصحة العالمية: أول تقرير عالمي عن الذكاء الاصطناعي في الصحة وستة مبادئ توجيهية لتصميمه واستخدامه (2021)
2. منظمة الصحة العالمية: أخلاقيات الذكاء الاصطناعي في مجال الصحة وحوكمته (2021)
3. منظمة الصحة العالمية: إرشادات بشأن أخلاقيات الذكاء الاصطناعي وحوكمته للنماذج الكبيرة متعددة الوسائط (2024)
4. الوكالة البريطانية لتنظيم الأدوية ومنتجات الرعاية الصحية وإدارة الغذاء والدواء الأمريكية ووزارة الصحة الكندية: الممارسة الجيدة للتعلّم الآلي في تطوير الأجهزة الطبية: مبادئ استرشادية (2021)
5. منظمة الصحة العالمية: سلامة المرضى (صحيفة وقائع)
6. منظمة الصحة العالمية: خطة العمل العالمية لسلامة المرضى 2021–2030