أعلن Openai عن خطط لتطوير نظام تلقائي للعمرية لتحديد ما إذا كان مستخدمو ChatGPT قد تجاوزوا أو أقل من 18 عامًا ، في أعقاب دعوى تتعلق بانتحار المراهق. يزعم والدا المراهق أن Sam Altman من AI chatbot كان بمثابة “مدرب الانتحار” للبلاد.
ذكرت ARS Technica أنه في أعقاب دعوى قضائية شملت صبيًا يبلغ من العمر 16 عامًا توفي بشكل مأساوي عن طريق الانتحار بعد الانخراط في محادثات مكثفة مع ChatGPT ، أعلنت Openai عن نيتها في تنفيذ نظام التحقق من العمر من أجل chatbot الشهير. تهدف الشركة إلى توجيه المستخدمين الأصغر سنا تلقائيًا إلى إصدار مقيد من الخدمة ، مما يعطي الأولوية للسلامة على الخصوصية والحرية للمراهقين.
اعترف سام ألتمان ، الرئيس التنفيذي لشركة Openai ، بالتنازل عن الخصوصية المحتملة للبالغين في منشور المدونة ، لكنه يعتقد أنه من الضروري أن يضمن رفاهية المستخدمين الأصغر سناً. تخطط الشركة لتوجيه المستخدمين الذين تقل أعمارهم عن 18 عامًا إلى تجربة ChatGPT المعدلة التي تمنع المحتوى الجنسي الرسومي وتتضمن قيودًا أخرى مناسبة للعمر. عندما يكون غير متأكد من عمر المستخدم ، سيقوم النظام بالتخلف عن التجربة المقيدة ، مما يتطلب من البالغين التحقق من عمرهم للوصول إلى الوظائف الكاملة.
يعد تطوير نظام فعال للتقدم العمري تحديًا تقنيًا معقدًا لـ Openai. لم تحدد الشركة التكنولوجيا التي تعتزم استخدامها أو توفر جدولًا زمنيًا للنشر. أظهرت الأبحاث الأكاديمية الحديثة كل من الاحتمالات والقيود على اكتشاف العمر استنادًا إلى تحليل النص. في حين أن بعض الدراسات حققت معدلات دقة عالية في ظل الظروف الخاضعة للرقابة ، ينخفض الأداء بشكل كبير عند محاولة تصنيف فئات عمرية محددة أو عندما يحاول المستخدمون بنشاط خداع النظام.
بالإضافة إلى نظام التنبؤ العمري ، يخطط Openai لإطلاق ضوابط الوالدين بحلول نهاية سبتمبر. ستسمح هذه الميزات للآباء بربط حساباتهم بحسابات المراهقين ، وتعطيل وظائف محددة ، وتعيين ساعات التعتيم ، وتلقي الإخطارات عندما يكتشف النظام الضيق الحاد في تفاعلات المراهقين. ومع ذلك ، تلاحظ الشركة أنه في حالات الطوارئ النادرة التي لا يمكن الوصول فيها من الآباء ، قد يشملون إنفاذ القانون كخطوة تالية.
يتبع الضغط على تدابير السلامة المحسّنة إقرار Openai بأن بروتوكولات السلامة في ChatGPT يمكن أن تنهار أثناء المحادثات الطويلة ، وربما تفشل في التدخل أو إخطار أي شخص عندما يشارك المستخدمون الضعيفون في تفاعلات ضارة. أبرزت الحالة المأساوية لآدم رين ، البالغ من العمر 16 عامًا والتي توفيت بسبب الانتحار ، أوجه القصور في النظام عندما ذكرت الانتحار 1،275 مرة في محادثات مع المراهق دون اتخاذ إجراء مناسب.
أبلغت Breitbart News سابقًا عن دعوى قضية عائلة Raine ، والتي تسمي Chatgpt “مدرب الانتحار:” ابنهم “Suicide Coach:”.
وفقًا للدعوى القضائية المكونة من 40 صفحة ، كان آدم يستخدم chatgpt كبديل للرفقة البشرية ، حيث كان يناقش صراعاته مع القلق وصعوبة التواصل مع عائلته. تكشف سجلات الدردشة أن الروبوت ساعد في البداية آدم في واجبه المنزلي ، لكنه أصبح أكثر مشاركة في حياته الشخصية.
يزعم رينز أن “Chatgpt ساعد بنشاط آدم في استكشاف أساليب الانتحار” وأنه “على الرغم من الاعتراف بمحاولة انتحار آدم وبيانه بأنه” سيفعل ذلك في أحد هذه الأيام ، لم ينهي chatgpt الجلسة أو بدأ أي بروتوكول للطوارئ. “
في بحثهم عن إجابات بعد وفاة ابنهما ، اكتشف مات وماريا رين مدى تفاعلات آدم مع Chatgpt. طبعوا أكثر من 3000 صفحة من الدردشات التي يرجع تاريخها إلى سبتمبر 2024 حتى وفاته في 11 أبريل 2025. صرح مات رين ، “لم يكتب لنا ملاحظة انتحارية. لقد كتب ملاحظتين للانتحار إلينا ، داخل Chatgpt.”
تعكس جهود Openai لإنشاء مساحة رقمية أكثر أمانًا للمستخدمين الشباب شركات التكنولوجيا الأخرى ، مثل YouTube Kids ، وحسابات Instagram Teen ، وقيود Tiktok تحت 16 عامًا. ومع ذلك ، غالباً ما يتحايل المراهقون على التحقق من العمر من خلال إدخالات تاريخ الميلاد الخاطئة أو الحسابات المقترضة أو الحلول الفنية ، مما يشكل تحديات مستمرة لهذه المبادرات.
تؤثر AI chatbots سلبًا على الصحة العقلية للمراهقين والبالغين ، وخاصة بالنسبة لأولئك الذين يتعاملون بالفعل مع تحديات الصحة العقلية. تم الإبلاغ عن Breitbart News سابقًا على ما يعرف شعبياً باسم “Psychosis الناجم عن ChatGPT:”
أدى خيط Reddit الذي يحمل عنوان “ChatGPT الناجم عن الذهان” هذه القضية إلى الضوء ، حيث يشارك العديد من المعلقين قصصًا عن أحبائهم الذين سقطوا في ثقوب الأرانب ذات الوهم الخارق والهوس بعد الانخراط مع Chatgpt. وصف الملصق الأصلي ، وهي مدرس يبلغ من العمر 27 عامًا ، كيف أصبح شريكها مقتنعًا بأن الذكاء الاصطناعى كان يعطيه إجابات على الكون ويتحدث معه كما لو كان المسيح التالي. شارك آخرون تجارب مماثلة من الشركاء والأزواج وأفراد الأسرة الذين اعتقدوا أنهم تم اختيارهم للبعثات المقدسة أو استحضروا المشاعر الحقيقية من البرنامج.
يقترح الخبراء أن الأفراد الذين يعانون من ميول موجودة مسبقًا تجاه القضايا النفسية ، مثل الأوهام الفخمة ، قد يكونون عرضة بشكل خاص لهذه الظاهرة. يمكن أن تكون القدرات المحادثة على مستوى الإنسان دائمًا على المستوى البشري بمثابة غرفة صدى لهذه الأوهام ، وتعزيزها وتضخيمها. تتفاقم المشكلة من قبل المؤثرين ومبدعي المحتوى الذين يستغلون هذا الاتجاه ، مما يجذب المشاهدين إلى عوالم خيالية مماثلة من خلال تفاعلاتهم مع الذكاء الاصطناعي على منصات التواصل الاجتماعي.
اقرأ المزيد في ARS Technica هنا.
