إذ باتوا يلجؤون إليه للحديث عن مخاوفهم ومشكلاتهم الشخصية، وربما لطلب النصيحة في أصعب لحظاتهم.
هذه العلاقة تثير تساؤلات بشأن قدرة البرامج على التعامل مع مستخدمين لا يزالون في مرحلة تكوين شخصياتهم، ومدى إدراكهم أن الإجابات -مهما بدت متفهمة أو معقولة- تصدر عن نظام آلي لا عن إنسان.
وقد أعادت دعوى قضائية رفعتها عائلة لبنانية في الولايات المتحدة ضد شركة "أوبن إيه آي"، بعد وفاة ابنها المراهق، النقاش بشأن مسؤولية الشركات المطورة لهذه التقنيات والضمانات اللازمة لحماية مستخدميها الأكثر هشاشة.
وتواجه الشركة دعاوى أخرى تتعلق بسلامة القاصرين، وهي اتهامات ترد عليها الشركة بأنها طورت أدوات تسمح للأبوين بمراقبة أنشطة الأبناء على منصاتها وتوفير وسائل حماية مخصصة للمراهقين.
