يقول المخبر عن المخالفات على Facebook إن خوارزمياته خطيرة. إليكم السبب.

فرانسيس هوغن يدلي بشهادته خلال إحدى لجان مجلس الشيوخ

المُبلغ عن المخالفات على فيسبوك ، فرانسيس هوغن ، يدلي بشهادته خلال إحدى لجان مجلس الشيوخ في 5 أكتوبر / تشرين الأول.درو أنجرير / جيتي إيماجيس



مساء الأحد ، المصدر الأساسي ل ملفات Facebook الخاصة بـ Wall Street Journal ، سلسلة استقصائية تستند إلى وثائق داخلية على موقع Facebook ، كشفت عن هويتها في حلقة من 60 دقيقة .

تقول فرانسيس هاوجين ، مديرة المنتجات السابقة في الشركة ، إنها تقدمت بعد أن رأت أن قيادة Facebook تعطي الأولوية بشكل متكرر للربح على السلامة.





قبل الاستقالة في شهر مايو من هذا العام ، قامت بتمشيط Facebook Workplace ، شبكة التواصل الاجتماعي الداخلية لموظفي الشركة ، وجمعت مجموعة واسعة من التقارير والأبحاث الداخلية في محاولة لإثبات أن Facebook قد اختار عمدًا عدم إصلاح المشكلات في موقعه. برنامج.

وأدلت اليوم بشهادتها أمام مجلس الشيوخ حول تأثير فيسبوك على المجتمع. كررت العديد من النتائج من البحث الداخلي وناشدت الكونجرس للتحرك.

كيف أدمن Facebook على نشر المعلومات الخاطئة

أعطتها خوارزميات الذكاء الاصطناعي للشركة عادة نهمة للأكاذيب وخطاب الكراهية. الآن الرجل الذي بناها لا يستطيع حل المشكلة.



قالت في بيانها الافتتاحي أمام المشرعين إنني هنا اليوم لأنني أعتقد أن منتجات Facebook تضر الأطفال وتؤجج الانقسام وتضعف ديمقراطيتنا. هذه المشاكل قابلة للحل. من الممكن أن تكون وسائل التواصل الاجتماعي أكثر أمانًا وتحترم حرية التعبير وأكثر إمتاعًا. ولكن هناك شيء واحد أتمنى أن ينتبه الجميع من هذه الإفصاحات ، وهو أن Facebook يمكن أن يتغير ، ولكن من الواضح أنه لن يفعل ذلك بمفرده.

خلال شهادتها ، ألقت Haugen باللوم بشكل خاص على خوارزمية Facebook وقرارات تصميم النظام الأساسي للعديد من مشكلاتها. يعد هذا تحولًا ملحوظًا عن التركيز الحالي لصانعي السياسات على سياسة محتوى Facebook والرقابة - ما الذي ينطبق على Facebook وما لا ينتمي إليه. يعتقد العديد من الخبراء أن هذا المنظور الضيق يؤدي إلى استراتيجية الضرب الخلد التي تغفل الصورة الأكبر.

قال Haugen ، إنني مدافع قوي عن الحلول غير القائمة على المحتوى ، لأن هذه الحلول ستحمي الأشخاص الأكثر ضعفًا في العالم ، مشيرًا إلى قدرة Facebook غير المتكافئة على فرض سياسة المحتوى الخاصة به بلغات أخرى غير الإنجليزية.

شهادة Haugen تردد العديد من النتائج من تحقيق MIT Technology Review نُشر في وقت سابق من هذا العام ، والذي استند إلى عشرات المقابلات مع المسؤولين التنفيذيين في Facebook ، والموظفين الحاليين والسابقين ، والنظراء في الصناعة ، والخبراء الخارجيين. لقد جمعنا الأجزاء الأكثر صلة من تحقيقنا والتقارير الأخرى لتوفير سياق أكثر لشهادة Haugen.



كيف تعمل خوارزمية Facebook؟

بالعامية ، نستخدم مصطلح خوارزمية Facebook كما لو كان هناك واحد فقط. في الواقع ، يقرر Facebook كيفية استهداف الإعلانات وترتيب المحتوى بناءً على مئات ، وربما الآلاف ، من الخوارزميات. بعض هذه الخوارزميات تستدعي تفضيلات المستخدم وتعزز هذا النوع من المحتوى في موجز أخبار المستخدم. البعض الآخر مخصص لاكتشاف أنواع معينة من المحتوى السيئ ، مثل العُري أو البريد العشوائي أو عناوين clickbait وحذفها أو دفعها إلى أسفل الخلاصة.

تُعرف كل هذه الخوارزميات باسم خوارزميات التعلم الآلي. أنا كتب في وقت سابق من هذا العام :

على عكس الخوارزميات التقليدية ، التي تم ترميزها من قبل المهندسين ، فإن خوارزميات التعلم الآلي تتدرب على بيانات الإدخال لمعرفة الارتباطات داخلها. يمكن للخوارزمية المدربة ، والمعروفة باسم نموذج التعلم الآلي ، أتمتة القرارات المستقبلية. على سبيل المثال ، قد تعلم خوارزمية تم تدريبها على بيانات النقرات على الإعلانات أن النساء ينقرن على إعلانات ملابس اليوغا أكثر من الرجال. سيعرض النموذج الناتج بعد ذلك المزيد من هذه الإعلانات على النساء.

وبسبب الكميات الهائلة من بيانات المستخدم على Facebook ، يمكن ذلك

تطوير نماذج تعلمت أن تستنتج ليس فقط وجود فئات واسعة مثل النساء والرجال ، ولكن أيضًا من الفئات الدقيقة جدًا مثل النساء بين 25 و 34 عامًا اللائي أحبن صفحات Facebook المتعلقة باليوغا ، و [استهداف] الإعلانات لهم. كلما كان الاستهداف أكثر دقة ، كانت فرصة النقرة أفضل ، الأمر الذي من شأنه أن يمنح المعلنين مزيدًا من الدفعة مقابل أموالهم.

تنطبق نفس المبادئ على ترتيب المحتوى في موجز الأخبار:

تمامًا كما [يمكن] تدريب الخوارزميات على التنبؤ بمن سينقر على الإعلان ، [يمكن] أيضًا تدريبهم على التنبؤ بمن يرغب في المنشور أو مشاركته ، ومن ثم إعطاء هذه المنشورات مكانة بارزة. إذا حدد النموذج أن شخصًا ما يحب الكلاب حقًا ، على سبيل المثال ، فإن مشاركات الأصدقاء عن الكلاب ستظهر أعلى في موجز الأخبار لهذا المستخدم.

قبل أن يبدأ Facebook في استخدام خوارزميات التعلم الآلي ، استخدمت الفرق أساليب التصميم لزيادة المشاركة. لقد جربوا أشياء مثل لون الزر أو تكرار الإشعارات للحفاظ على عودة المستخدمين إلى النظام الأساسي. لكن خوارزميات التعلم الآلي تخلق حلقة ردود فعل أكثر قوة. لا يمكنهم فقط تخصيص ما يراه كل مستخدم ، بل سيستمرون أيضًا في التطور مع التفضيلات المتغيرة للمستخدم ، حيث يعرضون دائمًا لكل شخص ما سيجعله أكثر تفاعلاً.

من يدير خوارزمية Facebook؟

داخل Facebook ، لا يوجد فريق مسؤول عن نظام تصنيف المحتوى بالكامل. يطور المهندسون ويضيفون نماذج التعلم الآلي الخاصة بهم إلى المزيج ، بناءً على أهداف فريقهم. على سبيل المثال ، ستعمل الفرق التي تركز على إزالة المحتوى السيئ أو تخفيض رتبته ، والمعروفة باسم فرق النزاهة ، على تدريب النماذج فقط لاكتشاف الأنواع المختلفة من المحتوى السيئ.

كان هذا قرارًا اتخذه Facebook في وقت مبكر كجزء من ثقافة التحرك السريع وكسر الأشياء. طورت أداة داخلية تعرف باسم تدفق FBLearner التي سهلت على المهندسين الذين ليس لديهم خبرة في التعلم الآلي تطوير أي نماذج يحتاجونها تحت تصرفهم. من خلال نقطة بيانات واحدة ، كان قيد الاستخدام بالفعل من قبل أكثر من ربع فريق الهندسة في Facebook في عام 2016.

لقد خاطرت بكل شيء لفضح Facebook. الآن هي تحكي قصتها.

كشفت صوفي زانج ، عالمة البيانات السابقة في فيسبوك ، أنها تتيح التلاعب السياسي العالمي ولم تفعل شيئًا يذكر لإيقافه.

يقول العديد من موظفي Facebook الحاليين والسابقين الذين تحدثت إليهم أن هذا جزء من سبب عدم قدرة Facebook على التعامل مع ما يقدمه للمستخدمين في موجز الأخبار. يمكن أن يكون للفرق المختلفة أهداف متنافسة ، وقد نما النظام معقدًا وغير عملي لدرجة أنه لم يعد بإمكان أي شخص تتبع جميع مكوناته المختلفة.

نتيجة لذلك ، فإن العملية الرئيسية للشركة لمراقبة الجودة هي من خلال التجريب والقياس. كما كتبت:

تدرب الفرق نموذجًا جديدًا للتعلم الآلي على FBLearner ، سواء لتغيير ترتيب ترتيب المنشورات أو لالتقاط أفضل للمحتوى الذي ينتهك معايير مجتمع Facebook (قواعده بشأن ما هو مسموح به وغير مسموح به على النظام الأساسي). ثم يختبرون النموذج الجديد على مجموعة فرعية صغيرة من مستخدمي Facebook لقياس كيفية تغييره لمقاييس التفاعل ، مثل عدد الإعجابات والتعليقات والمشاركات ، كما يقول كريشنا جيد ، الذي شغل منصب المدير الهندسي لتغذية الأخبار من 2016 إلى 2018 .

إذا قلل النموذج من التفاعل كثيرًا ، فسيتم التخلص منه. وبخلاف ذلك ، يتم نشرها ومراقبتها باستمرار. على تويتر ، جادي شرح أن مهندسيه سيتلقون إشعارات كل بضعة أيام عندما تنخفض المقاييس مثل الإعجابات أو التعليقات. ثم يقومون بفك شفرة سبب المشكلة وما إذا كانت أي نماذج تحتاج إلى إعادة التدريب.

كيف أدى تصنيف محتوى Facebook إلى انتشار المعلومات المضللة وخطاب الكراهية؟

خلال شهادتها ، عادت Haugen مرارًا وتكرارًا إلى فكرة أن خوارزمية Facebook تحرض على التضليل وخطاب الكراهية وحتى العنف العرقي.

فيسبوك ... يعرف - لقد اعترفوا علنًا - أن الترتيب القائم على المشاركة أمر خطير بدون أنظمة النزاهة والأمن ، لكن بعد ذلك لم يطرح أنظمة النزاهة والأمن هذه في معظم اللغات في العالم ، كما قالت لمجلس الشيوخ اليوم. إنه يفرق العائلات. وفي أماكن مثل إثيوبيا ، يؤدي ذلك حرفياً إلى تأجيج العنف العرقي.

هذا ما كتبته عن هذا سابقًا:

كما تفضل نماذج التعلم الآلي التي تزيد من المشاركة الجدل والتضليل والتطرف: ببساطة ، يحب الناس الأشياء الفاحشة.

يؤدي هذا أحيانًا إلى تأجيج التوترات السياسية القائمة. المثال الأكثر تدميراً حتى الآن هو حالة ميانمار ، حيث أدت الأخبار المزيفة وخطاب الكراهية حول أقلية الروهينجا المسلمة إلى تصعيد الصراع الديني في البلاد إلى إبادة جماعية كاملة. اعترف موقع Facebook في عام 2018 ، بعد سنوات من التقليل من أهمية دوره ، بأنه لم يفعل ما يكفي للمساعدة في منع استخدام منصتنا لإثارة الانقسام والتحريض على العنف خارج الإنترنت.

كما ذكر Haugen ، عرف Facebook هذا أيضًا منذ فترة. وجدت التقارير السابقة أنها كانت تدرس هذه الظاهرة منذ عام 2016 على الأقل.

في عرض تقديمي داخلي من ذلك العام ، راجعه وول ستريت جورنال وجدت الباحثة في الشركة ، مونيكا لي ، أن فيسبوك لا يستضيف عددًا كبيرًا من الجماعات المتطرفة فحسب ، بل يروجها أيضًا لمستخدميه: 64٪ من جميع الجماعات المتطرفة المنضمة بسبب أدوات التوصية الخاصة بنا ، كما قال العرض التقديمي ، ويرجع الفضل في ذلك في الغالب إلى النماذج وراء المجموعات التي يجب عليك الانضمام إليها واكتشاف الميزات.

في عام 2017 ، شكل كريس كوكس ، كبير مسؤولي المنتجات في Facebook ، فريق عمل جديدًا لفهم ما إذا كان تعظيم مشاركة المستخدم على Facebook يساهم في الاستقطاب السياسي. ووجدت أن هناك بالفعل علاقة متبادلة ، وأن تقليل الاستقطاب سيعني تلقي ضربة على المشاركة. في وثيقة منتصف عام 2018 راجعتها المجلة ، اقترحت فرقة العمل عدة إصلاحات محتملة ، مثل تعديل خوارزميات التوصية لاقتراح مجموعة أكثر تنوعًا من المجموعات لكي ينضم إليها الأشخاص. لكنها أقرت بأن بعض الأفكار كانت مناهضة للنمو. لم تتحرك معظم المقترحات إلى الأمام ، وحل فريق العمل.

في محادثاتي الخاصة ، أيد موظفو Facebook هذه النتائج أيضًا.

قال باحث سابق في الذكاء الاصطناعي على Facebook ، انضم في عام 2018 ، إنه أجرى هو وفريقه دراسة بعد دراسة تؤكد نفس الفكرة الأساسية: النماذج التي تزيد من المشاركة تزيد من الاستقطاب. يمكنهم بسهولة تتبع مدى موافقة المستخدمين أو عدم موافقتهم بشأن القضايا المختلفة ، والمحتوى الذي يحبون التعامل معه ، وكيف تغيرت مواقفهم نتيجة لذلك. بغض النظر عن المشكلة ، تعلمت النماذج تغذية المستخدمين بوجهات نظر متطرفة بشكل متزايد. ويقول إنه بمرور الوقت يصبحون أكثر استقطابًا بشكل ملموس.

السباق لفهم عالم اللغة المبهج والخطير للذكاء الاصطناعي

يعمل مئات العلماء حول العالم معًا لفهم واحدة من أقوى التقنيات الناشئة قبل فوات الأوان.

في شهادتها ، أكدت Haugen أيضًا مرارًا وتكرارًا كيف أن هذه الظواهر أسوأ بكثير في المناطق التي لا تتحدث الإنجليزية بسبب تغطية Facebook غير المتكافئة للغات المختلفة.

في حالة إثيوبيا هناك 100 مليون شخص وست لغات. وقالت إن فيسبوك يدعم لغتين فقط من تلك اللغات لأنظمة النزاهة. هذه الإستراتيجية المتمثلة في التركيز على أنظمة خاصة بلغة معينة ومحتوى معين لكي ينقذنا الذكاء الاصطناعي محكوم عليها بالفشل.

وتابعت: لذا فإن الاستثمار في طرق غير قائمة على المحتوى لإبطاء النظام الأساسي لا يحمي فقط حريتنا في الكلام ، بل إنه يحمي حياة الناس.

أستكشف هذا أكثر في مقال مختلف من وقت سابق هذا العام حول قيود نماذج اللغات الكبيرة أو LLMs:

على الرغم من وجود هذه النواقص اللغوية في LLM ، فإن Facebook يعتمد بشكل كبير عليها لأتمتة الإشراف على المحتوى على مستوى العالم. عندما اندلعت الحرب في تيغراي [، إثيوبيا] لأول مرة في تشرين الثاني (نوفمبر) ، رأى الباحث الأخلاقي في منظمة العفو الدولية Timnit جيبرو أن المنصة تتعثر للتعامل مع موجة المعلومات المضللة. هذا هو رمز لنمط مستمر لاحظه الباحثون في الاعتدال في المحتوى. تعاني المجتمعات التي تتحدث لغات لم يحددها وادي السيليكون من أكثر البيئات الرقمية عدائية.

وأشار جيبرو إلى أن هذا ليس المكان الذي ينتهي فيه الضرر أيضًا. عندما لا يتم الإشراف على الأخبار المزيفة وخطاب الكراهية وحتى التهديدات بالقتل ، يتم حذفها بعد ذلك على أنها بيانات تدريب لبناء الجيل التالي من LLM. وتلك النماذج ، التي تعكس ما تم تدريبهم عليه ، ينتهي بهم الأمر إلى تجذير هذه الأنماط اللغوية السامة على الإنترنت.

كيف يرتبط ترتيب محتوى Facebook بالصحة العقلية للمراهقين؟

كان أحد أكثر الاكتشافات الصادمة من ملفات Facebook الخاصة بالمجلة هو البحث الداخلي لـ Instagram ، والذي وجد أن منصته تؤدي إلى تدهور الصحة العقلية بين الفتيات المراهقات. قال اثنان وثلاثون في المائة من الفتيات المراهقات إنهن عندما يشعرن بالسوء حيال أجسادهن ، فإن Instagram جعلهن يشعرن بالسوء ، كما كتب الباحثون في عرض تقديمي للشرائح من مارس 2020.

تربط Haugen هذه الظاهرة بأنظمة التصنيف القائمة على المشاركة أيضًا ، والتي أخبرت مجلس الشيوخ اليوم أنها تتسبب في تعرض المراهقين لمزيد من محتوى فقدان الشهية.

إذا كان Instagram يمثل قوة إيجابية ، فهل رأينا عصرًا ذهبيًا للصحة العقلية للمراهقين في السنوات العشر الماضية؟ لا ، لقد شهدنا ارتفاعًا في معدلات الانتحار والاكتئاب بين المراهقين. هناك مجموعة واسعة من الأبحاث التي تدعم فكرة أن استخدام وسائل التواصل الاجتماعي يزيد من مخاطر هذه الأضرار الصحية العقلية.

في تقاريري الخاصة ، سمعت من باحث سابق في الذكاء الاصطناعي رأى أيضًا أن هذا التأثير يمتد إلى Facebook.

وجد فريق الباحث ... أن المستخدمين الذين يميلون إلى نشر محتوى حزن أو التعامل معه - وهي علامة محتملة للاكتئاب - يمكن أن يتحولوا بسهولة إلى استهلاك مواد سلبية بشكل متزايد قد تؤدي إلى زيادة تدهور صحتهم العقلية.

ألعاب الذكاء الاصطناعي

ولكن كما هو الحال مع Haugen ، وجد الباحث أن القيادة لم تكن مهتمة بإجراء تغييرات حسابية أساسية.

اقترح الفريق تعديل نماذج ترتيب المحتوى لهؤلاء المستخدمين للتوقف عن تعظيم التفاعل بمفردهم ، بحيث يُعرض عليهم قدر أقل من الأشياء المسببة للاكتئاب. كان سؤال القيادة هو: هل يجب علينا تحسين المشاركة إذا وجدت أن شخصًا ما في حالة ذهنية ضعيفة؟ هو يتذكر.

ولكن أي شيء قلل من المشاركة ، حتى لأسباب مثل عدم تفاقم اكتئاب شخص ما ، أدى إلى الكثير من التملص والتشديد بين القيادة. من خلال مراجعات أدائهم ورواتبهم المرتبطة بالإنجاز الناجح للمشاريع ، تعلم الموظفون بسرعة التخلي عن أولئك الذين تلقوا معارضة ومواصلة العمل على أولئك الذين تم إملائهم من أعلى إلى أسفل….

في غضون ذلك ، لم يعد هذا الموظف السابق يسمح لابنته باستخدام Facebook.

كيف يمكننا حل هذه المشكلة؟

يعارض Haugen تفكيك Facebook أو إلغاء القسم 230 من قانون آداب الاتصالات الأمريكي ، الذي يحمي منصات التكنولوجيا من تحمل المسؤولية عن المحتوى الذي توزعه.

بدلاً من ذلك ، توصي بنقش إعفاء أكثر استهدافًا في القسم 230 للترتيب الخوارزمي ، والذي تجادل بأنه سيتخلص من التصنيف المستند إلى المشاركة. كما أنها تدعو إلى العودة إلى موجز الأخبار الزمني على Facebook.

مراجعة: لماذا لا يستطيع Facebook أبدًا إصلاح نفسه

في حقيقة قبيحة ، كشفت المراسلتان شيرا فرنكل وسيسيليا كانغ عن عيوب Facebook الأساسية من خلال سرد مفصل للسنوات التي انقضت بين عمليتين انتخابيتين في الولايات المتحدة.

يقول إليري روبرتس بيدل ، مدير المشاريع في Ranking Digital Rights ، وهي منظمة غير ربحية تدرس أنظمة تصنيف وسائل التواصل الاجتماعي وتأثيرها على حقوق الإنسان ، إن القسم 230 يجب أن يتم فحصه بعناية: أعتقد أنه سيكون له تأثير ضيق. لا أعتقد أنه سيحقق تمامًا ما قد نأمله.

من أجل أن يكون هذا الاقتطاع قابلاً للتنفيذ ، كما تقول ، سيحتاج صانعو السياسات والجمهور إلى مستوى أكبر بكثير من الشفافية حول كيفية عمل أنظمة استهداف الإعلانات وتصنيف المحتوى على Facebook. أفهم نية Haugen - هذا منطقي ، كما تقول. لكنها صعبة. لم نجب بالفعل على سؤال الشفافية حول الخوارزميات حتى الآن. هناك الكثير لتفعله.

ومع ذلك ، فإن ما كشف عنه Haugen وشهادته قد جلب الانتباه مجددًا إلى ما يقوله العديد من الخبراء وموظفي Facebook لسنوات: أنه ما لم يغير Facebook التصميم الأساسي لخوارزمياته ، فلن يكون له تأثير ملموس في مشكلات النظام الأساسي.

يثير تدخلها أيضًا احتمالية أنه إذا لم يتمكن Facebook من ترتيب منزله ، فقد يفرض صانعو السياسة الأمر.

قال Haugen لمجلس الشيوخ إنه يمكن للكونغرس تغيير القواعد التي يلعبها Facebook ويوقف العديد من الأضرار التي يسببها الآن. لقد تقدمت في مواجهة مخاطرة شخصية كبيرة لأنني أعتقد أنه لا يزال لدينا الوقت للتصرف ، لكن يجب أن نتحرك الآن.

يخفي

التقنيات الفعلية

فئة

غير مصنف

تكنولوجيا

التكنولوجيا الحيوية

سياسة التكنولوجيا

تغير المناخ

البشر والتكنولوجيا

وادي السيليكون

الحوسبة

مجلة Mit News

الذكاء الاصطناعي

الفراغ

المدن الذكية

بلوكشين

قصة مميزة

الملف الشخصي للخريجين

اتصال الخريجين

ميزة أخبار معهد ماساتشوستس للتكنولوجيا

1865

وجهة نظري

77 Mass Ave

قابل المؤلف

ملامح في الكرم

شوهد في الحرم الجامعي

خطابات الخريجين

أخبار

انتخابات 2020

فهرس With

تحت القبه

خرطوم الحريق

قصص لانهائية

مشروع تكنولوجيا الوباء

من الرئيس

غلاف القصه

معرض الصور

موصى به