Πειράζοντας τους Αλγορίθμους με ένα AI Nudge

Η επαλήθευση των στοιχείων μπορεί να μειώσει τη διάδοση των αναξιόπιστων ειδήσεων. Μπορεί επίσης να κάνει το αντίθετο.

(αυτή η ανάρτηση εμφανίστηκε αρχικά στο civilservant.io)

Οι αναγνώστες του r / worldnews στο reddit αναφέρουν συχνά ενημερωτικές ειδήσεις στους ερασιτέχνες συντονιστές, ζητώντας τους να απαγορεύσουν τις εφημερίδες για τα συναισθηματικά άρθρα τους. Αυτές οι διακοσμημένες ιστορίες πιάζουν τα μάτια των ανθρώπων, προσελκύουν διαμάχες και παρατηρούν τον αλγόριθμο κατάταξης του reddit, ο οποίος τους εξαπλώνει ακόμη περισσότερο.

Η απαγόρευση των ειδησεογραφικών ειδήσεων θα μπορούσε να τερματίσει αυτό το βρόχο ανατροφοδότησης, αλλά οι συντονιστές της κοινότητας αντιτίθενται στις γενικές απαγορεύσεις. Για να λύσουν αυτό το παζλ, οι συντονιστές έπρεπε να απαντήσουν σε μια ερώτηση που βρίσκεται στο επίκεντρο των συζητήσεων σχετικά με τα αποκαλούμενα «ψεύτικα νέα»: πώς μπορούμε να διατηρήσουμε την ελευθερία των συνεισφερόντων, επηρεάζοντας παράλληλα την αμοιβαία συμπεριφορά των ανθρώπων και τους αλγορίθμους για το καλό της κοινότητας;

Αυτό το χειμώνα, οι συντονιστές συνεργάστηκαν με το CivilServant για να δοκιμάσουν μια ιδέα: ποιες είναι οι συνέπειες της ενθάρρυνσης του ελέγχου των γεγονότων για την απάντηση σε αναξιόπιστες ειδήσεις; Θέλαμε να δούμε πώς θα αντιδρούσε η κοινότητα r / worldnews. Παρατηρήσαμε επίσης το αποτέλεσμα στην κατάταξη της Reddit. Εάν οι αλγόριθμοι του reddit ερμηνεύσουν τον έλεγχο των γεγονότων ως δημοτικότητα, τα αναξιόπιστα άρθρα μπορεί να εξαπλωθούν ακόμη περισσότερο.

Οι ενημερωτικές ειδήσεις είναι περίπου 2,3% από όλες τις υποβολές σε αυτήν την 15 εκατομμύρια κοινότητα συνδρομητών που συζητάει ειδήσεις εκτός των ΗΠΑ. Στις r / worldnews, 70 συντονιστές εξετάζουν περίπου 450 άρθρα την ημέρα και επιτρέπουν να παραμείνει το 68% αυτών των άρθρων. Δεδομένου ότι πρόκειται για προεπιλεγμένο δευτερεύον μέτρο, οι περισσότεροι αναγνώστες του reddit λαμβάνουν παγκόσμια νέα μέσω αυτής της κοινότητας. Ενώ η πρόσβαση της κοινότητας είναι επικίνδυνη από το Facebook, το r / worldnews μπορεί να είναι η μεγαλύτερη ενιαία ομάδα για τη συζήτηση παγκόσμιων ειδήσεων οπουδήποτε στο αγγλόφωνο internet. Ακόμη και τα μικρά αποτελέσματα σε αυτήν την κοινότητα μπορούν να κάνουν μεγάλη διαφορά ως προς το πώς εκατομμύρια άνθρωποι έχουν νόημα δυνητικά αναξιόπιστων πληροφοριών για τον κόσμο.

Στη μελέτη μας από τις 27 Νοεμβρίου έως τις 20 Ιανουαρίου, εμείς τα μηνύματα A / B που δοκιμάσαμε για να ενθαρρύνουμε την κοινότητα να ελέγχει τα γεγονότα και να ψηφίζει τα νέα των τσαλοειδών. Εδώ βρήκαμε:

Η επίδραση της ενθάρρυνσης της επαλήθευσης της κοινοτικής συμπεριφοράς

Στο πλαίσιο των συζητήσεων με τις εφημερίδες σχετικά με το r / worldnews, η ενθάρρυνση του ελέγχου των πραγματικών περιστατικών αυξάνει το ποσοστό επίπτωσης των σχολίων με συνδέσμους κατά 2 φορές κατά μέσο όρο και η ενθάρρυνση του ελέγχου των γεγονότων + έχει παρόμοιο αποτέλεσμα.

Η επίδραση της ενθάρρυνσης των πραγματικών ελέγχων στους αλγορίθμους του Reddit

Παρατηρώντας πάνω από 24 ώρες, διαπιστώσαμε επίσης ότι, κατά μέσο όρο, τα κολλώδη σχόλια που ενθάρρυναν τον έλεγχο των πραγματικών περιστατικών προκάλεσαν μια μείωση κατά 2 φορές στην βαθμολογία reddit των υποβολών των τσαλοειδών, μια στατιστικά σημαντική επίδραση που πιθανώς επηρέασε τις βαθμολογίες στο δευτερεύον. Όταν ενθαρρύνουμε επίσης τους αναγνώστες να ψηφίσουν, το φαινόμενο αυτό εξαφανίστηκε.

AI Nudges: Πειραματικοί αλγόριθμοι διατηρώντας ταυτόχρονα την ελευθερία

Οι ερωτήσεις μας σχετικά με τις εφημερίδες των τσαλοειδών προσέθεσαν μια αλγοριθμική διάσταση σε μια κλασσική ερώτηση διακυβέρνησης: πώς μπορούν οι άνθρωποι με δύναμη να εργάζονται προς το κοινό καλό, ελαχιστοποιώντας τους περιορισμούς στην ατομική ελευθερία;

μπορούμε να πείσουμε τους αλγορίθμους να συμπεριφέρονται διαφορετικά, πείθοντας τους ανθρώπους να συμπεριφέρονται διαφορετικά.

Σε όλο το Διαδίκτυο, οι άνθρωποι μαθαίνουν να ζουν με συστήματα AI που δεν μπορούν να ελέγξουν. Για παράδειγμα, οι οδηγοί Uber τσιμπήσουν την οδήγησή τους για να βελτιστοποιήσουν το εισόδημά τους. Η συλλογική μας συμπεριφορά επηρεάζει ήδη τα συστήματα AI όλη την ώρα, αλλά μέχρι στιγμής το κοινό δεν έχει πληροφορίες για το ποια είναι αυτή η επιρροή. Αυτά τα αδιαφανή αποτελέσματα μπορεί να είναι ένα πρόβλημα όταν οι αλγόριθμοι εκτελούν βασικούς ρόλους στην κοινωνία, όπως υγεία, ασφάλεια και δικαιοσύνη. Για την επίλυση αυτού του προβλήματος, μερικοί ερευνητές σχεδιάζουν συστήματα "κοινωνίας στο βρόχο" [4]. Άλλοι αναπτύσσουν μεθόδους ελέγχου αλγορίθμων [5] [6]. Ωστόσο, ούτε η προσέγγιση προσφέρει έναν τρόπο διαχείρισης της καθημερινής συμπεριφοράς των συστημάτων των οποίων ο κώδικας δεν μπορούμε να ελέγξουμε. Η μελέτη μας με r / worldnews προσφέρει μια τρίτη κατεύθυνση. μπορούμε να πείσουμε τους αλγορίθμους να συμπεριφέρονται διαφορετικά, πείθοντας τους ανθρώπους να συμπεριφέρονται διαφορετικά.

Μερικοί άνθρωποι μπορεί να αναρωτιούνται εάν αυτό το πείραμα αποτελεί χειραγώγηση των ψηφοφοριών, το οποίο είναι αντίθετο με τις πολιτικές της Reddit. Οι κολλώδεις σημειώσεις μας δεν παραβιάζουν κανέναν από τους κανόνες του Reddit για προσωπικό όφελος (δεν δημιουργήσαμε επίσης ψεύτικους λογαριασμούς, δεν λέμε στους ανθρώπους πώς να ψηφίσουν ή να οργανώσουν ένα μπλοκ ψηφοφορίας). Αλλά δείξαμε ότι η ενθάρρυνση των ανθρώπων να ελέγχουν τα γεγονότα είχε συστηματική επίδραση στους αλγορίθμους του Reddit.

Η ιδέα του "AI σπρώχνει" μας δίνει έναν τρόπο να σκεφτούμε τις φιλο-κοινωνικές προσπάθειες να επηρεάσουμε τη συμπεριφορά του ανθρώπου και της μηχανής διατηρώντας παράλληλα την ατομική ελευθερία. Ο Richard Thaler και ο Cass Sunstein πρότειναν για πρώτη φορά «βόλτες» ως τρόπους με τους οποίους τα θεσμικά όργανα μπορούν να ασκήσουν την εξουσία τους διατηρώντας ταυτόχρονα την ατομική ελευθερία [7]. Σε σύγκριση με την απαγόρευση των ειδησεογραφικών ειδήσεων, η ώθηση του AI για ενθαρρυντικό έλεγχο των γεγονότων είναι η πιο ελαφριά δράση που οι συντονιστές θα μπορούσαν να πάρουν. Η ικανότητα του ατόμου να μην μοιράζεται ειδήσεις, σχόλια ή ψηφοφορίες έχει αποσυρθεί, αλλά η ώθηση του AI εξακολουθεί να μειώνει την εξάπλωση των αναξιόπιστων ειδήσεων.

Όπως επισημαίνουν οι Sunstein και Thaler, δεν είναι πάντοτε προφανές εάν αυτές οι επεμβάσεις φως-άγγιγμα θα έχουν το επιθυμητό αποτέλεσμα. Γι 'αυτό πρέπει να δοκιμάζουμε συστηματικά τα αποτελέσματά τους, ειδικά επειδή τα μη ελεγμένα συστήματα μπορούν να έχουν απροσδόκητα αποτελέσματα.

Η διακυβέρνηση και η ηθική της AI Nudges

Οι νοσταλγίες από τις κυβερνήσεις και τα κοινωνικά πειράματα από τις ηλεκτρονικές πλατφόρμες συχνά προσελκύουν παρόμοιες επικρίσεις. Νομίζω ότι οι άνθρωποι έχουν δίκιο να αναμένουν λογοδοσία από εκείνους που ασκούν την εξουσία. Συνεργαζόμενοι με εθελοντές συντονιστές, μπορέσαμε να εργαστούμε με υψηλότερα επίπεδα διαφάνειας και λογοδοσίας από ό, τι τυπικά στην κοινωνική πληροφορική. Όλες οι μελέτες CivilServant έχουν σχεδιαστεί με και από ομάδες μέτρησης, και όλα τα αποτελέσματα αποκαλύπτονται πρώτα στην κοινότητα σε αναλυτική ανασκόπηση. Τα σχέδια μελέτης μας παρατίθενται δημοσίως στο Open Science Framework πριν ξεκινήσουμε και όλος ο κώδικας μας είναι ανοικτού κώδικα. Οι πλήρεις λεπτομέρειες ανάλυσης είναι επίσης δημόσιες, επομένως ο καθένας μπορεί να ελέγξει τα συμπεράσματά μας. Το μόνο που περιορίζουμε είναι τα πραγματικά δεδομένα, δεδομένου ότι σέβεται το απόρρητο όλων των εμπλεκομένων.

Συνολικά, είμαι αισιόδοξος ότι το AI ωθεί, ειδικά όταν οδηγείται από τις ίδιες τις κοινότητες, προσφέρει μια συναρπαστική κατεύθυνση για το κοινό να διαχειριστεί το ρόλο των αλγορίθμων στην κοινωνία, διατηρώντας παράλληλα την ατομική ελευθερία.

Πώς λειτουργεί η μελέτη

Για αυτό το τεστ, οι συντονιστές ξεκίνησαν με μια λίστα πηγών ειδήσεων που λαμβάνουν συχνά τα παράπονα. Από τις 27 Νοεμβρίου έως τις 20 Ιανουαρίου, δώσαμε τυχαία κάθε νέο σύνδεσμο σε μία από τις τρεις προϋποθέσεις: (α) κανένα κολλώδες σχόλιο, (β) ένα κολλώδες σχόλιο που ενθάρρυνε τον σκεπτικισμό, (γ) ένα κολλώδες σχόλιο που ενθάρρυνε τον σκεπτικισμό + την ψηφοφορία ).

Δημοσιεύσαμε αυτό το μήνυμα στην κορυφή των συζητήσεων ειδήσεων των εφημερίδων

Το δεύτερο ενθαρρύνει τους ανθρώπους να ελέγξουν το άρθρο και να εξετάσουν τη μείωση του συνδέσμου εάν δεν μπορούν να βρουν αποδεικτικά στοιχεία για τους ισχυρισμούς τους:

Αυτό το δεύτερο μήνυμα ενθάρρυνε τους ανθρώπους να εξετάσουν τη μείωση των χρημάτων

Μπορεί η συμπεριφορά ελέγχου της πραγματικότητας να επηρεάσει τον τρόπο με τον οποίο οι αλγόριθμοι του Reddit βλέπουν αναξιόπιστες ειδήσεις;

Ενώ είχαμε την πεποίθηση ότι οι αναγνώστες του κόσμου θα βοηθούσαν αν οι συντονιστές ζήτησαν, αναρωτήσαμε επίσης: αν αυξήσουμε το σχολιασμό των ειδησεογραφικών ειδήσεων, θα μπορούσαμε να προκαλέσουμε τυχαία αλγορίθμους του Reddit για την προώθηση αυτών των συνδέσμων;

Εάν ο έλεγχος των γεγονότων αύξησε τη δημοτικότητα των αναξιόπιστων πηγών ειδήσεων, η κοινότητα ίσως πρέπει να ξανασκεφτεί πού να βάλει τις προσπάθειές της. Αυτός είναι ο λόγος για τον οποίο οι συντονιστές δοκιμάζουν ένα δεύτερο κολλώδες σχόλιο, αυτό που ενθαρρύνει τους αναγνώστες να εξετάσουν τη downvoting.

Για να ελεγχθεί η επίδραση των κολλητικών σχολίων στους αλγορίθμους του reddit, το λογισμικό CivilServant συγκέντρωνε δεδομένα για το σκορ των δημοσιεύσεων κάθε τέσσερα λεπτά. Η πλατφόρμα δεν δημοσιεύει ακριβώς τι συμβαίνει στο σκορ ή ακριβώς πώς λειτουργεί η κατάταξή της (ρώτησα). Ωστόσο, μπορέσαμε να προβλέψουμε αξιόπιστα την ταξινόμηση κατά ανεπιθύμητων σελίδων μιας σελίδας από την ηλικία και τη βαθμολογία (πλήρη στοιχεία εδώ). Βασικά, αν ο έλεγχος των γεγονότων είχε μεγάλη επίδραση στην βαθμολογία ενός άρθρου, τότε πιθανότατα είχε επίδραση στην κατάταξη ενός άρθρου με την πάροδο του χρόνου στην αρχική σελίδα του subreddit. Δοκίμασα αυτό με δύο τρόπους: συγκρίνοντας τις βαθμολογίες μετά από 24 ώρες και μοντελοποιώντας τις αλλαγές στα αποτελέσματα με την πάροδο του χρόνου.

Χρησιμοποίησα ένα αρνητικό διωνυμικό μοντέλο για να ελέγξω το αποτέλεσμα επί των βαθμολογιών μετά από 24 ώρες. Δεδομένου ότι οι αλγόριθμοι του reddit ήταν σε εξέλιξη κατά τη διάρκεια του πειράματός μας, η ενθάρρυνση του ελέγχου των γεγονότων οδήγησε σε υποβολές τσαλοειδούς να λάβουν το 49,1% (2,04 φορές χαμηλότερο) το σκορ των υποβολών χωρίς κολλώδη σχόλια, μετά από 24 ώρες, κατά μέσο όρο σε r / worldnews. Το αποτέλεσμα είναι στατιστικά σημαντικό. Σε αυτό το μοντέλο, δεν κατάφερα να βρω ένα αποτέλεσμα από τα κολλώδη σχόλια που ενθάρρυναν τους αναγνώστες να εξετάσουν το ενδεχόμενο downvoting.

Δοκίμασα επίσης την επίδραση του ελέγχου γεγονότων στον ρυθμό αύξησης της βαθμολογίας μιας θέσης με την πάροδο του χρόνου. Για να θέσω αυτήν την ερώτηση, ταιριάζω με ένα τυχαίο μοντέλο υποκειμένων γραμμικής παλινδρόμησης στο σκορ που μετασχηματίστηκε σε λογότυπο για μια θέση κάθε τέσσερα λεπτά. Διαπίστωσα ότι η ενθάρρυνση του ελέγχου των πραγματικών περιστατικών προκαλεί χαμηλότερο ρυθμό ανάπτυξης. Εδώ, διαπίστωσα ότι η ενθάρρυνση της ψηφοφορίας στην πραγματικότητα έχει μικρή θετική επίδραση στον ρυθμό ανάπτυξης σε βαθμολογία με την πάροδο του χρόνου, κατά μέσο όρο. Δεδομένου ότι εκτελούσαμε το πείραμα κατά τη διάρκεια μιας αλλαγής στους αλγορίθμους του reddit στις αρχές Δεκεμβρίου 2016, διαπίστωσα επίσης ότι η επίδραση αυτών των κολλώδινων σχολίων στους αλγορίθμους του reddit μπορεί να έχει αλλάξει μετά την προσαρμογή των αλγορίθμων (λεπτομέρειες) από το reddit.

Ποιος βοήθησε πραγματικά να ελέγξει τα άρθρα ειδήσεων;

Από τα 930 σχόλια εκτός των bot με συνδέσμους που επέτρεψαν να παραμείνουν οι συντονιστές, 737 λογαριασμοί χρηστών συνέβαλαν σε συνδέσμους προς περαιτέρω στοιχεία. Από αυτούς, 133 λογαριασμοί έκαναν περισσότερα από ένα σχόλια με συνδέσμους. Πολλοί άνθρωποι επαλήθευαν τις δικές τους παρατηρήσεις, ενώ οι υποβάλλοντες δημοσίευσαν 81 σχόλια σε περισσότερες πληροφορίες.

Τι δεν μπορούμε να γνωρίζουμε από αυτή τη μελέτη;

Αυτή η δοκιμή εξετάζει τα αποτελέσματα των συζητήσεων και όχι των μεμονωμένων λογαριασμών, οπότε δεν μπορούμε να γνωρίζουμε εάν οι μεμονωμένοι άνθρωποι ήταν πεπεισμένοι ότι είναι πιο επιφυλακτικοί ή αν τα κολλώδη σχόλια προκάλεσαν ήδη σκεπτικιστές να διερευνήσουν και να μοιραστούν. Επίσης, δεν έχω κανένα στοιχείο σχετικά με την επίδραση του ελέγχου των πραγματικών περιστατικών στους αναγνώστες, αν και άλλες έρευνες δείχνουν ότι ο έλεγχος των γεγονότων επηρεάζει τις πεποιθήσεις των αναγνωστών [2] [3].

Αυτή η μελέτη δεν μας λέει πολλά για το γιατί βλέπουμε μια τόσο μεγάλη αλλαγή στα αλγοριθμικά αποτελέσματα όταν τροποποιούμε το μήνυμα, ενθαρρύνοντας τους αναγνώστες να εξετάσουν το ενδεχόμενο της downvoting. Αυτή η διαφορά μπορεί να είναι ένα παράδειγμα αυτού που οι ψυχολόγοι ονομάζουν «αντιδραστικότητα», μια αντίσταση στις προτάσεις από την αρχή. Ή εάν οι συντάκτες των ειδήσεων ανησυχούν ότι οι σύνδεσμοι τους ενδέχεται να μειωθούν, μπορεί να ζητήσουν βοήθεια, η οποία εξισορροπεί τη συμπεριφορά των αναγνωστών.

Θα μπορούσε αυτό να συνεργαστεί με άλλα είδη συνδέσμων, σε άλλα δευτερεύοντα αρχεία ή σε άλλους ιστότοπους; Η μελέτη αυτή περιορίζεται σε μια συγκεκριμένη κοινότητα και έναν κατάλογο ιστότοπων. Ενώ υποψιάζομαι ότι πολλές μεγάλες διαδικτυακές κοινότητες αναγνωστών θα μπορούσαν να βοηθήσουν στην επαλήθευση των συνδέσμων εάν οι συντονιστές ζήτησαν, τα ευρήματά μας για τον αλγόριθμο reddit βρίσκονται πολύ πιο κοντά.

Θα μπορούσαμε να απαντήσουμε σε αυτές τις ερωτήσεις αν περισσότεροι υποδουλές αποφάσισαν να δοκιμάσουν παρόμοια πειράματα. Εάν ενδιαφέρεστε, επικοινωνήστε μαζί μου στο reddit για να συζητήσετε την εκτέλεση ενός παρόμοιου πειράματος και να εγγραφείτε για ενημερώσεις μέσω ηλεκτρονικού ταχυδρομείου.

Μάθετε περισσότερα σχετικά με αυτό το Πείραμα

Το διδακτορικό μου πρόγραμμα περιλαμβάνει την υποστήριξη κοινοτήτων για να ελέγξουν τα αποτελέσματα των δικών τους πρακτικών μετριοπάθειας. Σχεδίασα αυτό το πείραμα μαζί με τους συντονιστές r / worldnews και εγκρίθηκε από την επιτροπή MIT για τη χρήση των ανθρώπων ως πειραματικά θέματα. Εάν έχετε οποιεσδήποτε ερωτήσεις ή ανησυχίες, επικοινωνήστε με το natematias στο redditmail.

Αυτό το πείραμα, όπως όλες οι έρευνές μου στο reddit μέχρι τώρα, διεξήχθη ανεξάρτητα από την πλατφόρμα reddit, που δεν είχε κανένα ρόλο στο σχεδιασμό ή το σχεδιασμό του πειράματος. Το πείραμα δεν έχει ακόμη αξιολογηθεί από ομότιμους. Όλα τα αποτελέσματα από το CivilServant αναρτώνται δημοσίως πίσω στις εμπλεκόμενες κοινότητες μόλις τα αποτελέσματα είναι έτοιμα, με ακαδημαϊκές δημοσιεύσεις να έρχονται αργότερα.

Οι πλήρεις λεπτομέρειες του πειράματος δημοσιεύθηκαν εκ των προτέρων σε ένα σχέδιο προ-ανάλυσης στο osf.io/hmq5m/. Εάν ενδιαφέρεστε για τα στατιστικά στοιχεία, έχω δημοσιεύσει όλες τις λεπτομέρειες της ανάλυσης.

βιβλιογραφικές αναφορές

[1] Salganik, Μ. J., & Watts, D. J. (2008). Οδηγώντας την αγέλη: Η πειραματική μελέτη των αυτο-εκπληρώνει προφητειών σε μια τεχνητή πολιτιστική αγορά. Κοινωνική ψυχολογία τριμηνιαία, 71 (4), 338-355.

[2] Stephan Lewandowsky, Ullrich Κ. Η. Ecker, Colleen M. Seifert, Norbert Schwarz και John Cook. Παραπληροφόρηση και η διόρθωσή της Συνεχιζόμενη επιρροή και επιτυχής απαλλαγή. Ψυχολογική Επιστήμη στο Δημόσιο Συμφέρον, 13 (3): 106-131, Δεκέμβριος 2012.

[3] Thomas Wood και Ethan Porter. Το εριστικό φαινόμενο Backfire: Μακροπρόθεσμα συμπτώματα μαζικής στάσης. SSRN Βιβλιογραφικό Δίπλωμα 2819073, Social Science Research Network, Rochester, ΝΥ, Αύγουστος 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Προγραμματισμός της Αλγοριθμικής Κοινωνικής Σύμβασης. Μεσαίο

[5] Ο Christian Sandvig, ο Kevin Hamilton, ο Karrie Karahalios και ο Cedric Langbort. 2014. Αλγόριθμοι ελέγχου: Μέθοδοι έρευνας για την ανίχνευση διακρίσεων σε πλατφόρμες διαδικτύου. Δεδομένα και Διακρίσεις: Μετατροπή των Κρίσιμων Ανημάτων σε Παραγωγική Έρευνα, Ετήσια Συνάντηση της Διεθνούς Ένωσης Επικοινωνίας, 2014

[6] Διακόπουλος, Ν. & Koliska, Μ. (2016). Αλγοριθμική διαφάνεια στα μέσα ενημέρωσης. Ψηφιακή Δημοσιογραφία, 1-20.

[7] Thaler, R. Η., & Sunstein, C. R. (2003). Ελευθεριακός πατερναλισμός. Η American Economic Review, 93 (2), 175-179.