Overtalelse af algoritmer med en AI Nudge

Faktakontrol kan reducere spredningen af ​​upålidelige nyheder. Det kan også gøre det modsatte.

(dette indlæg blev oprindeligt vist på civilservant.io)

Læsere af r / worldnews på reddit rapporterer ofte tabloid-nyheder til de frivillige moderatorer og beder dem om at forby tabloider for deres sensationaliserede artikler. Disse udsmykkede historier fanger folks øjne, tiltrækker kontroverser og bliver bemærket af reddits rangeringsalgoritme, der spreder dem endnu mere.

Forbud mod tabloid-nyheder kunne afslutte denne feedback-loop, men lokalsamfundets moderatorer er imod tæthedsforbud. For at løse dette puslespil var moderatorer nødt til at besvare et spørgsmål i hjertet af debatter om såkaldte ”falske nyheder”: hvordan kan vi bevare bidragydernes frihed, samtidig med at vi påvirker den gensidige opførsel af mennesker og algoritmer til samfundets bedste?

I vinter arbejdede moderatorer sammen med CivilServant for at teste en idé: hvad er virkningen af ​​at tilskynde til faktakontrol på svaret på upålidelige nyheder? Vi ønskede at se, hvordan r / worldnews-samfundet ville reagere. Vi observerede også effekten på reddits placeringer. Hvis reddits algoritmer fortolker faktakontrol som popularitet, kan upålidelige artikler muligvis sprede sig yderligere.

Tabloid-nyheder er ca. 2,3% af alle indsendelser til dette 15 millioner abonnentfællesskab, der diskuterer nyheder uden for USA. I r / worldnews gennemgår 70 moderatorer ca. 450 artikler om dagen og tillader, at 68% af disse artikler bliver tilbage. Da det er en standard subreddit, får de fleste reddit-læsere verdensnyheder gennem dette samfund. Mens samfundets rækkevidde dværvede af Facebook, er r / worldnews muligvis den største enkeltgruppe til at diskutere verdensnyheder overalt på det engelsktalende internet. Selv små effekter i dette samfund kan gøre en stor forskel i, hvordan millioner af mennesker giver mening om potentielt upålidelige oplysninger om verden.

I vores undersøgelse fra 27. november til 20. januar testede vi A / B meddelelser, der opmuntrede samfundet til faktakontrol og afstemning om tabloid-nyheder. Her er hvad vi fandt:

Effekten af ​​at tilskynde til faktakontrol på fællesskabsadfærd

Inden for diskussioner om indgivne indlæg om r / worldnews øger opmuntring til faktakontrol forekomsten af ​​kommentarer med links i gennemsnit med 2x, og opmuntring til faktakontrol + afstemning har en lignende effekt.

Effekten af ​​at tilskynde til faktakontrol på Reddit's algoritmer

I løbet af 24 timer fandt vi også, at gennemsnitlige klæbende kommentarer, der opmuntrede til faktakontrol, forårsagede en 2x reduktion i reddit-score for tabloid-indsendelser, en statistisk signifikant effekt, der sandsynligvis påvirkede placeringerne i subreddit. Da vi også opfordrede læserne til at stemme, forsvandt denne effekt.

AI Nudges: overtalelse af algoritmer, mens man bevarer friheden

Vores spørgsmål om tabloid-nyheder føjede en algoritmisk dimension til et klassisk regeringsspørgsmål: hvordan kan mennesker med magt arbejde mod det fælles gode og samtidig minimere begrænsningerne for individuel frihed?

vi kan overtale algoritmer til at opføre sig forskelligt ved at overtale folk til at opføre sig anderledes.

På internettet lærer folk at leve med AI-systemer, de ikke kan kontrollere. F.eks. Finjusterer Uber-chauffører deres kørsel for at optimere deres indkomst. Vores kollektive adfærd påvirker allerede AI-systemer hele tiden, men indtil videre mangler offentligheden information om, hvad denne indflydelse faktisk er. Disse uigennemsigtige resultater kan være et problem, når algoritmer udfører nøgleroller i samfundet som sundhed, sikkerhed og retfærdighed. For at løse dette problem designer nogle forskere systemer i samfundet i løkken [4]. Andre udvikler metoder til revision af algoritmer [5] [6]. Ikke desto mindre tilbyder ingen af ​​fremgangsmåderne en måde at styre den daglige opførsel af systemer, hvis kode vi ikke kan kontrollere. Vores undersøgelse med r / worldnews tilbyder en tredje retning; vi kan overtale algoritmer til at opføre sig forskelligt ved at overtale folk til at opføre sig anderledes.

Nogle mennesker spekulerer måske på, om dette eksperiment udgør stemmemanipulation, hvilket er i strid med reddits politik. Vores sticky notes overtræder ikke nogen af ​​reddit's regler for personlig gevinst (vi oprettede heller ikke falske konti, fortæller folk, hvordan de skal stemme eller organisere en afstemningsblok). Men vi viste, at det at opfordre folk til faktatjek havde en systematisk effekt på reddits algoritmer.

Ideen om "AI-nudges" giver os en måde at tænke på pro-sociale bestræbelser på at påvirke menneskelig og maskinsk adfærd, samtidig med at vi bevarer individuel frihed. Richard Thaler og Cass Sunstein foreslog først ”nudges” som måder for institutioner at udøve deres magt, mens de bevarer individuel frihed [7]. Sammenlignet med at forbyde nyheder om tabloid, er AI-skubben til at tilskynde til faktakontrol den letteste berøring, som moderatorer kunne tage. Ingen persons evne til at dele nyheder, kommentere eller stemme fjernes, men AI-skubben dæmper stadig spredningen af ​​upålidelige nyheder.

Som Sunstein og Thaler påpeger, er det ikke altid åbenlyst, hvis disse let-touch-interventioner får det ønskede resultat. Derfor bør vi systematisk teste deres virkning, især da ikke-testede systemer kan have uventede resultater.

Styring og etik for AI Nudges

Nudges fra regeringer og sociale eksperimenter ved online platforme tiltrækker ofte lignende kritik. Jeg tror, ​​folk har ret til at forvente ansvarlighed fra dem, der udøver nudging magt. Ved at arbejde med frivillige moderatorer har jeg været i stand til at arbejde med større niveauer af gennemsigtighed og ansvarlighed, end det er typisk i social computing. Alle CivilServant-undersøgelser er designet med og af moderationsteams, og alle resultater afsløres først for samfundet i en subreddit-debriefing. Vores undersøgelsesdesign er vist offentligt i Open Science Framework, inden vi starter, og al vores kode er open source. Fuld analyseoplysninger er også offentlige, så enhver kan kontrollere vores konklusioner. Det eneste, vi holder tilbage, er de faktiske data, da vi respekterer privatlivets fred for alle involverede.

Generelt håber jeg, at AI-skubber, især når de ledes af lokalsamfundene selv, tilbyder en spændende retning for offentligheden til at styre algoritmenes rolle i samfundet, samtidig med at den bevarer den individuelle frihed.

Hvordan undersøgelsen fungerede

Til denne test startede moderatorer med en liste over nyhedskilder, der ofte modtager klager. Fra 27. november til 20. januar tildelte vi tilfældigt hvert nyt tabloid-link til en af ​​tre betingelser: (a) ingen klistrede kommentarer, (b) en klistret kommentar, der opmuntrer til skepsis, (c) en klistret kommentar, der opmuntrer til skepsis + afstemning (fulde detaljer her ).

Vi sendte denne meddelelse øverst i tabloid-nyhedsdiskussioner

Den anden opfordrer folk til at tjekke artiklen og overveje at nedjustere linket, hvis de ikke kan finde dokumentation for dens påstande:

Denne anden meddelelse opfordrede folk til at overveje at nedstemme

Kan fakta-kontrollere adfærd påvirke Hvordan reddit's algoritmer ser upålidelige nyheder?

Mens vi var overbeviste om, at r / worldnews-læsere ville hjælpe, hvis moderatorer spurgte, spekulerede vi også på: Hvis vi øger kommentarer til tabloid-nyheder, kan vi måske ved en fejltagelse forårsage reddit's algoritmer til at fremme disse tabloid-links?

Hvis faktakontrol øger populariteten af ​​upålidelige nyhedskilder, kan samfundet muligvis være nødt til at overveje, hvor de skal lægge deres indsats. Derfor testede moderatorer en anden klistret kommentar, den der opfordrer læserne til at overveje at nedstemme.

For at teste effekten af ​​de klistrede kommentarer på reddits algoritmer indsamlede CivilServant-softwaren data om scoringen af ​​indlæg hvert fjerde minut. Platformen offentliggør ikke nøjagtigt, hvad der går ind i partituret, eller nøjagtigt hvordan dens placeringer fungerer (jeg spurgte). Vi var dog i stand til pålideligt at forudsige subreddit HOT-siderangering af et indlæg fra dets alder og score (fulde detaljer her). Grundlæggende, hvis faktakontrol havde stor indflydelse på en artikels score, ville det sandsynligvis have haft effekt på en artikels placering over tid på subreddit-forsiden. Jeg testede dette på to måder: ved at sammenligne score efter 24 timer og ved at modellere ændringer i score over tid.

Jeg brugte en negativ binomial model til at teste effekten på scoringer efter 24 timer. Da reddits algoritmer stod under vores eksperiment, opmuntrede faktakontrol til, at tabloid-indsendelser modtog 49,1% (2,04x lavere) score for indsendelser uden nogen klistret kommentar efter 24 timer i gennemsnit i r / worldnews. Effekten er statistisk signifikant. I denne model kunne jeg ikke finde en effekt fra de klistrede kommentarer, der opfordrede læserne til at overveje at nedstemme.

Jeg testede også effekten af ​​faktakontrol på væksthastigheden for et indlægs score over tid. For at stille dette spørgsmål passer jeg til en tilfældig afskærmning lineær regressionsmodel på den log-transformerede score for et indlæg hvert fjerde minut. Jeg fandt, at opmuntrende faktakontrol får score-vækstraten til at være lavere. Her fandt jeg, at opmuntrende afstemning faktisk har en lille positiv effekt på vækstraten i score i gennemsnit. Da vi kørte eksperimentet under en ændring i reddits algoritmer i begyndelsen af ​​december 2016, fandt jeg også, at effekten af ​​disse klistrede kommentarer på reddits algoritmer kan have ændret sig, efter at reddit har justeret dens algoritmer (detaljer).

Hvem hjalp med at undersøge nyhedsartiklerne?

Af 930 kommentarer, der ikke er bot, med links, som moderatorerne fik lov til at forblive, bidrog 737 brugerkonti med links til yderligere bevis. Ud af disse fremsatte 133 konti mere end en kommentar med links. Mange mennesker har faktisk kontrolleret deres egne indlæg, mens indsendere sendte 81 kommentarer til yderligere information.

Hvad ved vi ikke fra denne undersøgelse?

Denne test ser på resultater inden for diskussioner snarere end individuelle konti, så vi kan ikke vide, om individuelle mennesker var overbeviste om at være mere skeptiske, eller om de klistrede kommentarer fik allerede skeptiske mennesker til at undersøge og dele. Jeg har heller ikke noget bevis for effekten af ​​faktakontrol på læserne, selvom anden forskning antyder, at faktakontrol påvirker læserens tro [2] [3].

Denne undersøgelse kan ikke fortælle os meget om, hvorfor vi ser en så stor ændring i algoritmiske effekter, når vi ændrer beskeden ved at tilskynde læserne til at overveje nedstemning. Denne forskel kan være et eksempel på, hvad psykologer kalder "reaktion", en modstand mod forslag fra autoritet. Eller hvis nyhedsmedlemmer bekymrer sig om, at deres links kan blive nedstemt, kan de bede om hjælp, der afbalancerer læsernes opførsel.

Ville dette arbejde med andre former for links, i andre subreddits eller på andre websteder? Denne undersøgelse er begrænset til et specifikt samfund og en liste over websteder. Selvom jeg har mistanke om, at mange store online-lokalsamfund af læsere ville hjælpe med at tjekke links, hvis moderatorer spurgte, er vores fund om reddit-algoritmen meget mere beliggende.

Vi kunne besvare disse spørgsmål, hvis flere subreddits besluttede at prøve lignende eksperimenter. Hvis du er interesseret, kontakt mig på reddit for at diskutere kørsel af et lignende eksperiment og tilmeld dig e-mail-opdateringer.

Lær mere om denne eksperiment

Min ph.d. involverer at støtte lokalsamfund til at teste effekten af ​​deres egen moderationspraksis. Jeg designet dette eksperiment sammen med r / worldnews-moderatorer, og det blev godkendt af MIT-udvalget for brug af mennesker som eksperimentelle emner. Hvis du har spørgsmål eller bekymringer, så kontakt natematias på redditmail.

Ligesom al min forskning på reddit indtil videre blev dette eksperiment udført uafhængigt af reddit-platformen, der ikke havde nogen rolle i planlægningen eller designet af eksperimentet. Eksperimentet er endnu ikke blevet peer review. Alle resultater fra CivilServant offentliggøres offentligt tilbage til de involverede samfund, så snart resultaterne er klar, med akademiske publikationer, der kommer senere.

Fuldstændige detaljer om eksperimentet blev offentliggjort på forhånd i en foranalyseplan på osf.io/hmq5m/. Hvis du er interesseret i statistikken, har jeg offentliggjort de fulde detaljer om analysen.

Referencer

[1] Salganik, M. J., & Watts, D. J. (2008). At føre besætningen på afveje: En eksperimentel undersøgelse af selvopfyldende profetier på et kunstigt kulturelt marked. Socialpsykologi kvartalsvis, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz og John Cook. Forkert information og korrektion af den fortsatte indflydelse og vellykket debiasing. Psykologisk videnskab i offentlighedens interesse, 13 (3): 106–131, december 2012.

[3] Thomas Wood og Ethan Porter. Den undvigende virkning på backfire: Mass Attitudes 'standhaftige faktiske overholdelse. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, august 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Programmering af den algoritmiske sociale kontrakt. Medium

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios og Cedric Langbort. 2014. Revisionsalgoritmer: Forskningsmetoder til påvisning af diskrimination på internetplatforme. Data og diskrimination: Konvertering af kritiske bekymringer til produktiv undersøgelse, International Meeting Association årsmøde, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmisk gennemsigtighed i nyhedsmedierne. Digital journalistik, 1–20.

[7] Thaler, R. H., & Sunstein, C. R. (2003). Libertarian fadernisme. The American Economic Review, 93 (2), 175–179.