Menneskebasert databehandling

"Menneskebasert databehandling" er en databehandlingsteknikk der en beregningsprosess utfører sin funksjon ved å sette ut visse trinn til mennesket. Denne tilnærmingen bruker forskjellene i evner og alternative kostnader mellom mennesker og databehandlingsmidler for å oppnå symbiotisk menneske-datamaskin-interaksjon. For beregningsmessig vanskelige oppgaver, som bildegjenkjenning, spiller menneskebasert databehandling en sentral rolle i trening av kunstige intelligenssystemer basert på dyp læring . I dette tilfellet har menneskebasert databehandling blitt kalt menneskeassistert kunstig intelligens. [ 1 ]

I tradisjonell databehandling bruker et menneske en datamaskin for å løse et problem, et menneske gir en formell beskrivelse av problemet til en datamaskin, og får en løsning for å tolke det. [ 2 ] Menneskebasert databehandling snur ofte rollene: datamaskinen ber en person eller en stor gruppe mennesker løse et problem, [ 3 ] samler deretter inn, tolker og integrerer løsningene deres. Dette gjør hybride menneske-datanettverk til "storskala distribuerte datanettverk" [ 4 ] [ 5 ] [ 6 ] hvor kode delvis utføres i menneskelige hjerner og på silisiumbaserte prosessorer .

Tidlige arbeider

Menneskebasert databehandling har sin opprinnelse i tidlig arbeid med interaktiv evolusjonær databehandling . [ 7 ] Ideen bak evolusjonære interaktive algoritmer skyldes Richard Dawkins . I Biomorphs-programvaren som følger med boken The Blind Watchmaker ( Dawkins , 1986), [ 8 ] er foretrukket en menneskelig eksperimentator for å veilede utviklingen av todimensjonale sett med linjesegmenter. I hovedsak ber dette programmet en mann om å bli funksjonen som bedømmer egnetheten til en evolusjonsalgoritme, slik at algoritmen kan bruke menneskelig visuell persepsjon og estetisk dømmekraft til å gjøre noe som en normal evolusjonsalgoritme ikke kan gjøre. Imidlertid er det vanskelig å få nok evalueringer fra et enkelt menneske hvis vi ønsker å utvikle oss til mer komplekse former. Victor Johnston [ 9 ] og Karl Sims [ 10 ] utvidet dette konseptet ved å utnytte energien til mange mennesker til å utføre kondisjonsvurderinger (Caldwell og Johnston, 1991; Sims, 1991). Som et resultat kan show utvikle seg til vakre ansikter og engasjerende kunstverk for publikum. Disse programmene reverserte effektivt den vanlige interaksjonen mellom datamaskiner og mennesker. I disse programmene er datamaskinen ikke lenger en agent for brukeren, men i stedet en koordinator for samlingen av innsatsen til mange menneskelige evaluatorer. Disse og lignende forskningsinnsats ble gjenstand for forskning innen interaktiv evolusjonær beregning eller estetisk seleksjon; [ 11 ] var imidlertid omfanget av den nåværende forskningen begrenset til ekstern evaluering, og som et resultat utforsket det ikke fullt ut det fulle potensialet til outsourcing.

Et automatisk Turing-testkonsept utviklet av Moni Naor i 1996 [ 12 ] er en annen forløper til menneskebasert databehandling. I Naors test kan maskinen kontrollere menneskers og datamaskiners tilgang til en tjeneste ved å utfordre dem med et problem med naturlig språkbehandling (NLP) eller datasyn (CV) for å identifisere mennesker fra hverandre. Oppgavesettet er valgt slik at de ikke har en algoritmisk løsning som er effektiv på dette tidspunktet. Hvis en slik algoritme fantes, kunne den enkelt utføres av en datamaskin, og dermed beseire testen. Faktisk var Moni Naor beskjeden i å kalle dette en automatisert Turing-test. Imitasjonsspillet beskrevet av Alan Turing i 1950 foreslo ikke å bruke VC-problemer. Den foreslo bare en spesifikk PLN-oppgave, mens Naors test identifiserer og utforsker en stor klasse av problemer, ikke nødvendigvis i domenet til PLN, som kan brukes til samme formål i de automatiserte og ikke-automatiserte versjonene av testen.

Til slutt oppmuntrer den menneskebaserte genetiske algoritmen (HGBA) [ 13 ] menneskelig deltakelse i flere forskjellige roller. Mennesker er ikke begrenset til rollen som evaluatorer, men kan velge å utføre et mer mangfoldig sett med funksjoner. Spesielt kan de bidra til innovative løsninger i den evolusjonære prosessen, gjøre inkrementelle endringer i eksisterende løsninger og utføre intelligent rekombinasjon. [ 14 ] Kort sagt, AGBH outsourcer alle operasjoner av en typisk genetisk algoritme til mennesker . Som et resultat av denne outsourcingen kan AGBH behandle representasjoner som operatører av innovasjonsbaserte beregninger ikke er tilgjengelige for; For eksempel naturlige språk. Dermed har AGBH fjernet behovet for et fast representasjonsskjema, som var en begrensende faktor for standard, interaktiv evolusjonær beregning (EC). [ 15 ] Disse algoritmene kan også sees på som nye former for sosial organisering koordinert av et dataprogram, ifølge Alex Kosorukoff og David Goldberg. [ 16 ]

Klasser

Menneskebaserte databehandlingsmetoder kombinerer datamaskiner og mennesker i forskjellige roller. Kosorukoff (2000) foreslår en måte å beskrive arbeidsdelingen innen databehandling, som grupperer menneskebaserte metoder i tre klasser. I tabellen nedenfor brukes den evolusjonære databehandlingsmodellen til å beskrive fire klasser av databehandling, hvorav tre avhenger av mennesker i en eller annen rolle. For hver klasse vises et representativt eksempel. Klassifiseringen er i form av rollene (innovasjon eller seleksjon) utført i hvert enkelt tilfelle av mennesker og beregningsprosesser. Denne tabellen er en del av en tredimensjonal tabell. Den tredje dimensjonen definerer om funksjonen til organisasjonen utføres av mennesker eller en datamaskin. Her forutsettes det utført av en datamaskin.

Beregning av arbeidsdeling utvalgsagent innovasjonsagent Datamaskin Menneskelig Datamaskin Genetisk algoritme Interaktiv genetisk algoritme Menneskelig datastyrte tester Menneskebasert genetisk algoritme

De menneskebaserte databehandlingsklassene i denne tabellen kan refereres til med forkortelser på to bokstaver: HO, OH, HH. Her identifiserer den første bokstaven typen agenter som utfører innovasjonen, den andre bokstaven angir typen seleksjonsagenter. I noen menneskebaserte implementeringer ( wiki er det vanligste eksemplet), kan valgfunksjonaliteten være begrenset, den kan vises med liten h.

Menneskebaserte databehandlingsmetoder

• (HO) Darwin (Vyssotsky, Morris, McIlroy, 1961) og Core War (Jones, Dewdney, 1984) Dette er spill hvor programmer skrevet av ulike mennesker konkurrerer i en turnering (datasimulering) der de sterkeste programmene vil overleve. Skaperne av programmene kopierer, endrer og rekombinerer vellykkede strategier for å forbedre vinnersjansene sine.
• (OH) Interactive CE (Dawkins, 1986; Caldwell og Johnston, 1991; Sims, 1991) CEI lar brukeren lage en abstrakt tegning kun ved å velge favorittbildene deres, på en måte som gjør at mennesker kun utfører egnethetsberegninger, og programmer utfører nyskapende rolle. I et design av Tastsuo Unemi, i 1998, introduserer den simulerte avspillingsstilen ingen eksplisitte evner, bare utvalg, noe som er lettere for mennesker. [ 17 ]
• ( HH2 ) Wiki . I 1995 tillot Ward Cunningham redigering av nettinnhold av flere brukere, det vil si at han støttet to typer menneskebasert innovasjon (bidrag med en ny side, og dens modifikasjoner eller inkrementelle utgaver). Valgmekanismen var imidlertid fraværende til 2002, da wikien ble utvidet med en revisjonshistorikk som gjør at ubrukelige endringer kan tilbakeføres. Dette ga midler for valg mellom ulike versjoner av samme side og gjorde wikien til et verktøy som støtter utvikling av innhold (det vil bli klassifisert som en menneskebasert evolusjonsstrategi når det gjelder evolusjonær databehandling, CE).
• (HH 3 ) Den menneskebaserte genetiske algoritmen (HGBA) (Kosorukoff, 1998) bruker både menneskebasert seleksjon og tre typer menneskebasert innovasjon (som bidrar med nytt innhold, mutasjon og rekombinasjon). Derfor er alle operatører i en typisk genetisk algoritme eksternalisert til mennesker (derav opprinnelsen til menneskebasert ). Denne ideen ble utvidet til integrering av folkemengder med den genetiske algoritmen for å studere kreativitet i 2011. [ 18 ]
• (HH 1 ) Sosiale søkeapplikasjoner aksepterer bidrag fra brukere og prøver å bruke menneskelig evaluering for å velge de beste bidragene som kommer til toppen av listen. Disse bruker en type menneskebasert innovasjon. Det første arbeidet ble gjort i sammenheng med AGBH. Digg og Reddit er nyere populære eksempler.
• (HO 1 ) Datastyrte tester. En datamaskin genererer et problem og presenterer det for evaluering for en bruker. En datastyrt metode aksepterer selektivt tilgangsforespørsler fra en klientdatamaskin koblet til en serverdatamaskin over et nettverk. Serverdatamaskinen mottar en tilgangsforespørsel fra klientdatamaskinen. Som svar genererer serverdatamaskinen et forhåndsbestemt antall tilfeldige tegn. Tilfeldige tegn brukes til å danne en streng på serverdatamaskinen. Sekvensen av karakterer er tilfeldig modifisert, enten visuelt eller hørbart, for å danne et puslespill. Den originale strengen blir det riktige svaret på puslespillet. Serverdatamaskinen presenterer puslespillet på en utdataenhet på klientdatamaskinen. Som svar sender klientdatamaskinen et svar til serveren. Forhåpentligvis er svaret en brukers gjetning om det riktige svaret. Serveren avgjør om gjettingen er riktig svar, og i så fall aksepteres tilgangsforespørselen. Hvis det riktige svaret ikke mottas innen en forhåndsbestemt tidsperiode, avslutter serveren forbindelsen mellom klienten og serveren, fordi sistnevnte antar at en automatisert agent opererer på klientdatamaskinen på vegne av brukeren. [ 19 ]
• (HO 2 ) Datastyrte tester som ligner på den forrige; for eksempel, CAPTCHA [ 20 ]​ [ 21 ]​ spør menneskelige brukere av dataprogrammer ved å presentere et problem som er ment å være enkelt for et menneske og vanskelig for en datamaskin. Mens CAPTCHA-er er effektive sikkerhetstiltak for å forhindre automatisert misbruk av nettjenester, er den menneskelige innsatsen som er investert i å løse problemet ellers bortkastet. ReCAPTCHA - systemet bruker disse menneskelige syklusene for å hjelpe med å digitalisere bøker ved å presentere ord skannet fra gamle bøker som optiske tegngjenkjenningssystemer ikke kan tyde. [ 22 ]
• (HO) Interaktive nettspill: Dette er programmer som trekker ut kunnskap fra folk på en underholdende måte. [ 23 ]​ [ 24 ]​ [ 25 ]​ [ 26 ]​ [ 27 ]
• (HO) «Menneskelig sverm» eller «sosial sverm» (Rosenberg, 2015). UNU-plattformen for menneskelig svermeri etablerer sanntids lukkede sløyfesystemer rundt nettverksbaserte brukergrupper laget av biologiske svermer, slik at menneskelige deltakere kan oppføre seg som en enhetlig kollektiv intelligens . [ 28 ]​ [ 29 ]​ [ 30 ]​ [ 31 ]
• (HO) Wikinomics , et konsept utviklet og introdusert av Don Tapscott og Anthony D. Williams, viser til delingsøkonomien. Teknologi, demografi og den globale økonomien har konvergert i fremveksten av nye produksjonsmåter og et økonomisk paradigme basert på massivt samarbeid og tung bruk av åpen kildekode-teknologier som wiki . [ 32 ]
• (NHO) Naturlig menneskelig databehandling innebærer å utnytte eksisterende menneskelig atferd for å trekke ut beregningsmessig meningsfylt arbeid uten å forstyrre den atferden. [ 33 ] Natural human computing (NHO) skiller seg fra andre former for menneskebasert databehandling ved at i stedet for å involvere outsourcing av beregningsarbeid til menneskelig aktivitet ved å be mennesker om å utføre nye beregningsoppgaver, innebærer det å utnytte en viktig beregningsmessig tidligere ubemerket i eksisterende atferd. .

Insentiver for deltakelse

I de forskjellige menneskebaserte databehandlingsprosjektene motiveres mennesker av ett eller flere av følgende elementer:

• Få en god del av resultatet
• Direkte økonomisk kompensasjon (for eksempel på Amazon Mechanical Turk , Answerly, ChaCha Operator , Search Guide, Mahalo.com, Answer Members, Clickworker)
• Ønsket om å diversifisere aktiviteten sin (for eksempel "folk blir ikke bedt om å være kreative i hverdagen") [ 34 ]
• estetisk tilfredsstillelse
• Nysgjerrighet, lysten til å prøve om det fungerer
• Frivillighet, ønsket om å støtte en prosjektsak
• Gjensidighet, utveksling, gjensidig hjelp
• Ønske om å bli underholdt i konkurranse- eller samarbeidsånden til et spill
• Ønsket om å kommunisere og dele kunnskap
• Ønsket om å dele en brukerinnovasjon for å se om noen andre kan forbedre den
• Ønske om å spille systemet og påvirke det endelige resultatet
• Moro
• Økt omdømme/anerkjennelse på nett

Mange prosjekter har utforsket ulike kombinasjoner av disse insentivene. Se mer informasjon om motivasjonen til deltakerne i disse prosjektene i Kosorukoff, [ 35 ] og Von Hippel (2005). [ 36 ]

Menneskebasert databehandling som en form for sosial organisasjon

Sett på som en form for sosial organisasjon, viser menneskebasert databehandling seg ofte overraskende å være mer robust og produktiv enn tradisjonelle organisasjoner. [ 37 ] Sistnevnte er avhengig av forpliktelsene til å opprettholde sin mer eller mindre faste struktur, for å være stabil og funksjonell. Hver av dem ligner på en nøye utformet mekanisme der mennesker utgjør dens deler. Dette begrenser imidlertid friheten til dine menneskelige ansatte og utsetter dem for ulike typer stress. De fleste har, i motsetning til mekaniske deler, vanskelig for å tilpasse seg noen faste roller som passer best for organisasjonen. Menneskebaserte evolusjonære databehandlingsprosjekter tilbyr en naturlig løsning på dette problemet. De tilpasser organisasjonsstrukturen til menneskelig spontanitet, imøtekommer menneskelige feil og kreativitet, og bruker begge deler konstruktivt. Dette frigjør deltakerne fra forpliktelser uten å gå på akkord med funksjonaliteten til helheten, noe som gjør folk lykkeligere. Det er fortsatt noen vanskelige forskningsproblemer som må løses før vi kan realisere det fulle potensialet til denne ideen.

De algoritmiske outsourcingsteknikkene som brukes i menneskebasert databehandling er mye mer skalerbare enn de manuelle eller automatiserte teknikkene som brukes til å administrere tradisjonell outsourcing. Det er denne skalerbarheten eller utvidelsesmuligheten som gjør at innsatsen enkelt kan fordeles mellom tusenvis av deltakere. Det ble nylig antydet at denne massive outsourcingen er forskjellig nok fra tradisjonell småskala outsourcing til å fortjene et nytt navn: crowdsourcing – distribuert åpent samarbeid. [ 38 ]

Imidlertid har andre hevdet at crowdsourcing bør skilles fra ekte menneskebasert databehandling. Crowdsourcing innebærer faktisk fordeling av databehandlingsoppgaver mellom ulike menneskelige agenter, men Pietro Michelucci argumenterer for at dette ikke er nok for at det skal betraktes som menneskelig databehandling. [ 39 ] Menneskelig databehandling krever ikke bare at en oppgave fordeles mellom ulike agenter, men også at settet med agenter som oppgaven distribueres gjennom blandes: noen av dem må være mennesker, mens andre må være tradisjonelle datamaskiner. Det er denne blandingen av ulike typer agenter i et beregningssystem som gir menneskebasert databehandling dens særpreg. Noen tilfeller av crowdsourcing oppfyller dette kriteriet, men ikke alle.

Menneskebasert databehandling organiserer arbeidere gjennom en oppgavemarkedsplass med applikasjonsprogrammeringsgrensesnitt ( APIer ), oppgavepriser og programvare-som-en-tjeneste- protokoller som lar arbeidsgivere/søkere motta data produsert av arbeidere direkte inn i IT-systemer ( informasjonsteknologi ). Som et resultat prøver mange arbeidsgivere å administrere arbeidere automatisk gjennom algoritmer i stedet for å svare arbeidstakere fra sak til sak eller adressere deres bekymringer. Å svare på arbeidere er vanskelig å skalere til sysselsettingsnivåer som mikroarbeidsplattformer tillater menneskelig databehandling. For eksempel har Mechanical Turk -systemarbeidere rapportert at menneskebaserte dataarbeidsgivere kanskje ikke er lydhøre for deres bekymringer og behov.

Applikasjoner

Klassifisering av menneskelig assistert søk

En tilnærming til å forbedre Internett-søk innebærer å kombinere automatisert klassifisering med menneskelig redaksjonell input. [ 40 ]

Kritikk

Menneskebasert databehandling har blitt kritisert som utnyttende og villedende, med potensial til å undergrave kollektiv handling. [ 41 ]​ [ 42 ]

I sosial filosofi har det blitt hevdet at menneskebasert databehandling er en implisitt form for nettarbeid. [ 43 ] Filosofen Rainer Mühlhoff skiller mellom fem forskjellige typer "maskinisk fangst" av menneskelig mikroarbeid i "hybride menneske-datanettverk": 1) gamifisering, 2) "fangst og sporing" (for eksempel CAPTCHA eller klikksporing på Google-søk) , 3) sosial utnyttelse (f.eks. ansiktsmerking på Facebook), 4) informasjonsutvinning og 5) gjennomklikk (som i Mechanical Turk ). [ 44 ] Mühlhoff hevder at menneskebasert databehandling ofte mates av kunstig intelligens-systemer basert på dyp læring , et fenomen han diskuterer som «menneske-assistert kunstig intelligens».

Se også

• Portal: Matematikk . Innhold relatert til matematikk .
• borgervitenskap
• sosial databehandling
• Crowdsourcing
• kollaborativ intelligens
• Sosial organisasjon
• simulert virkelighet
• samarbeidsnettverk
• sosialt utstyr
• menneskelig kalkulator
• Difference engine , en tidlig automatisk mekanisk kalkulator designet for å erstatte menneskelige datamaskiner
• Mathematical Tables Project  - et Works Progress Administration (WPA)-prosjekt som brukte menneskelige datamaskiner
• Mentat , en fiktiv menneskelig datamaskin
• kvinner i databehandling
• Datamaskiner i vestområdet
• Liste over menneskelige kalkulatorer

Referanser

1. ↑ Shahaf, Dafna; og Eyal Amir (28. mars 2007). «Mot en teori om AI fullstendighet; Mot en fullstendighetsteori om kunstig intelligens» (på engelsk) . Hentet 12. mai 2022 . 
2. ↑ Turing, Alan M. (1950). "Computer Machinery and Intelligence" (på engelsk) . Hentet 20. juni 2021 . 
3. ↑ Fogarty, Terence C. (20. august 2003). "Automatisk konseptutvikling" (på engelsk) . Hentet 21. juni 2021 . 
4. ↑ av Ahn, Louis. "Human Computation" (på engelsk) . Google Tech Talk 26. juli 2006 . Hentet 22. november 2021 .  . Sitert av Mühlhoff, Rainer (2019). "Menneskestøttet kunstig intelligens: Eller hvordan kjøre store beregninger i menneskelige hjerner? Mot en mediesosiologi for maskinlæring". Nye medier og samfunn: 146144481988533. doi:10.1177/1461444819885334. ISSN 1461-4448.
5. ^ Gentry, Craig; Zulfikar Ramzan og Stuart Stubblebine. Sikker distribuert menneskelig databehandling . Hentet 22. juni 2021 . 
6. ^ "Sikker distribuert menneskelig databehandling " . Hentet 22. juni 2021 . 
7. ^ Herdy, Michael (1996). «Evolusjonsstrategier med subjektiv seleksjon. Grunnleggende konsepter for evolusjonær beregning. Bind 1141, s. 22-31» (på engelsk) . Hentet 20. juni 2021 . 
8. ↑ Dawkins, Richard. " The Blind Watchmaker " (på engelsk) . Hentet 27. februar 2020 . 
9. ↑ Johnston, Victor. " Metode og apparat for å generere kompositter av menneskelige ansikter " (på engelsk) . Hentet 1. juni 2020 . USPTO-patent nr. 5375195 
10. ↑ Sims, Karl P. « Datasystem og metode for å generere og mutere objekter ved iterativ evolusjon » (på engelsk) . Hentet 27. februar 2020 . USPTO-patent nr. 6088510 
11. ^ "Menneskebasert genetisk algoritme " . Hentet 21. juni 2021 . 
12. ↑ Naor, Moni. «Bekreftelse av et menneske i loopen eller identifikasjon via Turing-testen; Verifikasjon av et menneske i loop eller Identifikasjon via Turing-testen» (på engelsk) . Hentet 20. juni 2021 . 
13. ↑ «Menneskebasert genetisk algoritme» (på engelsk) . Hentet 21. juni 2021 . 
14. ^ Hammond, Michelle O.; og Terence C. Fogarty. «Kooperativ OuLiPian generativ litteratur ved bruk av menneskelig basert evolusjonær databehandling; OuLiPian (Ouvroir de littérature potensielle) Generativ samarbeidslitteratur ved bruk av menneskebasert evolusjonær databehandling . Hentet 21. juni 2021 . 
15. ↑ Takagi, Hideyuki. "Interaktiv evolusjonær beregning: fusjon av evnene til EC-optimalisering og menneskelig evaluering, s. 1275-1296» (på engelsk) . Hentet 21. juni 2021 . 
16. ↑ «Evolusjonær beregning som en organisasjonsform, s. 965-972; Evolusjonær databehandling som organisasjonsform» (på engelsk) . Hentet 21. juni 2021 . 
17. ↑ Unemi, Tatsuo. «Et design av flerfelts brukergrensesnitt for simulert avl; En flerfelts brukergrensesnittdesign for en avlssimulering, s. 489-494» (på engelsk) . Hentet 21. juni 2021 . 
18. ↑ Yu, Lixiu; og Jeffrey V. Nickerson. «Kokker eller skomakere?: mengden kreativitet gjennom kombinasjon; Cooks or Cobblers?: Crowd Creativity Through Mixing» (på engelsk) . Hentet 23. juni 2021 . 
19. ^ "Metode for selektivt å begrense tilgang til datasystemer; Metode for selektivt å begrense tilgang til datasystemer, patent 6195698 innlevert til United States Patent and Trademark Office (USPTO) av Mark D. Lillibridge et alii» (på engelsk) . Hentet 21. juni 2021 . 
20. ^ av Ahn, Louis; Manuel Blum, Nicholas J. Hopper og John Langford. CAPTCHA: Bruk av harde AI-problemer for sikkerhet . Hentet 21. juni 2021 . 
21. ↑ «Salig 'captcha'! Å skille mennesker og roboter fra hverandre har aldri vært så frustrerende . Tidsskriftet (Spania) . 9. juni 2015 . Hentet 1. juni 2020 . 
22. ^ av Ahn, Louis; Benjamin Maurer, Colin McMillen, David Abraham og Manuel Blum. «reCAPTCHA: Menneskebasert karaktergjenkjenning via nettsikkerhetstiltak; reCAPTCHA: Menneskebasert karaktergjenkjenning gjennom nettsikkerhetstiltak » . Hentet 23. juni 2021 . 
23. ↑ Burger, Robin. «20Q. nett. Tjue spørsmål. Det nevrale nettet på Internett. Spill Twenty Questions» (på engelsk) . Hentet 21. juni 2021 . 
24. ↑ von Ahn, Luis og Laura Dabbish. «Merke bilder med et dataspill; Bildemerking med dataspill» (på engelsk) . Hentet 21. juni 2021 . 
25. ^ av Ahn, Louis; Mihir Kedia og Manuel Blum. «Fakta: et spill for å samle sunn fornuft; Et spill for å samle sunn fornuftsdata» (på engelsk) . Hentet 23. juni 2021 . 
26. ^ av Ahn, Louis; Shiri Ginosar, Mihir Kedia, Ruoran Liu og Manuel Blum. "Forbedre tilgjengeligheten til nettet med et dataspill; Forbedre nettilgjengelighet med et dataspill» (på engelsk) . Hentet 23. juni 2021 . 
27. ^ von Ahn Arellano, Luis (19. juli 2011). «Metode for merking av bilder gjennom et dataspill» (på engelsk) . Hentet 21. juni 2021 . USPTO-patent nr. 7980953 
28. ↑ Rosenberg, Louis B. «Human Swarms: a real-time paradigme for Collective intelligence; Menneskesvermer: et sanntidsparadigme for kollektiv intelligens» (på engelsk) . Hentet 23. juni 2021 . 
29. ^ "Svermer: et sanntidsparadigme for kollektiv intelligens; Menneskesvermer: et sanntidsparadigme for kollektiv intelligens» (på engelsk) . Hentet 23. juli 2021 . 
30. ↑ Sunstein, Cass R. «Infotopia: How Many Minds Produce Knowledge; Infotopia: hvor mange sinn produserer kunnskap» (på engelsk) . Hentet 23. juni 2021 . 
31. ↑ Malone, Thomas W.; Robert Laubacher og Chrysanthos Dellarocas. «Harnessing Crowds: Kartlegging av genomet til kollektiv intelligens; Utnytte Crowds: Kartlegging av genomet til kollektiv intelligens » . Hentet 23. juni 2021 . 
32. ↑ Tapscott, Don og Anthony D. Williams. Wikinomics: Hvordan massesamarbeid endrer alt; Wikinomics: How Mass Collaboration Changes Everything» (på engelsk) . Hentet 23. juni 2021 . 
33. ↑ Estrada, Daniel og Jonathan Lawhead. «Gaming the Attention Economy; Spill i oppmerksomhetsøkonomien» (på engelsk) . Hentet 23. juni 2021 . 
34. ^ "(Spørsmål og svar) Din oppgave: Kunst" . Wired Magazine (på engelsk) . juli 2007 . Hentet 27. februar 2020 . 
35. ↑ Kosorukoff, Alexander. «Sosiale klassifiseringsstrukturer. Optimal beslutningstaking i en organisasjon; Strukturer for sosial klassifisering. Å ta optimale beslutninger i en organisasjon» (på engelsk) . Hentet 22. juni 2021 . 
36. ↑ Von Hippel, Eric. «Demokratiserende innovasjon; Democratizing Innovation» (på engelsk) . Hentet 22. juni 2021 . 
37. ^ Kosorukoff, Alexander og David Goldberg (2002). "Evolusjonær beregning som en organisasjonsform " . Hentet 21. juni 2021 . 
38. ↑ Howe, Jeff (juni 2006). "The Rise of Crowdsourcing" (på engelsk) . Hentet 22. juni 2021 . 
39. ↑ Michelucci, Pietro. «Håndbok for menneskelig beregning; Handbook of Human Computing» (på engelsk) . Hentet 23. juni 2021 . 
40. ^ "Metode og apparat for søkerangering ved bruk av menneskelig input og automatisert rangering " . Hentet 1. juni 2020 . 
41. ↑ Zittrain, Jonathan. Minds til salgs; Minds for sale» (på engelsk) . Hentet 23. juni 2021 . 
42. ↑ Jafarinaimi, Nassim. «Utforske karakteren av deltakelse i sosiale medier: tilfellet med Google Image Labeler; Utforske karakteren av deltakelse i sosiale nettverk: tilfellet med Google Image Tagging» (på engelsk) . Hentet 23. juni 2021 . 
43. ↑ Mühlhoff, Rainer. «Menneskestøttet kunstig intelligens: Eller hvordan kjøre store beregninger i menneskelige hjerner? Mot en mediesosiologi om maskinlæring; Menneskeassistert kunstig intelligens: Eller hvordan kjøre store beregninger på menneskehjerner? Towards a media sociology of machine learning» (på engelsk) . Hentet 23. juni 2021 . 
44. ↑ Mühlhoff, Rainer. «Menneskestøttet kunstig intelligens: Eller hvordan kjøre store beregninger i menneskelige hjerner? Mot en mediesosiologi om maskinlæring; Menneskeassistert kunstig intelligens: Eller hvordan kjøre store beregninger på menneskehjerner? Towards a media sociology of machine learning» (på engelsk) . Hentet 23. juni 2021 . 

Eksterne lenker

• Human Computing , en Google Technology Talk, av Luis von Ahn.
• Utyp , søkemotorer for bilder og fotografier ved bruk av åpen kildekode menneskebasert databehandling ( Flash-spill arkivert 8. mai 2013, på Wayback Machine .).
• Krabott trading , menneskelig databehandling brukt på det automatiserte handelssystemet, med en menneskebasert genetisk algoritme.
• Recaptcha , digitalisering av bøker gjennom bruk av Captcha (Luis Von Ahn).
• Fold-it , seriøst menneskebasert dataspill: "Løs gåter for vitenskap" med proteinfolding.