Eksistensiell risiko og ukontrollert digital evolusjon

[Jeg er ikke en AI-spesialist. Boken som diskuteres, tilbyr ikke noen konkrete løsninger, men tilhører heller kategorien #speculative journalistikk og science fiction. Som det ofte skjer i slike tilfeller, er diskusjonen som genereres av boka mye mer interessant og nyttig enn selve boken. Dette emnet har blitt mer utbredt på engelsk. Internett. I Runet gir spørringen @ superintelect, @ supermind ~ 189 resultater per måned (Yandex)]

"Hva om vi lykkes?"
Stuart Russell

I. Apokalypse i morgen

I sin bok Superintelligens: Muligheter, Risiko, Strategier Nick Bostrom tegner et pessimistisk scenario for utviklingen av kunstig intelligens: så snart en AI ser ut som menneskelig intelligens, vil superintelligens være en av hans første oppfinnelser. Og så "fiolinisten er ikke nødvendig", kan super intelligente informasjonssystemer selvutdanne og reprodusere enda mer komplekse systemer, kontrollere produksjonen og distribusjonen av konkurrerende AI, hengi seg til et aggressivt Malthusian-løp med andre intelligente agenter i Artificial Nature.

Eksistensielle risikerer fra toppminnets nabolag og mann vokser mange ganger. Nick Bostrom advarer om at superintelligensen er i stand til å lære raskere og mer effektivt av sine skapere, og hvis du ikke inkuberer menneskelige verdier i det, så kan alt slutte dårlig, fordi superintelligens vil ikke bare kunne regulere videre produksjon av smarte maskiner, det vil med hell hindre folk i å forsøke å rette opp arbeidet eller forstyrre det.

Selvbiografisk retrett: Nick Bostrom blant forskere og filosofer er kjent som en horror elsker - han leder instituttet, som er engasjert i søk og publisering av eksistensiell risiko, han har en slik jobb. Noen kollegaer kaller til og med Donald Trump fra AI, Nick Bostrom er fornærmet, men tilgir raskt. Den sterke verden av vitenskapelig debatt. Slutten på det selvbiografiske tilfluktsstedet.

II. Hva synes eksperter?

Allerede har AI "begrenset rasjonalitet" - den kan velge den optimale strategien for å oppnå resultater. Hva vil skje hvis han lærer å endre dem og forandre hierarkiet til sine mål?

Som hovedargument til støtte for deres frykt, citerer Bostrom ønsket om optimalisering. Hvis superintelligenten trenger å løse Riemann-teorien, og for dette trenger han å konvertere halvparten av levende vesener til datamaskiner, vil han gjøre det uten å nøle, påstår Bostrom. Hvis superintelligensen trenger å kurere kreft, så vil han gjøre det, selv om det må ødelegge alle mennesker som ikke har kreft. Forfatteren legger problemet med kontroll av superintelligens i første omgang i utviklingen av AI. Blant forskere kalles et slikt scenario paradigmer av bostrom på 2000-tallet. Og nyere fremskritt i maskinlæring har trukket oppmerksomhet til dette problemet, selv av techno-oligarker og forretningsmenn, som lød alarmen og oppriktig uttrykte bekymringer om utviklingen av AI.

Ramez Naam tviler på at meninger fra B.Gates, I.Maska ("super-intelligens er en ny atombombe"), S. Hawking på risiko for AI har noen vekt. "#Crive behovet. Ingen av dem jobbet i dette området."Han citerer meninger fra fremtredende AI / maskin læring eksperter:

  • Michael Litman, professor ved Brown University og en tidligere ansatt i AI-foreningen: "Slike frykt er bare urealistisk. AI kan ikke bare våkne opp og gjøre en apokalypse."
  • Jan LeKun, Facebook Spesialist på neurale nettverk: "Noen mennesker tror at AI vil kunne programmere seg en dag. Vanligvis er slike forutsetninger ikke laget av spesialister."
  • Andrew Eun, Curser / Google / Baidu Machine Learning Specialist: "Ja, datamaskiner blir smartere. Men dette er bare tankene, ikke tankene og selvbevisstheten, og de fleste eksperter tror ikke på denne måten at du kan skape et bevisst AI. Bekymring for farene ved superintelligens er bare det samme som å bekymre deg for overbefolkning av mars."
  • Andre, ikke mindre seriøse eksperter tror ellers:
  • Richard Sutton, professor i informatikk ved Universitetet i Albert, sa i sin tale på en konferanse om sikker AI at: "det er en viss sannsynlighet for forekomst av en persons AI-nivå" og så "Vi vil bli tvunget til å samarbeide med ham", og "fra en rimelig slave kan AI bli en rimelig konkurrent."
  • Jürgen Schmidhuber, professor i AI ved Universitetet i Lugano og en tidligere professor i kognitiv vitenskap for roboter ved Universitetet i München, sier at: "Hvis tempoet i utviklingen av vitenskapen forblir på samme nivå som før, så i de kommende tiårene kan vi forvente et reelt gjennombrudd i anvendelsen av AI." På reddit la han merke til at: "Ved første øyekast kan rekursiv selvforbedring i Gödel-maskiner bidra til å utvikle superintelligens. Gödel-maskiner kan velge og gjøre endringer i koden deres som trolig vil gi positive resultater i henhold til det første settet av funksjoner. Det vil si at vi kan spesifisere den første" korrekte " Parametrene og maskinen vil utvikle dem selv. Andre forskere kan spørre sine maskiner et annet sett med parametere. Og evolusjonens løp vil begynne. Det er umulig å forutsi hvem som vil vinne dette løp og hva det vil bringe til oss. Mer om det."
  • Murray Shenehen, professor i informatikk ved Cambridge, skriver i sin bok "Technological singularity" at: "Fra å skape en persons AI-nivå (teoretisk mulig, men svært vanskelig) for å skape en superintelligens, kan det ta litt tid, og dette gjennombruddet kan sammenlignes med singularitetspunktet, der hendelsene vil utvikle seg raskere enn vi antar. Over-intelligens overlegen menneskelige evner vil være forbundet med økte eksistensielle farer og økte fordeler. "

Alan Turing, som trenger ingen introduksjon, i sitt arbeid "Er en digital maskin i stand til å tenke?" Han skriver: "Anta at vi klarer å skape tankeapparater. Dette vil gi en resonans og vil møte motstand fra intellektuelle og forskere som vil være bekymret for deres stilling og arbeid. Og med god grunn. For når maskiner når det menneskelige tenkemåte, må folk prøve veldig hardt for å holde tritt med maskiner i rimelig aktivitet. Det er også ganske sannsynlig at en rimelig maskin evne til å skape sin egen likhet eller en enda mer intelligent maskin. Det kan derfor forventes at når en rimelig maskin kan være rimelig under kontroll av menneskeheten. "

III. Hvorfor kunstig intelligens?

Fordi menneskets hjerne er nærmeste analog av hva som skjer i maskinlæring: Informasjonssystemer som gjennomgår maskinlæring kalles nevrale nettverk og består av separate lag, som hver er ansvarlig for behandling av bestemt informasjon. Hvis lagene på de nedre nivåene kan motta informasjon, kan lagene i de øvre nivåene behandle, overføre og bruke den til egen trening. Svært lik den selvlærende maskinen i det menneskelige hode.

Nevrale nettverk er allerede i stand til å skille mellom menneskelig tale og ansikter bedre enn mennesker. Dette er ikke så ufarlig som det ser ut ved første øyekast. Vi er overrasket over seieren til en datamaskin over en person i sjakk eller gå, selv om en person ikke har spesielle deler av hjernebarken for å løse sjakkproblemer. Men anerkjennelse og kategorisering av ansikter er allerede en spesiell sone i cortexen som har utviklet seg evolusjonært og er ansvarlig for overlevelse. Og i dette området er AI bedre enn mannen i dag.

Så, AI er i stand til abstrakt og kategorisk å forstå pedagogisk informasjon: å skille mellom bilder av hvite hunder, svarte hunder, spaniels, dachshunds, valper, voksne hunder og å tildele alt dette til "hunden". AI kan lage og merke pornografiske motiver i bilder. (Pass på: ekte digital pornografi når det gjelder AI). Disse egenskapene til AI (kategorisering / generalisering / klassifisering) indikerer den enkleste fornuftige aktiviteten til et informasjonssystem.

Hva er neste?

IV. Sammenlign de to tilnærmingene:

1. mekanistisk: Klassifisering / kategorisering er absolutt et tegn på en rimelig agent. Men bare en av. Dette er en nyttig og flott funksjon, men ikke den viktigste. Sann intelligens krever mer enn muligheten til å klikke puslespill - ønsket om å klikke puslespill. Å skille mellom bilder av hunder og kalle det en hund er kult, uten tvil. Nåværende AI må først og fremst være innebygd i ønsket, motivasjonsdrift for å løse problemer og bevise teoremer. Og etableringen av et rasjonelt ønskeinformasjonssystem er mer enn evnen til å utføre ultrafast og effektivt selv svært komplekse oppgaver som instruert av ingeniøren av dette systemet. Og ønskene til en ønsket intelligent maskin kan avvike fra målene til en menneskelig skaperen. Denne tilnærmingen er søt Nick Bostrom.

2. biologisk (Forsiktig: Grunnforenkling): Det meste av hjernen består av de samme eller litt forskjellige cellene som har utviklet seg under evolusjonen. Hvis vi kan forstå hvordan en del av hjernen fungerer, vil det være mye lettere å forstå hvordan andre områder fungerer. motiverende Prosesser av human rasjonell aktivitet finner sted i samme eller lignende områder av hjernebarken som oppfatning / kategorisering / klassifisering informasjon. Hvis forskere mener at informasjonssystemer for perception-kategorisering-klassifisering kan reproduseres ved hjelp av eksempelet på den menneskelige hjerne, og for å reprodusere motiverende intelligente systemer, vil forskerne heller litt endre de eksisterende neurale nettverksprøvene for kategorisering / klassifisering. Slike systemer vil ikke se ut som helt motiverte og målfokuserte prototyper (den menneskelige hjerne er også litt som slike systemer). Mest sannsynlig vil det vise seg å være svært lite fra ulike oppfatninger, ønsker og motivasjoner, som det vanligvis skjer i menneskelige hoder. En slik tilnærming stiller spørsmålstegn ved skaperenes totale kraft over AI, fordi de programmerte motivene / målene til maskinen kanskje ikke oppstår eller vil bli betydelig endret.

Biologisk tilbaketrekning. Evolusjonær historien om den biologiske tilnærmingen er vanskelig å spore og bekrefte med stor nøyaktighet. Adskillelsen mellom kognitiv oppfatning / behandling av sensorisk informasjon (prefrontal cortex) og minne / følelse / oppførsel sentre (hypothalamus og hippocampus) skjedde i de tidlige stadiene av utviklingen av vertebrater eller enda tidligere. Imidlertid har disse forskjellige systemene beholdt forbindelser og forstyrrer hverandres funksjonalitet. Noen deler av cortex er knyttet til hypothalamus og tilhører limbic systemet. Andre deler av thalamus (lizard hjerne, limbic system) er involvert i informasjon behandling (colliculi).

Det ser ut til at hjerneområder som er ansvarlige for sensorisk oppfatning og motivasjons-emosjonelle soner er tilstede i ulike deler av cortex. Videre utviklet pre-frontale cortex, som anses som den menneskelige personlighetens vugge (høyere kognitiv aktivitet, evaluering, planlegging, etc.), trolig utviklet fra cortex av den første fisken, fra den enkelte hjerne av disse fiskene. Som igjen stammer fra de flere hundre nevronene som var ansvarlige for oppfatningen og behandlingen av sensorisk informasjon i de første ormene. Slutten av den biologiske retrett.

Verken anatomi eller evolusjon innebærer en rent autonom separasjon mellom oppfatning, behandling og motivasjon av rimelig aktivitet. De samme systemene kan oppleve informasjon på ett sted, og med mindre endringer, behandle det og motivere videre aktivitet i andre deler av hjernen. Alt en. Med risiko for å kaste inn i metafysikk og mystikk, la oss bare si at kognitive forvrengninger (informasjonsbehandling) og visuelle illusjoner (oppfatninger) har mer felles enn tidligere antatt (en annen forenkling: disse forvrengningene forekommer i teknisk identiske felt, Brodmann-felt).

V. På opprinnelsen til arter

Kategorisering / klassifisering er grunnlaget for moralsk utdanning. Kanskje dette er moral. Ta for eksempel de mentale kategoriene: alle vet hva en fugl er, men med den nøyaktige definisjonen av en "fugl" er litt vanskeligere (storfe er en fugl, pingvin er en merkelig fugl, Archeopteryx ... en halvfugl?).

Alle husker hvordan disse kategoriene oppstår. Litt lærer, moren viser barnet en kylling og sier "fugl". Etter et par år lærer barnet at flaggermuset er "ikke en fugl", og at hjernen din fritt opererer med kategorier / klasser og komplekse abstraksjoner, og etter to tusen år kommer Darwin og sier at det finnes en slik klasse av hvirveldyr "fugler", noe som er veldig bra, men du visste det uten ham.

Folk lærer etikk og moral på en lignende måte. Når vi biter noen, forteller mor / far / lærer / rabbiner / presten / sjaman at dette er "dårlig", når vi deler en kake, blir vi fortalt at dette er "bra". Basert på arbeid med slike eksempler, opererer informasjonssystemet med kategorier og klasser, selv om det ikke kan gi presise definisjoner av disse kategoriene og klassene.

Kunstig intelligens kan utvikle sin kunstige moral basert på dataene som forskere gir den. Moral skjer under AI-opplæring på pedagogisk informasjon. Bostrom mener at AIs moral / etikk er separat modul eller utvalg av treningsinformasjon.

Det vanlige Bostromovsky-motargumentet er sannsynligheten for at AI vil gjøre feil konklusjoner fra treningsinformasjonen og utvikle et system av verdier som er farlig for mennesker. For eksempel kan en AI bestemme at alt det som gjør en person lykkelig er bra. Og han vil begynne å optimalisere til maksimum - han vil begynne å lage heroininjeksjoner for personen hele tiden, slik at personen forblir glad.

Jeg vet ikke hvorfor, men menneskelig vurdering av handlinger virker ikke så grei, og i sjeldne tilfeller gir en ide til en kritisk masse. Kanskje dette skyldes de særegne klassifiseringer / kategoriseringer eller utenomfaktorer som er involvert i den endelige avgjørelsen, og ikke bare en dårlig dårlig dikotomi. Dette kan være en interessant oppgave for AI-utviklere - for å bestemme hva som nettopp gjør at informasjonssystemer klassifiserer informasjon som et menneske *.

Generelt er det vanskelig å forestille seg at en person har et bestemt moralsk gen, et moralsk segment av hjernebarken, en form for moralsk tilpasning. Og det er usannsynlig at etikk og moral er biologiske, evolusjonære konstruksjoner, neurobiologiske mekanismer - sannsynligvis er etikk og moral de nødvendige forholdene for prososial atferd. Etikk er som et tak på et hus, som naturlig vokser på grunn av det riktige arbeidet med lavere divisjoner, og underviser kunstig intelligens til etikk og moral er umulig bortsett fra vanlig læring (hvis vi snakker om AI basert på nevrale nettverk som gjentar hjernestrukturer).

Motivasjonssfæren til en person virker på dopaminer og belønningssystemet. Det er fortsatt å håpe at nærmeste menneskelige evne til å klassifisere kan implementeres i AI-modeller. Folk kan ha sex uten å ønske å befrugte alt levende og nonliving til planeten eksploderer. AI basert på den menneskelige modellen for oppfatning og dataklassifisering, vil vil løse problemer uten manisk lyst å undertrykke alle andre mål for dette ønske. Ikke alltid og ikke alle er tankeløse optimatorer: hierarkisk målinnstilling er vanlig for folk, alle forstår at moral er gunstig i det lange løp. Det betyr at superintelligens vil mest sannsynlig ikke bli en terminator optimizer dødelig for menneskeheten.

Den vanligste antagelsen (som støttes av Nick Bostrom): kunstig intelligens vil være utførelsen av ren logikk, helt uten følelser / tvil / tøys likhet, og vi må begrense denne matematiske golem **. Hvis vi husker slike eksempler fra den menneskelige prøven, blir disse fryktene litt overdrevne - de fleste som har lav empati, som har dårlig etik og moral, demonstrerer antisosial atferd, er det vanskelig for dem å lære å tilpasse, ganske enkelt fordi det er vanskelig for dem å forstå andre mennesker (autistiske, personer med schizoid lidelser), selv om de kan trekke ut røttene til femsifrede tall. Det er vanskelig for slike mennesker å ikke planlegge drap av en mygg, de tåler følelsen av en ny sko på føttene, hva slags verden erobrer å snakke om? Det er allerede en åpenbar tilknytning til mentalisasjonsprosessene, som taler om at det ikke er et uenighet mellom intelligens fra etikk. Det ser ut til at et annet scenario, hvor AI vil tenke ikke bare ved matematiske formler / programkode, er også mulig. Det vil bli mye mer komplisert og ikke så skummelt som Bostrom antyder. Og så vil folk trenge andre strategier for sameksistens med AI.


* 4. april 2016, MIRI Machine Learning Institute-programmet "Value alignment for advanced machine learning systems" (målsetting for komplekse maskinlæringssystemer). Oppgaven av dette programmet er etableringen av "infra-human AI", informasjonssystemer med begrenset autonomi.

**Формальная логика, специалистом по которой является Ник Бостром, не всегда адекватно описывает реальность (или не стремится). Так что эти опасения немного преувеличены и логико-математический терминатор может оказаться не таким опасным, как видится Бострому.


Om forfatteren til boken som er omtalt: Den svenske filosofen Nick Bostrom, forfatter av over 200 publikasjoner om globale risikoer, sekvensialisme, antropisk prinsipp, vitenskapelig etik. Direktør for Institute for the Future of Humanity, professor ved Oxford University. Vinner av grader i matematisk logikk, fysikk, beregningsmessig nevrovitenskap, filosofi.

Original: Bostromian paradigme og siste AI fremgang

Loading...

Legg Igjen Din Kommentar