Elk decennium lijkt zijn technologische buzzwords te hebben: we hadden personal computers in de jaren tachtig; internet en het wereldwijde web in de jaren negentig; smartphones en sociale media in de jaren 2000; en Artificial Intelligence (AI) en Machine Learning in dit decennium. Het gebied van AI is echter 67 jaar oud en dit is het eerste van een serie van vijf artikelen waarin:
- Dit artikel bespreekt de ontstaansgeschiedenis van AI en de eerste hype cycle gedurende 1950 en 1982
- Het tweede artikel bespreekt een opleving van AI en de prestaties gedurende 1983-2010
- Het derde artikel bespreekt de domeinen waarin AI-systemen nu al de concurrentie met mensen aangaan
- Het vierde artikel bespreekt de huidige hype cycle in Artificial Intelligence
- Het vijfde artikel bespreekt wat 2018-2035 voor hersens kan voorspellen, geesten en machines
Inleiding
Terwijl kunstmatige intelligentie (AI) een van de populairste onderwerpen van vandaag is, wordt vaak vergeten dat het eigenlijk in 1950 werd geboren en tussen 1956 en 1982 een hype cycle doormaakte. Het doel van dit artikel is de aandacht te vestigen op enkele van de verwezenlijkingen die tijdens de hype-fase van deze cyclus hebben plaatsgevonden en uit te leggen wat tot de bust-fase heeft geleid. De lessen die uit deze hype-cyclus kunnen worden getrokken, mogen niet over het hoofd worden gezien – de successen vormden de archetypes voor de algoritmen voor machinaal leren die vandaag de dag worden gebruikt, en de tekortkomingen wezen op de gevaren van overenthousiasme op veelbelovende gebieden van onderzoek en ontwikkeling.
De baanbrekende vraag
Hoewel de eerste computers tijdens de Tweede Wereldoorlog werden ontwikkeld, leek de vraag die Alan Turing in 1950 voorstelde de echte vonk te doen overslaan op het gebied van AI: kan een machine menselijke intelligentie nabootsen? In zijn baanbrekende paper, “Computing Machinery and Intelligence,” formuleerde hij een spel, het imitatiespel genoemd, waarin een mens, een computer, en een (menselijke) ondervrager zich in drie verschillende kamers bevinden. Het doel van de ondervrager is om de mens van de computer te onderscheiden door hen een reeks vragen te stellen en hun getypte antwoorden te lezen; het doel van de computer is om de ondervrager ervan te overtuigen dat het de mens is. In een interview met de BBC in 1952 suggereerde Turing dat de gemiddelde ondervrager tegen het jaar 2000 minder dan 70% kans zou hebben om de mens correct te identificeren na een sessie van vijf minuten.
Turing was niet de enige die zich afvroeg of een machine model kon staan voor intelligent leven. In 1951 probeerde Marvin Minsky, een afgestudeerde student die was geïnspireerd door eerder neurowetenschappelijk onderzoek waaruit bleek dat de hersenen bestonden uit een elektrisch netwerk van neuronen die vuren met alles-of-niets-pulsen, een computationeel model te maken van het gedrag van een rat. In samenwerking met Dean Edmonds, afgestudeerd natuurkundestudent, bouwde hij de eerste neurale netwerkmachine onder de naam Stochastic Neural Analogy Reinforcement Computer (SNARC) . Hoewel primitief (bestaande uit ongeveer 300 vacuümbuizen en motoren), was het succesvol in het modelleren van het gedrag van een rat in een klein doolhof op zoek naar voedsel.
Het idee dat het mogelijk zou kunnen zijn om een intelligente machine te maken was inderdaad verleidelijk, en het leidde tot verschillende latere ontwikkelingen. Zo bouwde Arthur Samuel in 1952 een Checkers-spelend programma dat het eerste zelflerende programma ter wereld was. Later, in 1955, bouwden Newell, Simon en Shaw Logic Theorist, dat het eerste programma was dat het probleemoplossend vermogen van een mens nabootste en uiteindelijk 38 van de eerste 52 stellingen in de Principia Mathematica van Whitehead en Russell zou bewijzen.
Het begin van de bloeifase
Geïnspireerd door deze successen organiseerde de jonge Dartmouth professor John McCarthy in 1956 een conferentie om twintig baanbrekende onderzoekers bijeen te brengen en “manieren te onderzoeken om een machine te maken die kon redeneren als een mens, in staat was tot abstract denken, probleemoplossing en zelfverbetering” . Het was in zijn voorstel van 1955 voor deze conferentie waar de term, “kunstmatige intelligentie,” werd bedacht en het was op deze conferentie waar AI zijn visie, missie en hype kreeg.
Onderzoekers begonnen al snel gewaagde beweringen te doen over het begin van krachtige machine intelligentie, en velen verwachtten dat een machine zo intelligent als een mens binnen niet meer dan een generatie zou bestaan. Bijvoorbeeld:
- In 1958 zeiden Simon en Newell, “binnen tien jaar zal een digitale computer de wereldkampioen schaken zijn,” en, “binnen tien jaar zal een digitale computer een belangrijke nieuwe wiskundige stelling ontdekken en bewijzen”.
- In 1961 schreef Minsky: “binnen ons leven kunnen machines ons overtreffen in algemene intelligentie”, en in 1967 herhaalde hij: “binnen een generatie, ben ik ervan overtuigd, zullen weinig compartimenten van intellect buiten het domein van de machine blijven – het probleem van het creëren van ‘kunstmatige intelligentie’ zal substantieel opgelost zijn”.
“…binnen ons leven kunnen machines ons overtreffen in algemene intelligentie…” – Marvin Minsky, 1961
AI had zelfs de aandacht van Hollywood getrokken. In 1968 produceerden Arthur Clarke en Stanley Kubrick de film 2001: A Space Odyssey, met als antagonist een kunstmatig intelligente computer, HAL 9000, die blijk gaf van creativiteit, gevoel voor humor en het vermogen om plannen te smeden tegen iedereen die zijn voortbestaan bedreigde. Dit was gebaseerd op de overtuiging van Turing, Minsky, McCarthy en vele anderen dat een dergelijke machine tegen het jaar 2000 zou bestaan; Minsky diende zelfs als adviseur voor deze film en een van de personages, Victor Kaminski, werd naar hem vernoemd.
Subgebieden van AI ontstaan
Tussen 1956 en 1982 leidde het onverminderde enthousiasme voor AI tot baanbrekend werk, waaruit verschillende subgebieden van AI ontstonden, die hieronder worden toegelicht. Veel van dit werk leidde tot de eerste prototypes voor de moderne theorie van AI.
Rules Based Systems
Rules Based Expert Systems proberen complexe problemen op te lossen door reeksen “als-dan-else” regels te implementeren. Een voordeel van dergelijke systemen is dat hun instructies (wat het programma moet doen als het “if” of “else” ziet) flexibel zijn en kunnen worden gewijzigd door de codeur, de gebruiker of het programma zelf. Dergelijke expertsystemen werden in de jaren 1970 ontwikkeld en gebruikt door Feigenbaum en zijn collega’s, en vele ervan vormen vandaag de dag de basis voor AI-systemen.
Machine Learning
Het gebied van machine learning werd in 1959 door Arthur Samuel omschreven als, “het gebied van studie dat computers het vermogen geeft om te leren zonder expliciet geprogrammeerd te worden” . Machine learning is een enorm gebied en de gedetailleerde uitleg ervan valt buiten het bestek van dit artikel. Het tweede artikel in deze reeks – zie Proloog op de eerste pagina en – zal kort ingaan op de deelgebieden en toepassingen ervan. Hieronder geven wij echter één voorbeeld van een programma voor machinaal leren, bekend als het perceptron-netwerk.
“Machinaal leren is het studiegebied dat computers het vermogen geeft te leren zonder expliciet geprogrammeerd te worden” – Arthur Samuel, 1959
Enkele en meerlagige perceptronnetwerken
Geïnspireerd door het werk van McCulloch en Pitts in 1943 en van Hebb in 1949 , introduceerde Rosenblatt in 1957 het perceptronnetwerk als een kunstmatig model van communicerende neuronen. Dit model is afgebeeld in figuur 5 en kan in het kort als volgt worden beschreven. Een laag van hoekpunten, waarin ingangsvariabelen worden ingevoerd, is verbonden met een verborgen laag van hoekpunten (ook wel perceptrons genoemd), die op zijn beurt weer is verbonden met een uitgangslaag van perceptrons. Een signaal dat via een verbinding van een ingangsvertex naar een perceptron in de verborgen laag komt, wordt gekalibreerd door een “gewicht” dat aan die verbinding is verbonden, en dit gewicht wordt toegekend tijdens een “leerproces”. Signalen van perceptrons in de verborgen laag naar perceptrons in de uitvoerende laag worden op analoge wijze gekalibreerd. Net als bij een menselijk neuron gaat een perceptron “af” als het totale gewicht van alle inkomende signalen een bepaald potentiaal overschrijdt. In tegenstelling tot bij de mens worden signalen in dit model echter alleen doorgegeven naar de uitgangslaag, en daarom worden deze netwerken vaak “feed-forward” genoemd. Perceptronnetwerken met slechts één verborgen laag perceptrons (d.w.z. met twee lagen van gewogen randverbindingen) werden later bekend als “ondiepe” kunstmatige neurale netwerken. Hoewel ondiepe netwerken een beperkt vermogen hadden, slaagde Rosenblatt erin een eenlaags perceptronnetwerk te creëren, dat hij Mark 1 noemde en dat in staat was basisbeelden te herkennen.
Heden ten dage gaat de opwinding over “diepe” (twee of meer verborgen lagen) neurale netwerken, die ook in de jaren zestig werden bestudeerd. Het eerste algemene leeralgoritme voor diepe netwerken gaat terug tot het werk van Ivakhnenko en Lapa in 1965. Netwerken zo diep als acht lagen werden door Ivakhnenko in 1971 overwogen, toen hij ook een techniek verschafte om ze te trainen.
Natuurlijke taalverwerking (NLP)
In 1957 revolutioneerde Chomsky de taalkunde met de universele grammatica, een op regels gebaseerd systeem voor het begrijpen van de syntaxis. Dit vormde het eerste model dat onderzoekers konden gebruiken om succesvolle NLP-systemen te creëren in de jaren 1960, met inbegrip van SHRDLU, een programma dat werkte met kleine vocabulaires en was gedeeltelijk in staat om tekstdocumenten in specifieke domeinen te begrijpen . In de vroege jaren 1970 begonnen onderzoekers conceptuele ontologieën te schrijven, dat zijn gegevensstructuren die computers in staat stellen relaties tussen woorden, zinnen en concepten te interpreteren; deze ontologieën worden vandaag de dag nog steeds op grote schaal gebruikt.
Sprekerherkenning en spraak-naar-tekstverwerking
De vraag of een computer spraak kon herkennen werd voor het eerst gesteld door een groep van drie onderzoekers bij AT&T Bell Labs in 1952, toen zij een systeem bouwden voor geïsoleerde cijferherkenning voor een enkele spreker. Dit systeem werd sterk verbeterd aan het eind van de jaren 1960, toen Reddy de Hearsay I creëerde, een programma dat een lage nauwkeurigheid had maar een van de eersten was om een grote woordenschat van ononderbroken spraak om te zetten in tekst. In 1975 creëerden zijn studenten Baker en Baker het Dragon-systeem, dat Hearsay I verder verbeterde door gebruik te maken van het Hidden Markov Model (HMM), een verenigd probabilistisch model dat hen in staat stelde verschillende bronnen te combineren, zoals akoestiek, taal en syntaxis. Vandaag de dag is het HMM nog steeds een effectief raamwerk voor spraakherkenning.
Image Processing and Computer Vision
In de zomer van 1966 huurde Minsky een eerstejaars student in bij MIT en vroeg hem het volgende probleem op te lossen: sluit een televisiecamera aan op een computer en laat de machine beschrijven wat zij ziet. Het doel was om driedimensionale structuur uit beelden te extraheren, zodat robotachtige zintuiglijke systemen het menselijke visuele systeem gedeeltelijk zouden kunnen nabootsen. Onderzoek op het gebied van computervisie in het begin van de jaren zeventig vormde de basis voor veel algoritmen die vandaag de dag bestaan, waaronder het extraheren van randen uit beelden, het labelen van lijnen en cirkels, en het schatten van beweging in video’s.
Commerciële toepassingen
De bovengenoemde theoretische vooruitgang leidde tot verschillende toepassingen, waarvan de meeste op dat moment nog niet in de praktijk konden worden gebruikt, maar die de weg vrijmaakten voor hun afgeleiden om later commercieel te worden gebruikt. Enkele van deze toepassingen worden hieronder besproken.
Chatterbots of Chat-Bots
Tussen 1964 en 1966 creëerde Weizenbaum de eerste chat-bot, ELIZA, genoemd naar Eliza Doolittle die in Bernard Shaw’s roman, Pygmalion (later bewerkt tot de film, My Fair Lady) op de juiste manier leerde spreken. ELIZA kon gesprekken voeren die gebruikers soms deden geloven dat zij met een mens communiceerden, maar ELIZA gaf alleen standaardantwoorden die vaak nietszeggend waren. Later, in 1972, creëerde medisch onderzoeker Colby een “paranoïde” chatbot, PARRY, die ook een hersenloos programma was. Toch waren psychiaters in korte imitatiespelletjes niet in staat PARRY’s gebazel te onderscheiden van dat van een paranoïde mens.
Robotica
In 1954 bouwde Devol de eerste programmeerbare robot, Unimate genaamd, die als een van de weinige AI-uitvindingen van zijn tijd werd gecommercialiseerd; hij werd in 1961 door General Motors gekocht voor gebruik in de auto-assemblagelijnen. De Unimate werd aanzienlijk verbeterd en in 1972 bouwden onderzoekers van de Waseda Universiteit ’s werelds eerste intelligente humanoïde robot op ware grootte, WABOT-1 . Hoewel het bijna speelgoed was, kon hij dankzij zijn ledematen lopen en voorwerpen met zijn handen vastpakken en vervoeren; dankzij zijn visiesysteem (bestaande uit kunstogen en -oren) kon hij afstanden en richtingen tot voorwerpen meten; en dankzij zijn kunstmond kon hij in het Japans praten. Dit leidde geleidelijk tot innovatief werk op het gebied van machinevisie, waaronder de ontwikkeling van robots die blokken konden stapelen.
De bustefase en de AI-winter
Ondanks enkele successen waren AI-programma’s in 1975 grotendeels beperkt tot het oplossen van rudimentaire problemen. Achteraf realiseerden onderzoekers zich twee fundamentele problemen met hun aanpak.
Beperkte en kostbare rekenkracht
In 1976 was ’s werelds snelste supercomputer (die meer dan vijf miljoen US dollar zou hebben gekost) slechts in staat om ongeveer 100 miljoen instructies per seconde uit te voeren. Daarentegen wees de studie van Moravec uit 1976 uit dat zelfs de mogelijkheden van een menselijk netvlies om alleen al de randen te vergelijken en bewegingen te detecteren, een computer zouden vereisen om dergelijke instructies tien keer sneller uit te voeren. Evenzo heeft een mens ongeveer 86 miljard neuronen en een triljoen synapsen; basisberekeningen met behulp van de cijfers in geven aan dat het creëren van een perceptron netwerk van die omvang meer dan 1,6 triljoen USD zou hebben gekost, waarmee het gehele Amerikaanse BBP in 1974 zou zijn verbruikt.
Het mysterie achter het menselijk denken
Wetenschappers begrepen niet hoe het menselijk brein functioneert en bleven vooral onwetend over de neurologische mechanismen achter creativiteit, redeneren en humor. Het gebrek aan inzicht in wat programma’s voor machinaal leren precies zouden moeten proberen na te bootsen, vormde een belangrijk obstakel om de theorie van kunstmatige intelligentie vooruit te helpen. In de jaren zeventig begonnen wetenschappers op andere gebieden zelfs vraagtekens te zetten bij het door AI-onderzoekers voorgestelde idee van het “nabootsen van een menselijk brein”. Sommigen betoogden bijvoorbeeld dat als symbolen geen ‘betekenis’ hebben voor de machine, de machine niet kan worden omschreven als ‘denkend’.
Uiteindelijk werd het de pioniers duidelijk dat zij de moeilijkheid van het creëren van een AI-computer die in staat is het imitatiespel te winnen, schromelijk hadden onderschat. Zo publiceerden Minsky en Papert in 1969 het boek Perceptrons , waarin zij wezen op de ernstige beperkingen van Rosenblatt’s perceptron met één verborgen laag. Mede geschreven door een van de grondleggers van kunstmatige intelligentie, terwijl hij de tekortkomingen van perceptrons bevestigde, diende dit boek als een ernstige afschrikking voor onderzoek in neurale netwerken voor bijna een decennium.
In de volgende jaren, begonnen andere onderzoekers Minsky’s twijfels te delen in de beginnende toekomst van sterke AI. Zo merkte een nu veel omzichtiger John McCarthy op een conferentie in 1977 op dat het creëren van zo’n machine “conceptuele doorbraken” zou vereisen, want “wat je wilt is 1,7 Einsteins en 0,3 van het Manhattan Project, en je wilt de Einsteins eerst. I believe it’ll take five to 500 years’ .
De hype van de jaren vijftig had de verwachtingen tot zulke gewaagde hoogten doen stijgen dat, toen de resultaten in 1973 uitbleven, de Amerikaanse en Britse regeringen de financiering van onderzoek naar AI introkken. Hoewel de Japanse regering in 1980 tijdelijk extra middelen beschikbaar stelde, raakte zij eind jaren tachtig al snel gedesillusioneerd en trok zij haar investeringen weer in. Deze baissefase (met name tussen 1974 en 1982) wordt algemeen aangeduid als de “AI-winter”, omdat het onderzoek op het gebied van kunstmatige intelligentie toen vrijwel volledig werd stopgezet. In deze periode en de daaropvolgende jaren vermeden sommige computerwetenschappers en software-ingenieurs de term kunstmatige intelligentie uit angst als dromers met wilde ogen te worden beschouwd.
“…want wat je wilt is 1,7 Einsteins en 0,3 van het Manhattan Project, en je wilt de Einsteins eerst. Ik denk dat het vijf tot vijfhonderd jaar zal duren.” – John McCarthy, 1977
De overheersende houding in de periode 1974-1982 was hoogst ongelukkig, omdat de weinige wezenlijke vorderingen die in deze periode werden gemaakt in wezen onopgemerkt bleven, en er aanzienlijke inspanningen werden ondernomen om deze opnieuw tot stand te brengen. Twee van deze vorderingen zijn de volgende:
De eerste is de backpropagation-techniek, die tegenwoordig algemeen wordt gebruikt om neurale netwerken efficiënt te trainen in het toekennen van bijna-optimale gewichten aan hun randen. Hoewel deze techniek door verschillende onderzoekers onafhankelijk van elkaar werd geïntroduceerd (b.v. Kelley, Bryson, Dreyfus, en Ho) in de jaren zestig en door Linnainmaa in 1970 werd toegepast, werd zij voornamelijk genegeerd. Ook het proefschrift van Werbos uit 1974, waarin werd voorgesteld dat deze techniek doeltreffend kon worden gebruikt voor het trainen van neurale netwerken, werd pas in 1982 gepubliceerd, toen de bustefase bijna ten einde was. In 1986 werd deze techniek herontdekt door Rumelhart, Hinton en Williams, die haar populair maakten door de praktische betekenis ervan aan te tonen. Het tweede is het recurrente neurale netwerk (RNN), dat analoog is aan het perceptron-netwerk van Rosenblatt, maar dat niet feed-forward is omdat het verbindingen toestaat naar zowel de input- als de output-lagen te gaan. Dergelijke netwerken werden in 1974 door Little voorgesteld als een biologisch nauwkeuriger model van de hersenen. Helaas bleven RNN’s onopgemerkt totdat Hopfield ze in 1982 populair maakte en ze verder verbeterde.
Conclusie
De kenmerken van een hype cycle zijn een fase van hoogconjunctuur, waarin onderzoekers, ontwikkelaars en investeerders overdreven optimistisch worden en er een enorme groei plaatsvindt, en een fase van laagconjunctuur, waarin investeringen worden teruggetrokken en de groei sterk afneemt. Uit het verhaal dat in dit artikel wordt gepresenteerd, kunnen we zien dat AI zo’n cyclus doormaakte gedurende 1956 en 1982.
Gegroeid uit de visie van Turing en Minsky dat een machine intelligent leven zou kunnen nabootsen, kreeg AI zijn naam, missie en hype van de conferentie die McCarthy in 1956 organiseerde aan de Dartmouth University. Dit markeerde het begin van de bloeifase van de AI-hype-cyclus. Tussen 1956 en 1973 werden vele doordringende theoretische en praktische vorderingen ontdekt op het gebied van AI, waaronder op regels gebaseerde systemen; ondiepe en diepe neurale netwerken; natuurlijke taalverwerking; spraakverwerking; en beeldherkenning. De verwezenlijkingen die in deze periode plaatsvonden, vormden de initiële archetypes voor de huidige AI-systemen.
Wat ook plaatsvond tijdens deze bloeifase was “irrationele uitbundigheid” . De pioniers van AI deden snel overdreven voorspellingen over de toekomst van sterke kunstmatig intelligente machines. Tegen 1974 waren deze voorspellingen niet uitgekomen en realiseerden onderzoekers zich dat hun beloften waren opgeblazen. Tegen die tijd waren ook de investeerders sceptisch geworden en trokken zij hun financiering in. Dit resulteerde in een crisisfase, ook wel de AI-winter genoemd, waarin het onderzoek naar AI traag verliep en zelfs de term “kunstmatige intelligentie” werd gemeden. De meeste van de weinige uitvindingen tijdens deze periode, zoals backpropagation en recurrente neurale netwerken, werden grotendeels over het hoofd gezien, en er werden aanzienlijke inspanningen geleverd om ze in de daaropvolgende decennia te herontdekken.
In het algemeen zijn hype-cycli zwaarden met twee uiteinden, en de hype die AI tussen 1956 en 1982 doormaakte, was niet anders. Er moet lering uit worden getrokken: de successen van de bloeifase moeten worden herdacht en gewaardeerd, maar het overenthousiasme moet op zijn minst met enige scepsis worden bezien om te voorkomen dat de gevolgen van de broussefase zich ten volle doen gevoelen. Echter, zoals de meeste hype cycli, “groene scheuten” beginnen weer te verschijnen in het midden van de jaren 1980 en er was een geleidelijke opleving van AI-onderzoek in 1983 en 2010; wij zullen deze en aanverwante ontwikkelingen bespreken in ons volgende artikel, “Opleving van Kunstmatige Intelligentie gedurende 1983-2010” .
Referenties voor alle artikelen in deze serie zijn te vinden op www.scryanalytics.com/bibliography
Aanvullende informatie over de geschiedenis van AI is te vinden in:
McCorduck, Pamela (2004), Machines Who Think (2nd ed.), Natick, MA: A. K. Peters, Ltd. ISBN 1-56881-205-1, OCLC 52197627.
Crevier Daniel (1993). AI: De tumultueuze zoektocht naar kunstmatige intelligentie. New York, NY: Basic Books. ISBN 0-465-02997-3.
Russell Stuart; Norvig, Peter (2003). Kunstmatige Intelligentie: A Modern Approach. Londen, Engeland: Pearson Education. ISBN 0-137-90395-2.
Bio: Dr. Alok Aggarwal, is CEO en Chief Data Scientist bij Scry Analytics, Inc. Hij was eerder werkzaam bij IBM Research Yorktown Heights, richtte IBM India Research Lab op en was oprichter en CEO Evalueserve dat wereldwijd meer dan 3.000 mensen in dienst had. In 2014 startte hij Scry Analytics.
Original. Reposted with permission.
Related
- Deep Learning – Past, Present, and Future
- A Brief History of Artificial Intelligence
- Industry Predictions: Belangrijkste AI, Big Data, Data Science-ontwikkelingen in 2017 en trends voor 2018