NIPS 2015

Under den här veckan pågår i Montreal en av de stora årliga höjdpunkterna inom maskininlärning:  konferensen Neural Information Processing Systems (NIPS). NIPS startades i slutet av 1980-talet och har utvecklats till en av de största mötesplatserna för forskare och industri inom maskininlärning, artificiell intelligens, statistik, algoritmer, med mera. Konferensens handlingar är dessutom en av de mest prestigefyllda publikationerna för forskning inom dessa områden.

NIPS växer så det knakar. I dess begynnelse låg konferensens fokus, som namnet avslöjar, på metoder inspirerade av, eller applicerade på, neurala nätverk. Efter hand har NIPS växt i storlek och vidgat sitt omfång till att inkludera maskininlärning i sin helhet. Årets upplaga av konferensen är större än någonsin, med över 3700 besökare på plats (se bild nedan).

Source: NIPS 2015
Källa: NIPS 2015

Att motsvarande siffra förra året var 2500 skvallrar om det globalt ökande intresset för maskininlärning och artificiell intelligens. Det stora antalet besökare tänjde på konferensens kapacitet på flera sätt. Förutom trängsel i lokalerna upplevde många att det var svårt att få tillfälle att prata med författare under poster-presentationerna.

Poster-presentationer
Poster-presentationer

Deep learning och återkomsten av neurala nätverk. Det kan knappast undgått någon med intresse för maskininlärning att artificiella neurala nätverk, numer ofta under modeordet deep learning, har nått enorma framgångar de senaste åren. Revolutionen som dessa metoder inneburit för viktiga problem som bildigenkänning och maskinöversättning fick NIPS president Terry Sejnowski att konstatera att “The success of deep learning has put “N” firmly back into NIPS”. Fler än 10% av artiklarna som skickats till årets konferens berör deep learning på ett eller annat sätt. Denna trend märks inte minst på att årets konferens innehåller ett längre symposium om deep learning, för att undvika att fokus dras från workshops om andra ämnen. Symposiet lyfte bland annat nya modeller för publikation och bedömning av forskning, och presenterade sedan ett slags best-of-2015 inom deep learning genom inbjudna föreläsare.

Föreläsning om neurala nätverk
Föreläsning om neurala nätverk

Veckan inleddes med två extremt välbesökta introduktioner som båda berörde djupa modeller. I den ena gav tre av giganterna inom neurala nätverk, Geoffrey Hinton, Yoshua Bengio och Yann LeCun, sin nuvarande syn på deep learning (slides). Med avstamp i deras respektive gruppers forskning avhandlades framsteg från de senaste åren,  såväl som öppna olösta problem. Bland annat togs uppmärksamhet (attentionupp, ett sätt att lära modeller att fokusera på olika delar av indata beroende på vilket problem de ska lösa. Detta har visat sig förbättra modeller för problem som bildtextgenerering (se bild nedan) och maskinöversättning, och är en metod som förekommer i många av årets NIPS-artiklar.

Bildtext-generering med uppmärksamhet. Källa: Xu et al.
Bildtextgenerering med uppmärksamhet. Källa: Xu et al., 2015.

Den andra introduktionen, Large-Scale Distributed Systems for Training Neural Networks, gavs av Jeff Dean och Oriol Vinyals från Google. Mycket av presentationen kom att handla om hur Google använder sig av deep learning i olika produkter, och om deras nya ramverk för maskininlärning, TensorFlow, som gjordes öppet tidigare i höst. Google rapporterade att stöd för distribuerad beräkningar kommer att släppas inom kort, tillsammans med förbättrar beräkningshastighet. Dessutom släppte de under konferensen en för-tränad version av bildigenkännings-modellen Inception.

Source: Jeff Dean
Källa: Jeff Dean

Slutligen, blev trenden med deep learning tydlig när Vladimir Vapnik, uppfinnaren av Support Vector Machines, avslutat sin inbjudna föreläsning om inlärningsparadigmer. Gammalt mötte nytt på flera sätt, och ordföranden för samtalet valde att avsluta med kommentaren “Vi hoppas att vi återigen kan slå deep learning med de metoder du lagt fram.” Efter detta hördes ett ganska tydligt fnitter från delen av publiken intresserad av deep learning.

Verktyg och infrastruktur. En stark trend inom maskininlärning just nu, inte minst under årets NIPS, är utvecklandet och användandet av generella mjukvaruverktyg för inlärningsmodeller. Verktygen underlättar dels utveckling av nya modeller och algoritmer, men kan även omsättas i verkliga, storskaliga applikationer. Starkt lysande exempel på detta är ramverken för deep learning som växt fram de senaste åren, såsom Torch, Theano, och mer nyligen Googles TensorFlow. I en annan del av spektrumet finns probabilistiska programmeringsspråk som Venture eller Stan. Dessa språk underlättar definition och träning av probabilistiska modeller som exempelvis topic models, modeller för att kategorisera text.

Gemensamt för ramverken för maskininlärning är att de bereder väg för nya typer av modeller. Till exempel är det nu lättare än någonsin att bygga en probabilistisk Bayesisk modell som parameteriseras av ett neuralt nätverk. Efter lång tid där dessa metoder varit skilda åt, innehåller årets NIPS flera artiklar som föreslår hybrider av metoder från båda dessa fält.

Industriell närvaro. Som besökare på årets NIPS är det svårt att inte slås av den starka närvaron från industriella organisationer, tydligast i form av sponsorer med bås och godisskålar, men också representerade av anställda som besökare. Som nämnts tidigare ökade antalet besökare i år med omkring 50%, medan antalet artiklar som bedömdes ökade med lite mer blygsamma 10%. Detta ger en tydlig fingervisning om att intresset numer sträcker sig långt utanför akademin. Jättar som Google och Facebook finns naturligtvis på plats, inte bara genom deras forskningsavdelningar, utan också för att rekrytera unga talanger. Sedan förra året är också hårdvaruföretaget Nvidia en stor sponsor, och har de senaste åren utvecklat hårdvara specifikt för vetenskapliga beräkningar.

En fråga som diskuterades på flera håll under konferensen är svårigheten för akademiska institutioner att fortsätta vara konkurrenskraftiga när framtida experiment kräver allt större hårdvaruresurser. Förutom problemen som kommer med ökande ekonomiska krav, har det visat sig svårt att behålla forskare i akademin inom många delar av maskininlärning. För flera institutioner finns redan kompromisser, som till exempel Yann LeCuns grupp som delvis finns på Facebook AI Research, men också på New York University.

Chalmers på NIPS 2015. I år representeras Chalmers på NIPS av en artikel om geometriska representationer av nätverk. Tekniken kan användas för klustring av object genom liketsmått, för dokumentsammanfattning, och andra nätverksproblem. Artikeln finns att hämta på NIPS hemsida.

F. D. Johansson, A. Chattoraj, C. Bhattacharyya, D. Dubhashi, Weighted Theta Functions and Embeddings with Applications to Max-Cut, Clustering and Summarization. Advances in Neural Information Processing Systems 28 (NIPS 2015)

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s