Xavier Amatriain ja Justin Basilico (Personalization Science and Engineering)
Tässä kaksiosaisessa blogikirjoituksessamme avaamme ovet erääseen Netflixin arvostetuimpaan omaisuuteen: Suosittelujärjestelmämme. Ensimmäisessä osassa suhteutamme Netflix-palkinnon laajempaan suositteluhaasteeseen, hahmotamme personoidun palvelumme ulkoiset osat ja tuomme esiin, miten tehtävämme on kehittynyt liiketoiminnan mukana. Osassa 2 kuvaamme joitakin käyttämiämme tietoja ja malleja ja keskustelemme lähestymistavastamme algoritmiseen innovointiin, jossa yhdistyvät offline-koneoppimiskokeilut ja online-AB-testaus. Nauttikaa… ja muistakaa, että etsimme aina lisää huippulahjakkuuksia upeaan tiimiimme, joten katsokaa työpaikkasivuiltamme.
Vuonna 2006 julkistimme Netflix Prize -palkinnon, koneoppimis- ja tiedonlouhintakilpailun elokuvien luokitusennusteiden ennustamiseen. Tarjosimme miljoona dollaria sille, joka parantaa olemassa olevan Cinematch-nimisen järjestelmämme tarkkuutta 10 prosentilla. Järjestimme tämän kilpailun löytääksemme uusia tapoja parantaa suosituksia, joita annamme jäsenillemme, mikä on keskeinen osa liiketoimintaamme. Meidän oli kuitenkin keksittävä sijaiskysymys, jota oli helpompi arvioida ja kvantifioida: ennustetun arvosanan keskineliövirhe (RMSE). Kilpailu oli käynnissä RMSE:n (0,9525) voittamiseksi, ja päämääränä oli sen pienentäminen 0,8572:een tai alle.
Vuoden kuluttua kilpailusta Korbell-tiimi voitti ensimmäisen Progress-palkinnon 8,43 prosentin parannuksella. He ilmoittivat tehneensä yli 2000 tuntia työtä keksiäkseen 107 algoritmin lopullisen yhdistelmän, jonka ansiosta he saivat tämän palkinnon. Ja he antoivat meille lähdekoodin. Tarkastelimme kahta taustalla olevaa algoritmia, joilla oli paras suorituskyky kokonaisuudessa: Matrix Factorization (jota yhteisö kutsuu yleisesti SVD:ksi, Singular Value Decomposition) ja Restricted Boltzmann Machines (RBM). SVD:n tulos oli 0,8914 RMSE, kun taas RBM:n tulos oli kilpailukykyinen mutta hieman huonompi 0,8990 RMSE. Näiden kahden lineaarinen yhdistelmä pienensi virheen 0,88:aan. Ottaaksemme nämä algoritmit käyttöön meidän oli pyrittävä voittamaan joitakin rajoituksia, esimerkiksi se, että ne oli rakennettu käsittelemään 100 miljoonaa luokitusta sen sijaan, että meillä olisi yli 5 miljardia luokitusta, ja se, että niitä ei ollut rakennettu mukautumaan sitä mukaa, kun jäsenet lisäsivät lisää luokituksia. Mutta kun olimme voittaneet nämä haasteet, otimme nämä kaksi algoritmia tuotantoon, jossa niitä käytetään edelleen osana suosittelumoottoriamme.
Jos seurasit palkintokilpailun kulkua, saatoit ehkä ihmetellä, mitä tapahtui lopulliselle pääpalkintokokoonpanolle, joka voitti 1 miljoonan dollarin kokonaisuuskilpailun kaksi vuotta myöhemmin. Kyseessä on todella vaikuttava kooste ja vuosien työn huipentuma, jossa sekoitettiin satoja ennustemalleja, jotta se lopulta ylitti maaliviivan. Arvioimme joitakin uusia menetelmiä offline-tilassa, mutta mittaamamme lisätarkkuushyödyt eivät näyttäneet oikeuttavan niiden tuotantoympäristöön tuomiseen tarvittavaa teknistä panostusta. Lisäksi keskittymisemme Netflixin personoinnin parantamiseen oli siihen mennessä siirtynyt seuraavalle tasolle. Tämän viestin loppuosassa selitämme, miten ja miksi se on siirtynyt.
Yhdysvaltalaisista DVD-levyistä maailmanlaajuiseen suoratoistoon
Yksi syy siihen, miksi suosittelualgoritmien painopisteemme on muuttunut, on se, että Netflix kokonaisuudessaan on muuttunut dramaattisesti muutaman viime vuoden aikana. Netflix lanseerasi suoratoistopalvelun vuonna 2007, vuosi Netflix-palkinnon alkamisen jälkeen. Suoratoisto ei ole muuttanut ainoastaan tapaa, jolla jäsenemme ovat vuorovaikutuksessa palvelun kanssa, vaan myös algoritmeissamme käytettävien tietojen tyyppiä. DVD-levyjen osalta tavoitteenamme on auttaa ihmisiä täyttämään jononsa nimikkeillä, jotka he saavat postitse lähipäivinä ja -viikkoina; valinta on ajallisesti kaukana katselusta, ihmiset valitsevat huolellisesti, koska DVD-levyn vaihtaminen toiseen vie yli päivän, emmekä saa palautetta katselun aikana. Suoratoistoa varten jäsenet etsivät jotain hienoa katsottavaa juuri nyt; he voivat maistella muutamaa videota ennen kuin päätyvät johonkin, he voivat kuluttaa useita videoita yhdellä istunnolla, ja voimme tarkkailla katselutilastoja, kuten sitä, onko video katsottu kokonaan vai vain osittain.
Toinen suuri muutos oli siirtyminen yhdeltä verkkosivulta satoihin laitteisiin. Integraatio Roku-soittimen ja Xboxin kanssa julkistettiin vuonna 2008, kaksi vuotta Netflix-kilpailun jälkeen. Vain vuotta myöhemmin Netflixin suoratoisto pääsi iPhoneen. Nyt se on saatavilla lukuisissa laitteissa, jotka ulottuvat lukemattomista Android-laitteista uusimpaan AppleTV:hen.
Kaksi vuotta sitten kansainvälistyimme lanseeraamalla sen Kanadassa. Vuonna 2011 lisäsimme listaan 43 Latinalaisen Amerikan maata ja aluetta. Ja aivan hiljattain lanseerasimme Iso-Britanniassa ja Irlannissa. Nykyään Netflixillä on yli 23 miljoonaa tilaajaa 47 maassa. Vuoden 2011 viimeisellä neljänneksellä nämä tilaajat striimasivat 2 miljardia tuntia satojen eri laitteiden kautta. He lisäävät joka päivä 2 miljoonaa elokuvaa ja tv-ohjelmaa jonoon ja tuottavat 4 miljoonaa arvosanaa.
Olemme mukauttaneet personointialgoritmejamme tähän uuteen skenaarioon siten, että nyt 75 prosenttia siitä, mitä ihmiset katsovat, on peräisin jonkinlaisesta suosituksesta. Saavutimme tämän pisteen optimoimalla jatkuvasti jäsenkokemusta, ja olemme mitanneet merkittävää kasvua jäsentyytyväisyydessä aina, kun olemme parantaneet jäsentemme personointia. Käymme nyt läpi joitakin tekniikoita ja lähestymistapoja, joita käytämme näiden suositusten tuottamiseen.
Kaikki on suositus
Vuosien varrella olemme huomanneet, että suositusten sisällyttämisellä Netflixin mahdollisimman suureen osaan personoimiseksi on valtava arvo tilaajillemme. Henkilökohtaistaminen alkaa etusivultamme, joka koostuu vaakasuoriin riveihin järjestetyistä videoryhmistä. Jokaisella rivillä on otsikko, joka ilmaisee halutun merkityksellisen yhteyden kyseisen ryhmän videoiden välillä. Suurin osa personoinnista perustuu tapaan, jolla valitsemme rivejä, miten päätämme, mitä kohteita niihin sisällytetään, ja missä järjestyksessä nämä kohteet sijoitetaan.
Esimerkkinä Top 10 -rivi: tämä on paras arvauksemme kymmenestä nimikkeestä, joista todennäköisesti pidät. Kun sanomme ”sinä”, tarkoitamme tietysti oikeastaan kaikkia kotitaloutesi jäseniä. On tärkeää pitää mielessä, että Netflixin personointi on tarkoitettu käsittelemään kotitaloutta, jossa on todennäköisesti erilaisia ihmisiä, joilla on erilainen maku. Kun näet Top10:n, löydät todennäköisesti isälle, äidille, lapsille tai koko perheelle suunnattuja kohteita. Jopa yhden hengen taloudessa haluamme vedota erilaisiin kiinnostuksen kohteisiisi ja mielialoihisi. Tämän saavuttamiseksi optimoimme monissa järjestelmämme osissa paitsi tarkkuutta myös monipuolisuutta.