de Xavier Amatriain și Justin Basilico (Personalization Science and Engineering)
În acest articol de blog în două părți, vom deschide ușile unuia dintre cele mai valoroase active ale Netflix: sistemul nostru de recomandări. În partea 1, vom face legătura între Premiul Netflix și provocarea mai largă a recomandării, vom prezenta componentele externe ale serviciului nostru personalizat și vom evidenția modul în care sarcina noastră a evoluat odată cu afacerea. În partea 2, vom descrie unele dintre datele și modelele pe care le folosim și vom discuta despre abordarea noastră în materie de inovare algoritmică, care combină experimentarea offline a învățării automate cu testarea online a AB. Distracție plăcută… și nu uitați că suntem mereu în căutare de noi talente vedetă care să se adauge la echipa noastră extraordinară, așa că vă rugăm să aruncați o privire pe pagina noastră de locuri de muncă.
În 2006 am anunțat Premiul Netflix, o competiție de învățare automată și de extragere a datelor pentru predicția ratingului filmelor. Am oferit 1 milion de dolari celui care a îmbunătățit cu 10% acuratețea sistemului nostru existent numit Cinematch. Am desfășurat această competiție pentru a găsi noi modalități de a îmbunătăți recomandările pe care le oferim membrilor noștri, care reprezintă o parte esențială a activității noastre. Cu toate acestea, a trebuit să venim cu o întrebare proxy mai ușor de evaluat și cuantificat: eroarea medie pătratică (RMSE) a ratingului prezis. Cursa a început pentru a bate RMSE-ul nostru de 0,9525, cu linia de sosire de a o reduce la 0,8572 sau mai puțin.
La un an de la începerea competiției, echipa Korbell a câștigat primul premiu Progress Prize cu o îmbunătățire de 8,43%. Ei au raportat mai mult de 2000 de ore de muncă pentru a ajunge la combinația finală de 107 algoritmi care le-a adus acest premiu. Și ne-au oferit codul sursă. Am analizat cei doi algoritmi de bază cu cea mai bună performanță în cadrul ansamblului: Factorizarea matricelor (pe care comunitatea o numește în general SVD, Singular Value Decomposition) și Mașinile Boltzmann restricționate (RBM). SVD singur a oferit un RMSE de 0,8914, în timp ce RBM singur a oferit un RMSE competitiv, dar puțin mai slab, de 0,8990. O combinație liniară a celor două a redus eroarea la 0,88. Pentru a utiliza acești algoritmi, a trebuit să ne străduim să depășim unele limitări, de exemplu faptul că au fost concepuți pentru a gestiona 100 de milioane de evaluări, în loc de cele peste 5 miliarde de evaluări pe care le avem, și că nu au fost concepuți pentru a se adapta pe măsură ce membrii adaugă mai multe evaluări. Dar, odată ce am depășit aceste provocări, am pus cei doi algoritmi în producție, unde sunt încă folosiți ca parte a motorului nostru de recomandare.
Dacă ați urmărit concursul de premiere, poate vă întrebați ce s-a întâmplat cu ansamblul final al Marelui Premiu care a câștigat cei 1 milion de dolari doi ani mai târziu. Aceasta este o compilație cu adevărat impresionantă și punctul culminant al unor ani de muncă, combinând sute de modele predictive pentru a trece în cele din urmă linia de sosire. Am evaluat unele dintre noile metode offline, dar creșterile suplimentare de acuratețe pe care le-am măsurat nu păreau să justifice efortul de inginerie necesar pentru a le introduce într-un mediu de producție. De asemenea, obiectivul nostru de a îmbunătăți personalizarea Netflix trecuse la nivelul următor până atunci. În restul acestei postări vom explica cum și de ce s-a schimbat.
De la DVD-urile din SUA la streamingul global
Unul dintre motivele pentru care s-a schimbat accentul nostru în algoritmii de recomandare se datorează faptului că Netflix ca întreg s-a schimbat dramatic în ultimii ani. Netflix a lansat un serviciu de streaming instantaneu în 2007, la un an după ce a început Premiul Netflix. Streamingul nu a schimbat doar modul în care membrii noștri interacționează cu serviciul, ci și tipul de date disponibile pentru a fi utilizate în algoritmii noștri. În cazul DVD-urilor, obiectivul nostru este de a-i ajuta pe oameni să își umple coada cu titluri pe care să le primească prin poștă în zilele și săptămânile următoare; selecția este la distanță în timp față de vizionare, oamenii selectează cu atenție, deoarece schimbarea unui DVD cu altul durează mai mult de o zi, iar noi nu primim niciun feedback în timpul vizionării. Pentru streaming, membrii caută ceva grozav de vizionat chiar acum; pot degusta câteva videoclipuri înainte de a se hotărî asupra unuia, pot consuma mai multe într-o singură sesiune și putem observa statisticile de vizionare, cum ar fi dacă un videoclip a fost vizionat integral sau doar parțial.
O altă mare schimbare a fost trecerea de la un singur site web la sute de dispozitive. Integrarea cu playerul Roku și cu Xbox a fost anunțată în 2008, la doi ani de la începerea competiției Netflix. Doar un an mai târziu, streamingul Netflix a ajuns în iPhone. Acum este disponibil pe o multitudine de dispozitive care merg de la o multitudine de dispozitive Android până la cel mai recent AppleTV.
În urmă cu doi ani, am devenit internaționali odată cu lansarea în Canada. În 2011, am adăugat pe listă 43 de țări și teritorii din America Latină. Și, de curând, ne-am lansat în Marea Britanie și Irlanda. Astăzi, Netflix are peste 23 de milioane de abonați în 47 de țări. Acești abonați au vizionat 2 miliarde de ore de streaming de pe sute de dispozitive diferite în ultimul trimestru din 2011. În fiecare zi, ei adaugă 2 milioane de filme și emisiuni TV la coadă și generează 4 milioane de evaluări.
Ne-am adaptat algoritmii de personalizare la acest nou scenariu în așa fel încât, în prezent, 75% din ceea ce vizionează oamenii provine dintr-un anumit tip de recomandare. Am ajuns în acest punct prin optimizarea continuă a experienței membrilor și am măsurat câștiguri semnificative în ceea ce privește satisfacția membrilor ori de câte ori am îmbunătățit personalizarea pentru membrii noștri. Haideți să vă prezentăm acum câteva dintre tehnicile și abordările pe care le folosim pentru a produce aceste recomandări.
Everything is a Recommendation
Am descoperit de-a lungul anilor că există o valoare imensă pentru abonații noștri în încorporarea recomandărilor pentru a personaliza cât mai mult din Netflix. Personalizarea începe pe pagina noastră de start, care constă în grupuri de videoclipuri aranjate în rânduri orizontale. Fiecare rând are un titlu care transmite legătura semnificativă intenționată între videoclipurile din grupul respectiv. Cea mai mare parte a personalizării noastre se bazează pe modul în care selectăm rândurile, pe modul în care determinăm ce elemente să includem în ele și în ce ordine să plasăm aceste elemente.
Să luăm ca prim exemplu rândul Top 10: acesta este cea mai bună estimare a noastră cu privire la cele zece titluri care este cel mai probabil să vă placă. Desigur, când spunem „dumneavoastră”, ne referim de fapt la toți cei din gospodăria dumneavoastră. Este important să rețineți că personalizarea Netflix este menită să se ocupe de o gospodărie care este posibil să aibă diferite persoane cu gusturi diferite. De aceea, atunci când vă vedeți Top10, este posibil să descoperiți articole pentru tata, mama, copii sau întreaga familie. Chiar și pentru o gospodărie formată dintr-o singură persoană, dorim să facem apel la gama de interese și stări de spirit ale dumneavoastră. Pentru a realiza acest lucru, în multe părți ale sistemului nostru nu ne optimizăm doar pentru acuratețe, ci și pentru diversitate.