por Xavier Amatriain e Justin Basilico (Personalização Ciência e Engenharia)
Neste post de blog em duas partes, abriremos as portas de um dos ativos mais valorizados da Netflix: o nosso sistema de recomendações. Na Parte 1, vamos relacionar o Prêmio Netflix ao desafio mais amplo de recomendação, delinear os componentes externos do nosso serviço personalizado e destacar como a nossa tarefa tem evoluído com o negócio. Na Parte 2, descreveremos alguns dos dados e modelos que usamos e discutiremos nossa abordagem à inovação algorítmica que combina a experimentação de aprendizagem de máquinas offline com testes AB online. Aproveite… e lembre-se que estamos sempre procurando por mais talentos para adicionar à nossa grande equipe, então por favor dê uma olhada em nossa página de empregos.
Em 2006 anunciamos o Prêmio Netflix, uma competição de aprendizagem de máquinas e data mining para previsão de classificação de filmes. Nós oferecemos $1 milhão a quem melhorou a precisão do nosso sistema existente chamado Cinematch em 10%. Conduzimos esta competição para encontrar novas formas de melhorar as recomendações que fornecemos aos nossos membros, o que é uma parte fundamental do nosso negócio. No entanto, tivemos que elaborar uma pergunta por procuração que foi mais fácil de avaliar e quantificar: o erro médio quadrático (RMSE) raiz da classificação prevista. A corrida estava prestes a bater nosso RMSE de 0,9525 com a linha de chegada de reduzi-lo para 0,8572 ou menos.
Um ano de competição, a equipe Korbell ganhou o primeiro Prêmio de Progresso com uma melhoria de 8,43%. Eles relataram mais de 2000 horas de trabalho para chegar à combinação final de 107 algoritmos que lhes deram esse prêmio. E, eles nos deram o código fonte. Olhámos para os dois algoritmos subjacentes com o melhor desempenho do conjunto: Matriz de Factorização (que a comunidade geralmente chamou SVD, Decomposição de Valor Singular) e Máquinas de Boltzmann Restrito (RBM). SVD por si só forneceu um RMSE 0,8914, enquanto RBM sozinho forneceu um RMSE competitivo mas ligeiramente pior 0,8990. Uma mistura linear destas duas reduziu o erro para 0,88. Para colocar esses algoritmos em uso, tivemos que trabalhar para superar algumas limitações, por exemplo, que eles foram construídos para lidar com 100 milhões de ratings, ao invés dos mais de 5 bilhões que temos, e que eles não foram construídos para se adaptar, pois os membros adicionaram mais ratings. Mas uma vez superados esses desafios, colocamos os dois algoritmos em produção, onde ainda são utilizados como parte do nosso motor de recomendação.
>
>
>
Se seguiu o concurso do Grande Prémio, pode estar a perguntar-se o que aconteceu com o conjunto final do Grande Prémio que ganhou os $1M dois anos depois. Esta é uma compilação verdadeiramente impressionante e o culminar de anos de trabalho, combinando centenas de modelos preditivos para finalmente cruzar a linha de chegada. Avaliamos alguns dos novos métodos offline, mas os ganhos de precisão adicionais que medimos não pareciam justificar o esforço de engenharia necessário para os trazer para um ambiente de produção. Além disso, o nosso foco na melhoria da personalização da Netflix tinha mudado para o próximo nível até então. No resto deste post vamos explicar como e porque mudou.
Dos DVDs dos EUA para Global Streaming
Uma das razões pelas quais nosso foco nos algoritmos de recomendação mudou é porque o Netflix como um todo mudou drasticamente nos últimos anos. A Netflix lançou um serviço de streaming instantâneo em 2007, um ano após o início do Prêmio Netflix. O Streaming não só mudou a forma como os nossos membros interagem com o serviço, mas também o tipo de dados disponíveis para usar nos nossos algoritmos. Para DVDs nosso objetivo é ajudar as pessoas a preencher sua fila com títulos para receber no correio nos próximos dias e semanas; a seleção está distante no tempo da visualização, as pessoas selecionam cuidadosamente porque trocar um DVD por outro leva mais de um dia, e não recebemos nenhum feedback durante a visualização. Para o streaming os membros estão procurando algo ótimo para assistir agora mesmo; eles podem experimentar alguns vídeos antes de assentar em um, eles podem consumir vários em uma sessão, e nós podemos observar estatísticas de visualização como se um vídeo foi assistido completamente ou apenas parcialmente.
Outra grande mudança foi a mudança de um único site para centenas de dispositivos. A integração com o leitor Roku e a Xbox foi anunciada em 2008, dois anos depois da competição Netflix. Apenas um ano depois, a transmissão da Netflix chegou ao iPhone. Agora ele está disponível em uma infinidade de dispositivos que vão desde uma infinidade de dispositivos Android até o mais recente AppleTV.
dois anos atrás, nós nos tornamos internacionais com o lançamento no Canadá. Em 2011, adicionamos 43 países e territórios latino-americanos à lista. E recentemente, lançamos no Reino Unido e na Irlanda. Hoje, a Netflix tem mais de 23 milhões de assinantes em 47 países. Esses assinantes transmitiram 2 bilhões de horas a partir de centenas de dispositivos diferentes no último trimestre de 2011. Todos os dias eles adicionam 2 milhões de filmes e programas de TV à fila e geram 4 milhões de classificações.
Adaptámos os nossos algoritmos de personalização a este novo cenário de tal forma que agora 75% do que as pessoas vêem é de algum tipo de recomendação. Chegamos a este ponto otimizando continuamente a experiência dos membros e temos medido ganhos significativos na satisfação dos membros sempre que melhoramos a personalização para nossos membros. Deixe-nos agora guiá-lo por algumas das técnicas e abordagens que usamos para produzir estas recomendações.
Todos os aspectos são uma Recomendação
Descobrimos ao longo dos anos que existe um enorme valor para os nossos assinantes na incorporação de recomendações para personalizar o máximo possível da Netflix. A personalização começa na nossa homepage, que consiste em grupos de vídeos dispostos em filas horizontais. Cada fila tem um título que transmite a ligação significativa pretendida entre os vídeos desse grupo. A maior parte da nossa personalização baseia-se na forma como seleccionamos as linhas, como determinamos quais os itens a incluir nelas e em que ordem colocar esses itens.
Toma como primeiro exemplo a linha Top 10: este é o nosso melhor palpite para os dez títulos que mais provavelmente irá apreciar. Claro que, quando dizemos “você”, realmente nos referimos a todos na sua casa. É importante ter em mente que a personalização da Netflix se destina a lidar com um lar que provavelmente terá pessoas diferentes com gostos diferentes. É por isso que quando você vê o seu Top10, é provável que você descubra itens para o pai, a mãe, as crianças ou toda a família. Mesmo para uma única pessoa, queremos apelar para a sua variedade de interesses e humores. Para conseguir isso, em muitas partes do nosso sistema não só estamos otimizando para a precisão, mas também para a diversidade.