by Xavier Amatriain and Justin Basilico (Personalization Science and Engineering)
この2部構成のブログ投稿では、Netflixの最も価値ある資産の1つの扉を開いていきます。 このブログ投稿では、Netflix の最も重要な資産の 1 つである推薦システムの扉を開きます。 パート 1 では、Netflix Prize とより広範なレコメンデーション課題との関連、パーソナライズ サービスの外部コンポーネントの概要、およびビジネスとともに進化してきた私たちのタスクに焦点を当てます。 第2部では、私たちが使用しているデータとモデルについて説明し、オフラインの機械学習実験とオンラインのABテストを組み合わせたアルゴリズムのイノベーションへのアプローチについて述べます。
2006年、私たちはNetflix Prizeという、映画の視聴率予測に関する機械学習とデータマイニングのコンペティションを発表しました。 シネマッチと呼ばれる既存のシステムの精度を10％向上させた人に、100万ドルを提供しました。 このコンペティションは、私たちのビジネスの重要な部分である、会員に提供するレコメンデーションを改善するための新しい方法を見つけるために実施しました。 しかし、私たちは、評価と定量化が容易な代理質問、すなわち予測される評価の二乗平均平方根誤差（RMSE）を考え出す必要がありました。 RMSEを0.9525とし、0.8572以下にすることをゴールとする競争でした。
競争開始から1年後、コベルチームは8.43%の改善で第1回進歩賞を獲得しました。 彼らは、この賞を受賞した107のアルゴリズムの最終的な組み合わせを考え出すために、2000時間以上の作業を行ったと報告しています。 そして、そのソースコードを私たちに提供してくれました。 私たちは、このアンサンブルの中で最も優れた性能を発揮した2つのアルゴリズムに注目しました。 行列因子分解（コミュニティでは一般にSVD、Singular Value Decompositionと呼ばれています）と制限付きボルツマンマシン（RBM）です。 SVD単体でのRMSEは0.8914、RBM単体でのRMSEは0.8990と、競争力はあるが若干劣る。 この2つを線形にブレンドすると、誤差は0.88に減少しました。 これらのアルゴリズムを実用化するためには、いくつかの制限を克服する必要がありました。例えば、50億以上の評価ではなく、1億の評価を扱うように作られていることや、メンバーが評価を追加したときに適応するように作られていないことなどが挙げられます。 しかし、これらの課題を克服した後、2 つのアルゴリズムを実稼働させ、現在もレコメンデーション エンジンの一部として使用しています。 これは、何百もの予測モデルをブレンドし、最終的にゴールラインを通過した、長年の作業の本当に印象的な集大成であり、集大成なのです。 私たちは新しい手法のいくつかをオフラインで評価しましたが、私たちが測定した精度の向上は、それらを本番環境に導入するために必要なエンジニアリングの労力を正当化できるものではありませんでした。 また、Netflix のパーソナライゼーションを向上させるという我々の焦点は、その頃には次のレベルに移行していました。 この投稿の残りの部分では、どのように、そしてなぜ変化したのかを説明します。
From US DVDs to Global Streaming
推薦アルゴリズムにおける私たちの焦点が変化した理由の1つは、Netflix 全体としてここ数年で劇的に変化したためです。 Netflixがインスタントストリーミングサービスを開始したのは、Netflix Prizeが始まって1年後の2007年のことです。 ストリーミングによって、会員の皆様がサービスを利用する方法が変わっただけでなく、アルゴリズムに利用できるデータの種類も変わりました。 DVD の場合は、数日後、数週間後に郵送されるタイトルをキューに入れるのを支援することが目的です。視聴から時間が離れ、DVD を別のものと交換するには 1 日以上かかるため、ユーザーは慎重に選択し、視聴中のフィードバックは受け取りません。 ストリーミングの場合、メンバーは今すぐ観られる素晴らしいものを探しています。1 つに決める前にいくつかのビデオを試聴でき、1 回のセッションで複数のビデオを消費することができ、ビデオが完全に観られたか部分的にしか観られなかったかといった視聴統計を観察することができます。 Roku プレーヤーと Xbox との統合は、Netflix の競争から 2 年後の 2008 年に発表されました。 そのわずか1年後、NetflixのストリーミングはiPhoneに搭載されました。 今では、無数のAndroidデバイスから最新のAppleTVまで、多数のデバイスで利用できます。
2 年前、私たちはカナダで立ち上げ、国際的な展開を図りました。 2011年には、43のラテンアメリカの国や地域を追加しました。 そしてつい最近、イギリスとアイルランドでもサービスを開始しました。 今日、Netflixは47カ国で2300万人以上の加入者を抱えています。 2011年の最終四半期には、これらの加入者が何百もの異なるデバイスから20億時間のストリーミングを行いました。 毎日、200万本の映画やテレビ番組がキューに追加され、400万の評価が生成されます。
私たちは、パーソナライゼーション アルゴリズムをこの新しいシナリオに適応させ、現在、人々が見るものの75%は、何らかの推薦によるものとなっています。 私たちは、メンバーエクスペリエンスを継続的に最適化し、メンバーへのパーソナライゼーションを改善するたびに、メンバーの満足度が大幅に向上することを測定して、このポイントに到達しました。
Everything is a Recommendation
Netflix をできる限りパーソナライズするために、おすすめを組み込むことは、加入者にとって非常に大きな価値があることが、長年にわたってわかっています。 パーソナライゼーションは、横一列に並んだビデオのグループからなるトップページから始まります。 各列には、そのグループ内の動画に関連する意図的な意味を伝えるタイトルが付けられています。 パーソナライズのほとんどは、行の選択方法、行に含める項目を決定する方法、およびそれらの項目を配置する順序に基づいています。
最初の例として、トップ 10 の行を挙げます。 もちろん、「あなた」というのは、あなたの家庭の全員を意味しています。 Netflixのパーソナライゼーションは、異なる嗜好を持つ人々がいる可能性のある家庭を扱うことを意図していることを念頭に置くことが重要です。 そのため、トップ10を見ると、お父さん、お母さん、子供たち、あるいは家族全員のためのアイテムが見つかる可能性があります。 また、一人暮らしの家庭でも、さまざまな趣味や気分を楽しんでもらいたいと考えています。 そのために、システムの多くの部分で、正確さだけでなく、多様性についても最適化しています
。