本周一，正如其它每个周一，一亿多 Spotify 用户每东说念主都收到了一个簇新的歌单。这个叫作念每周发现的歌单内夹杂了用户从未听过然而可能会心爱的 30首歌曲。恶果号称神奇。

我我方是 Spotify 的超等粉丝，对每周发现尤其爱重。为什么呢？因为我认为它懂我。它比我性掷中的任何东说念主都更清亮我的音乐试吃。我很欢悦每周它都能知足我的需求，一如既往地保举一些我我方永远都不会找到或知说念会心爱的歌曲。

关于那些两耳不闻窗外事的东说念主们，请允许我先容一下我的臆造好友：

[图片阐扬: 我的 Spotify 每周发现歌单]

没思到，在这方面我不是一个东说念主，不光是我对每周发现如斯沉迷 – 悉数这个词用户群体都趋之若鹜。这股高潮使得 Spotify 再行挪动了它的重点，并在基于算法的歌单上参加了更多的资源。

Dave Howitz: @Spotfiy 每周发现的歌单对我的了解进程险些屁滚尿流，老练到就像一个也曾与我有过一齐濒死体验的前女友一样。

Amanda Whitbred: 当前 @Spotify 的每周发现对我如故了解到如果它当前求婚，我也会说情愿的地步了。

自「每周发现」在 2015 年第一次上线以来，我就紧要思知说念它是怎样运作的（而且由于我是 Spotify 公司的迷妹，我心爱假装在那处责任并计划他们的家具）。 经过三周的豪恣Google，我终于满怀感德地得回了一些幕后的常识。

是以 Spotify 到底是怎样到手作念到给每东说念主每周挑选 30 首歌曲的？咱们先来仔细看下其它的音乐处事是怎样作念音乐保举，以及 Spotify 是怎样更胜一筹的。

在线音乐甄选处事简史

早在千禧年之初，Songza 就启动使用手动甄选为用户提供歌单。手动甄选的意思等于所谓的音乐民众或者其他裁剪会手动挑选一些他们我方认为可以的音乐作念成歌单，然后听众可以径直拿来听。（稍后，Beats 音乐也取舍了相同的计谋）。手动甄选恶果尚可，然而由于这种步调仅仅纯手工挑选，方式步调也比拟松弛，它并不成柔和到每个听众音乐试吃的精深相反。

跟 Songza 一样， Pandora 亦然音乐甄选处事鸿沟的早期玩家之一。它使用了一个略为更高等的步调来代替给歌曲属性手工打标签。即人人在听音乐的时候，对每首歌曲挑选一些形容性的词语来当作标签。进而，Pandora 的步调可以径直过滤特定的标签来生成包含相似歌曲的歌单。

差未几并吞期间，一个附庸于麻省理工学院媒体实验室的名叫 The Echo Nest 的音乐信息机构，取舍了一个王人备不同的高等计谋来定制音乐。The Echo Nest 使用算法来分析音频和音乐的文本内容，以完成音乐识别，个性化保举，歌单创建和分析等。

终末，是 Last.fm 独辟路子，取舍了另一个沿用于今的计谋。那等于欺诈协同过滤来识别用户可能心爱的音乐。稍后本文会伸开究诘更多这方面的内容。

是以说既然其他的音乐甄选处事都竣事了保举功能，Spotify 究竟是怎样操作我方的神奇引擎，来竣事甩出竞争敌手几条街的用户试吃泄漏度的呢？

Spotify 的三种保举模子

事实上 Spotify 并莫得使用什么单一的篡改性保举模子，而是夹杂了一些其他公司使用的最好的计谋来创建他们我方惟一无二的刚烈发现引擎。

Spotify 使用三种主要的保举模子来创建每周发现：

协同过滤模子（即 Last.fm 最早使用的那些模子）。责任旨趣为分析你和其他用户的活动。 天然谈话责罚（NLP）模子 。责任旨趣为分析文本。 音频模子。责任旨趣为分析原始音频声说念自身。

咱们来具体看下这些保举模子是怎样责任的！

保举模子之一：协同过滤

领先先容下布景：当好多东说念主听到协同过滤这几个词的时候，他们会坐窝联思到 Netflix，因为它是第一个欺诈协同过滤来竣事保举模子的公司之一。其作念法主若是使用用户提交的电影星级来计较保举那些电影给其他雷同的用户。

自 Netflix 将其到手应用以来，协同过滤启动快速流传开来。当前不管是谁思竣事一个保举模子的话，一般都会拿它当作初度尝试。

与Netflix不同的是，Spotify 并莫得用户对他们音乐的星级评价数据。Spotify 所用的数据是隐形反应的，具体来说等于咱们在线听歌的歌曲次数，甚而极他额外信息，诸如用户是否保存歌曲到个东说念主歌单，或者听完歌曲后是否接着访谒艺术家主页等。

但什么是协同过滤，到底它是怎样责任的呢？底下用一段松弛对话来作念一个节略的先容。

啥情况? 本来这俩东说念主内部每东说念主都有我方的一些歌曲偏好 – 左边的东说念主心爱歌曲 P, Q, R 和 S; 右边的东说念主心爱 Q, R, S 和 T。

协同过滤系统进而欺诈这些数据得出论断，

“嗯。既然你俩都心爱疏通的歌曲 – Q，R 和 S – 那么你们可能是雷同的用户。是以你们应该会心爱另一个东说念主听过然而你还莫得听过的歌曲。”

系统然后提议右边的东说念主去体验下歌曲 P，以及左边的东说念主去体验下歌曲 T。听起来够松弛吧？

然而 Spotify 具体是怎样具体应用这个宗旨，来计较基于百万级的用户偏好从而得出数以百万计的用户歌曲保举呢？

…矩阵运算，用 Python 库即可竣事

推行中，此处说起的矩阵是极其庞杂的。每行都代表了 Spotify 的一亿四千万用户中的一员（如果你也用 Spotify，那么你亦然这个矩阵中的一转），而每一列则代表了 Spotify 数据库中三亿首歌曲中的一首。

然后，Python 库就启动跑这个漫长而复杂的矩阵明白公式：

计较完成后，系统会生成两种类型的向量，在此分别定名为 X 和 Y。X 为用户向量，代表单个用户的音乐试吃。Y 则为歌曲向量，代表单支歌曲的特征。

当前咱们得到了一亿四千万个用户向量，每东说念主一个，还有三亿歌曲向量。这些向量的具体内容仅仅一些单独拎出来自身并不测旨的数字，然而在后头进行比拟时会特地有用。

为了找到那些跟我相似试吃的用户，协同过滤系统会拿我的向量跟其他用户的向量作比拟，最终会找到那些跟我最相似的用户。关于 Y 向量，亦然相同的历程 – 你可以拿一首歌的向量与其他的歌曲向量作念比拟，进而找出哪些歌曲是跟你当前正在看的歌曲最相似。

协同过滤如实恶果可以，然而 Spotify 深知再添加另外一个引擎的话恶果会更出色。这就到了天然谈话责罚出场的时候了。

保举模子之二：天然谈话责罚

Spotify 取舍的第二个保举模子等于天然谈话责罚。这些模子的源数据，正如名字所示，等于一些普通的谈话笔墨 – 举例歌曲的元数据，新闻著述，博客，和互联网上的其它文本等。

天然谈话责罚 – 计较机调治东说念主类谈话的智商 – 自身等于一个巨大的鸿沟，时时通过情愫分析应用编程接口（API）来进行操作责罚。

天然谈话责罚背后的具体旨趣超出了本文的究诘限制，然而在此本文可以提供一些芜俚的形容：Spotify 会在网上贬抑爬取博客帖子甚而极它音乐运筹帷幄的文本，并找出东说念主们对特定的艺术家和歌曲的挑剔 – 比如说东说念主们对这些歌曲时常使用哪些面貌词媾和话, 以及哪些其他艺术家和歌曲也会和它们放在一齐究诘。

诚然我不知说念 Spotify 怎样责罚他们握取的数据，然而我可以先容下 The Echo Nest 是怎样使用它们的。他们会把数据分类成“文化向量”和“最好考语集”。每个艺术家和歌曲都特等以千计的逐日更新的最好考语集。每个考语都有一个运筹帷幄的权重，来示意其形容的紧要性（松弛说等于某东说念主可能会用该考语形容某个音乐的概率）。

[ “Cultural vectors”, or “top terms”, as used by the Echo Nest. Table from Brian Whitman]

然后，与协同过滤雷同，天然谈话责罚模子用这些考语和权重来创建一个歌曲的抒发向量，可以用来笃定两首音乐是否相似。很酷吧？

保举模子之三：原始音频模子

领先，你可能会问这个问题：

然而，Sophia，咱们如故从前两种模子中得回了这样多数据！为什么还要赓续分析音频自身呢？

额，领先要说的是，引入第三个模子会进一步升迁这个如故很优秀的保举处事的准确性。但骨子上，取舍这个模子还有另外一个次要标的：原始音频模子会把新歌接洽进来。

比如说，你的创作歌手一又友在 Spotify 上刚放上了一首新歌。可能它惟有 50 次听歌记载，是以很少能有其他听众来一齐协同过滤它。与此同期，它也在网上也莫得留住若干萍踪，是以天然谈话责罚模子也不会戒备到它。红运的是，原始音频模子并不鉴识新歌曲和热点歌曲。是以有了它的帮衬，你一又友的歌曲也可以和流行歌曲一说念出当前每周发现的歌单内部。

好了，到了“怎样”的部分了。咱们怎样才调分析这些看起来如斯空洞的原始音频数据呢？

…用卷积神经集聚！

卷积神经集聚相同亦然撑持面部识别的时代。只不外在 Spotify 的案例中，他们被稍作修改以基于音频数据责罚而不是像素点。底下是一个神经集聚架构的例子：

[Image credit: Sander Dieleman]

这个特定的神经集聚有四个卷积层，具体为图中左侧的宽柱，和右边的稍稍窄些的三根柱。输入是音频帧的时频示意，进而衔尾起来造成频谱图。

音频帧会穿过这些卷积层，经过终末一个卷积层，你可以看到一个“全局临时池”层。该层在悉数这个词期间轴上收罗数据，并灵验计较和统计歌曲时长内的学习特征。

责罚完之后，神经集聚会得出其对歌曲的调治，包括预计的期间签名，曲调，调式，球拍及音量等特征。底下等于 Draft Punk 的 “Around the World” 30 秒片断的数据图。

[Image Credit: Tristan Jehan & David DesRoches (The Echo Nest)]

最终，对这些对歌曲要道特征的调治可以让 Spotify 来决定歌曲之间的相似度，以及凭证用户听歌历史来判断哪些用户可能会心爱它们。

这些基本涵盖了为每周发现提供支柱的保举功课历程所依赖的三种主要模子。

[ Cassandra instances]

天然了，这些保举模子也和 Spotify 其它更大的生态系统衔尾在一齐，其中包括欺诈海量的数据存储以及特地多的 Hadoop 集群来作念保举处事的推广，使得引擎得以计较巨型矩阵，取之不尽的互联网音乐著述和大宗的音频文献。

我但愿本文可以对你有所启发，何况像那时它对我一样或者激起你的意思。怀着对幕后的机器学习时代的了解和谢忱之情，当前我将通过我我方的每周发现来寻找我心爱的音乐。