熱點(diǎn)聚集
本篇文章4416字，閱讀大概需要6分鐘
微博是一個(gè)廣播社交網(wǎng)絡(luò)平臺(tái)，通過(guò)有趣的機(jī)制共享短期信息。微博用戶(hù)注重訂閱內(nèi)容。在這種情況下，推薦系統(tǒng)可以很好地與訂閱分發(fā)系統(tǒng)集成并相互促進(jìn)。微博的兩個(gè)關(guān)鍵基礎(chǔ)：第一，建立用戶(hù)關(guān)系，第二，內(nèi)容溝通微博致力于優(yōu)化這兩點(diǎn)，促進(jìn)微博的發(fā)展。
微博推薦開(kāi)發(fā)過(guò)程改變了系統(tǒng)的方向，業(yè)務(wù)不斷變化，目標(biāo)重置，產(chǎn)品理念，架構(gòu)和算法發(fā)生變化。本白皮書(shū)主要描述了推薦架構(gòu)在此過(guò)程中的演變，并希望通過(guò)此機(jī)會(huì)探索業(yè)務(wù)與技術(shù)之間的關(guān)系，同時(shí)在產(chǎn)品目標(biāo)，算法需求和技術(shù)開(kāi)發(fā)方面為讀者提供完整的開(kāi)發(fā)環(huán)境。
通常，架構(gòu)是在團(tuán)隊(duì)和業(yè)務(wù)環(huán)境中創(chuàng)建的，努力基于環(huán)境因素解決環(huán)境問(wèn)題，結(jié)構(gòu)由強(qiáng)大的功能組成，并且創(chuàng)建面向?qū)崿F(xiàn)的效果。本白皮書(shū)詳細(xì)介紹了微博建議的三個(gè)階段，包括環(huán)境因素，架構(gòu)配置和特性以及實(shí)施影響。
1獨(dú)立1.0
1.1環(huán)境
影響結(jié)構(gòu)形成的環(huán)境因素可分為內(nèi)部環(huán)境因素和外部環(huán)境因素。內(nèi)部因素主要與團(tuán)隊(duì)和成員有關(guān)，但外部因素主要在外部部門(mén)，整個(gè)公司或整個(gè)行業(yè)。
這個(gè)項(xiàng)目有很多項(xiàng)目，當(dāng)時(shí)平均每個(gè)團(tuán)隊(duì)有5個(gè)并行開(kāi)發(fā)項(xiàng)目。當(dāng)然，最重要的因素是微博產(chǎn)品是快速生成器，微博需要在很多地方提供支持。同時(shí)，由于項(xiàng)目周期很短，調(diào)度緊急，很難有時(shí)間進(jìn)行清理和抽象。典型產(chǎn)品包括微棒，微小組，微分布，微結(jié)構(gòu)，用戶(hù)和內(nèi)容對(duì)齊。
基于以上原因，當(dāng)我們面對(duì)單個(gè)項(xiàng)目時(shí)，我們使用熟悉的技術(shù)堆棧通過(guò)建立我們自己的理解來(lái)逐個(gè)構(gòu)建我們的流程。
雖然開(kāi)發(fā)過(guò)程中存在許多缺點(diǎn)，但我們已為后續(xù)架構(gòu)優(yōu)化奠定了基礎(chǔ)。結(jié)果如下。
在微博快速發(fā)展的過(guò)程中，微博滿(mǎn)足了微博對(duì)推薦業(yè)務(wù)支持的要求，完成了20多個(gè)獨(dú)立項(xiàng)目。
吳的框架誕生了，內(nèi)部的高效計(jì)算框架誕生于此。
Web應(yīng)用程序?qū)拥某掷m(xù)需求摘要，推薦的通用應(yīng)用程序框架配置2樓2.0
我們介紹了一個(gè)獨(dú)立的1.0。根據(jù)架構(gòu)開(kāi)發(fā)的方式，我們?nèi)チ艘粋€(gè)分支路口，一個(gè)是流行的LAMP架構(gòu)，另一個(gè)是與廣告和搜索相匹配的CELL架構(gòu)。 LAMP架構(gòu)數(shù)據(jù)策略是獨(dú)立的，腳本語(yǔ)言是業(yè)務(wù)開(kāi)發(fā)的主要語(yǔ)言，該項(xiàng)目是快速開(kāi)發(fā)和迭代的首選。 CELL架構(gòu)強(qiáng)調(diào)本地流程處理，數(shù)據(jù)和業(yè)務(wù)組合，自行開(kāi)發(fā)的服務(wù)以及適用于高性能應(yīng)用程序的數(shù)據(jù)庫(kù)。畢竟，我們選擇與兩者兼容，并且我們傾向于擁有業(yè)務(wù)架構(gòu)。為什么會(huì)這樣？我們來(lái)看看當(dāng)時(shí)的環(huán)境。
2.1環(huán)境
微博推薦2.0期間為2013年3月至2014年底。此期間的內(nèi)部環(huán)境因素為：
今天，團(tuán)隊(duì)成員已經(jīng)合作了很長(zhǎng)時(shí)間，并就技術(shù)選擇達(dá)成了一些共識(shí)。
團(tuán)隊(duì)產(chǎn)品專(zhuān)注于內(nèi)容/用戶(hù)/垂直課程推薦，場(chǎng)景分為源主頁(yè)，正文頁(yè)面和PC主頁(yè)。這種集中不僅有助于統(tǒng)一建筑，還有助于獲得技能。
外部因素包括：
該公司明確定位建議，提高關(guān)系績(jī)效和內(nèi)容溝通效率，并為推薦廣告的技術(shù)探索，場(chǎng)景干預(yù)和用戶(hù)體驗(yàn)提供基礎(chǔ)。
在推薦的字段中，每個(gè)公司都有自己的架構(gòu)輸出，這是微博建議的重要指南。
2.2架構(gòu)配置和功能
隨著團(tuán)隊(duì)實(shí)施核心業(yè)務(wù)實(shí)施，工具和框架不斷發(fā)展，2.0部署的目標(biāo)正在變?yōu)楝F(xiàn)實(shí)。
1.技術(shù)目標(biāo)
與1.0不同，僅僅實(shí)現(xiàn)業(yè)務(wù)需求不再是2.0的技術(shù)目標(biāo)。要獲得完整的推薦流程，您需要：
第一步是實(shí)施完整的推薦流程，包括候選人，調(diào)整，策略，演示，反饋和評(píng)估。
數(shù)據(jù)是第一個(gè)提取數(shù)據(jù)架構(gòu)的數(shù)據(jù)。為了實(shí)現(xiàn)數(shù)據(jù)比較，效果是基于數(shù)據(jù)的，實(shí)現(xiàn)數(shù)據(jù)通道，反映反饋，實(shí)現(xiàn)數(shù)據(jù)著陸和執(zhí)行業(yè)務(wù)需求。
提供一種方便干預(yù)算法的方法。
這不僅可以確?？焖俚蜆I(yè)務(wù)開(kāi)發(fā)，還可以支持高效計(jì)算。
2.建筑
微博推薦2.0架構(gòu)如圖5所示。它不再是一個(gè)獨(dú)立的系統(tǒng)，開(kāi)發(fā)人員也無(wú)法使用類(lèi)似的技術(shù)來(lái)解決類(lèi)似的問(wèn)題。該架構(gòu)圖主要包括以下部分：
應(yīng)用層：主要負(fù)責(zé)推薦的策略和演示，其特點(diǎn)是充分利用腳本語(yǔ)言的特性來(lái)響應(yīng)重復(fù)的要求。您可以在對(duì)齊后顯示大多數(shù)推薦的內(nèi)容，但必須在技術(shù)級(jí)別完成此IO密集型層，因?yàn)槟枰喜?，刪除和重新定位前端產(chǎn)品策略。在技術(shù)選擇框架中，開(kāi)發(fā)最初基于Apache + mod_python并且創(chuàng)建了common_recom_frame。該框架面向能夠成功實(shí)施推薦業(yè)務(wù)流程的二級(jí)開(kāi)發(fā)人員。該框架的核心思想是提取項(xiàng)目，任務(wù)和數(shù)據(jù)的三層接口。該項(xiàng)目適用于每個(gè)推薦項(xiàng)目，每個(gè)推薦項(xiàng)目的推薦任務(wù)不同，一種管理的訪(fǎng)問(wèn)方法。兩個(gè)規(guī)格同時(shí)設(shè)置。一種是集成推薦的接口，無(wú)論用戶(hù)，內(nèi)容或行業(yè)如何，另一種是通過(guò)保護(hù)不同協(xié)議數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)方法來(lái)顯著提高開(kāi)發(fā)效率。 common_recom_frame框架的誕生基本上解決了產(chǎn)品的各種推薦策略要求，并走在了產(chǎn)品的前面。圖5微博推薦2.0架構(gòu)的示意圖
計(jì)算層：主要消耗CPU，該層為算法提供干預(yù)方法，并執(zhí)行支持算法模型迭代的推薦排序計(jì)算。在這個(gè)技術(shù)選擇層，我們繼承了原始的WOO協(xié)議框架，這是一個(gè)基于c/c ++開(kāi)發(fā)的內(nèi)部高效通信框架。當(dāng)然，我已經(jīng)做了很多擴(kuò)展，并且我借用了上面提到的common_recom_frame思想來(lái)實(shí)現(xiàn)基于WOO框架的項(xiàng)目/工作/數(shù)據(jù)管理，為二級(jí)開(kāi)發(fā)人員提供了更高效的開(kāi)發(fā)工具。在您團(tuán)隊(duì)的開(kāi)源項(xiàng)目中包含此工具：https://github.com/wbrecom/lab_common_so
數(shù)據(jù)層：主要負(fù)責(zé)推薦的數(shù)據(jù)流和存儲(chǔ)。數(shù)據(jù)層的任務(wù)主要是解決數(shù)據(jù)的IN/OUT/STORE問(wèn)題。 IN數(shù)據(jù)輸入到系統(tǒng)，OUT是數(shù)據(jù)訪(fǎng)問(wèn)方法，STORE是數(shù)據(jù)存儲(chǔ)方法。在進(jìn)行數(shù)據(jù)層規(guī)劃時(shí)，分析了微博推薦的數(shù)據(jù)特征，該屬性可以分為靜態(tài)和動(dòng)態(tài)兩大類(lèi)。靜態(tài)數(shù)據(jù)的定義如下：更新需要大量低頻率和低并發(fā)性的數(shù)據(jù)，動(dòng)態(tài)數(shù)據(jù)定義為：增量數(shù)據(jù)同時(shí)以高頻率動(dòng)態(tài)更新。因此，在靜態(tài)和動(dòng)態(tài)數(shù)據(jù)，RIN/R9接口，徑向/流明，tmproxy /呼吸機(jī)或工具框架生成期間，唯一的IN/OUT/SOTRE的通用方向。下面說(shuō)說(shuō)擴(kuò)展，RIN數(shù)據(jù)訪(fǎng)問(wèn)動(dòng)態(tài)數(shù)據(jù)，支持通過(guò)Web服務(wù)接收數(shù)據(jù)，后端隊(duì)列管理，消費(fèi)者集群得到多服務(wù)框架ckestrel的補(bǔ)充，用戶(hù)需要執(zhí)行自己的業(yè)務(wù)開(kāi)發(fā)您可以在線(xiàn)快速使用動(dòng)態(tài)數(shù)據(jù)。 R9接口處理器訪(fǎng)問(wèn)靜態(tài)數(shù)據(jù)推薦行為針對(duì)R9接口框架的Hadoop集群靜態(tài)計(jì)算[MR Hive SQL和SPARK行為]通知管理和數(shù)據(jù)加載，解決了多個(gè)靜態(tài)數(shù)據(jù)。動(dòng)態(tài)數(shù)據(jù)使用許多redis群集，靜態(tài)數(shù)據(jù)使用lushan群集來(lái)存儲(chǔ)推薦數(shù)據(jù)。對(duì)于lushan，這個(gè)工具也包含在團(tuán)隊(duì)開(kāi)源項(xiàng)目中：https://github.com/wbrecom/lushan。 tmproxy/ventilation為了解決OUT數(shù)據(jù)的問(wèn)題，再加上通風(fēng)訪(fǎng)問(wèn)中間件代理來(lái)處理靜態(tài)和動(dòng)態(tài)數(shù)據(jù)的推薦請(qǐng)求，后端數(shù)據(jù)減少了業(yè)務(wù)變化的影響?；痉?wù)：推薦系統(tǒng)的基本服務(wù)主要包括監(jiān)控，報(bào)警和評(píng)估系統(tǒng)，數(shù)據(jù)監(jiān)控系統(tǒng)分為性能和影響監(jiān)控兩類(lèi)，評(píng)估系統(tǒng)主要用于下級(jí)評(píng)估。在去之前有一定的期望和影響。
3.特點(diǎn)
優(yōu)點(diǎn)是：
數(shù)據(jù)的集成方法，以提供完整的推薦流程支持
在快速實(shí)現(xiàn)業(yè)務(wù)功能的過(guò)程中，效果技術(shù)不斷深化。
該算法得到了很好的支持。
首次使用您的數(shù)據(jù)的想法將幫助您全面比較您的影響并繼續(xù)提高您的推薦效果。
密封系統(tǒng)易于放置，質(zhì)量保證包含在測(cè)試中。
缺陷如下。
與推薦的核心有一定距離，并且與建議不完全一致。
推薦的策略算法完全傳遞給開(kāi)發(fā)人員，不適合一般使用。
算法培訓(xùn)不包括在內(nèi)，只是在線(xiàn)交付系統(tǒng)，因此構(gòu)建完整的推薦系統(tǒng)是不夠的。
2.3結(jié)果
微博推薦2.0的誕生產(chǎn)生了良好的效果。
微博的核心業(yè)務(wù)是通過(guò)諸如機(jī)構(gòu)推薦，趨勢(shì)用戶(hù)推薦，趨勢(shì)內(nèi)容推薦，各種場(chǎng)景中的用戶(hù)推薦，粉絲經(jīng)濟(jì)學(xué)，賬戶(hù)推薦等系統(tǒng)完成的。
為lab_common_so創(chuàng)建一個(gè)基本框架并執(zhí)行開(kāi)源
一個(gè)靜態(tài)存儲(chǔ)集群解決方案，lushan，誕生了。
聯(lián)陣框架的誕生極大地提高了企業(yè)生產(chǎn)的效率，也為開(kāi)放社區(qū)做出了貢獻(xiàn)。
3平臺(tái)類(lèi)型3.0
在前一節(jié)的2.0描述中提到的一個(gè)主要缺點(diǎn)是“與推薦的核心存在一定距離，并且與推薦不完全一致”。我們希望在建議3.0中修復(fù)它。為什么在滿(mǎn)足業(yè)務(wù)需求時(shí)推薦的架構(gòu)會(huì)繼續(xù)發(fā)展？我們將向您展示微博推薦的平臺(tái)風(fēng)格3.0設(shè)計(jì)。讓我們來(lái)看看環(huán)境。
3.1環(huán)境
從2014年底到現(xiàn)在的當(dāng)前內(nèi)部環(huán)境因素如下，微博建議3.0。
推薦產(chǎn)品沒(méi)有擴(kuò)展，它們更重要，并且重點(diǎn)從業(yè)務(wù)開(kāi)發(fā)和迭代轉(zhuǎn)向針對(duì)性能的技術(shù)迭代。
如果您以迭代方式提出新項(xiàng)目或業(yè)務(wù)，則會(huì)有許多重復(fù)性任務(wù)，重復(fù)任務(wù)，因?yàn)榧軜?gòu)未得到解決。
外部因素包括：
該公司還從業(yè)務(wù)擴(kuò)展轉(zhuǎn)向效率優(yōu)先，以改善用戶(hù)體驗(yàn)和內(nèi)容質(zhì)量。
微博建議在推薦的技術(shù)鏈接的距離區(qū)域中存在一定距離，并且存在追趕狀況。
3.2架構(gòu)配置和功能
當(dāng)前環(huán)境也可以反映3.0的技術(shù)目標(biāo)。
1.技術(shù)目標(biāo)
與2.0不同，全范圍推薦過(guò)程不是3.0的目標(biāo)。目標(biāo)是：摘要在推薦過(guò)程中候選/對(duì)齊/訓(xùn)練/反饋的一般方法。
推薦算法，需要建立推薦系統(tǒng)算法的角度數(shù)據(jù)問(wèn)題，接近算法策略
2.建筑
如圖7所示，建議基于此開(kāi)發(fā)2.0找到微博3.0體系結(jié)構(gòu)，因?yàn)檫\(yùn)行當(dāng)前體系結(jié)構(gòu)系統(tǒng)，我們維護(hù)了一個(gè)實(shí)際在框架2.0中使用的大型分層系統(tǒng)和工具。以下是一些要點(diǎn)：
兩個(gè)標(biāo)準(zhǔn)：應(yīng)用層的一個(gè)總體輸出框架，所有這些都是在一個(gè)應(yīng)用層中包含標(biāo)準(zhǔn)輸入和輸出參數(shù)的接口規(guī)范，與動(dòng)態(tài)輸入精益相關(guān)并且離線(xiàn)計(jì)算，這可以確定我們的結(jié)構(gòu)因此，輸入層工具R9接口規(guī)范是相互依賴(lài)的***不需要為分割級(jí)別的標(biāo)準(zhǔn)設(shè)置設(shè)置線(xiàn)串，例如數(shù)據(jù)/記錄。
通過(guò)標(biāo)準(zhǔn)生成候選者的方法增加計(jì)算層：Artemis候選內(nèi)容模塊，項(xiàng)目候選用戶(hù)模塊，......應(yīng)該只選擇此方法來(lái)生成項(xiàng)目開(kāi)發(fā)的候選者。
添加了一個(gè)名為EROS的戰(zhàn)略平臺(tái)來(lái)解決算法模型的問(wèn)題。 EROS的主要特點(diǎn)是1）訓(xùn)練模型2）特征選擇3）在線(xiàn)比較測(cè)試。
R9界面層和生成在線(xiàn)和離線(xiàn)候選精益增長(zhǎng)的數(shù)據(jù)推薦了產(chǎn)生結(jié)果的一般策略。
圖7微博推薦3.0的示意圖
3.特點(diǎn)
它主要解釋了它的優(yōu)點(diǎn)：
它繼承了原有的2.0特性并保持其優(yōu)點(diǎn)。深入理解這些建議，并結(jié)合推薦的候選/對(duì)齊/訓(xùn)練算法的最重要解決方案
3.3結(jié)果
微博推薦3.0的誕生，結(jié)果如下：
微博推薦的核心業(yè)務(wù)逐步遷移到系統(tǒng)，算法數(shù)據(jù)作為提高效率的驅(qū)動(dòng)因素。
技術(shù)來(lái)自業(yè)務(wù)并改善業(yè)務(wù)發(fā)展。業(yè)務(wù)發(fā)展是技術(shù)發(fā)展和相互影響的關(guān)系背后的驅(qū)動(dòng)力。隨著業(yè)務(wù)發(fā)展的技術(shù)還活著。
技術(shù)架構(gòu)選擇建議是目前找到最短路徑然后迭代優(yōu)化。將所有東西放在一起是不現(xiàn)實(shí)和不合理的。
推廣框架和工具的最佳方式不是行政命令或待遇，但每個(gè)人都是參與者。與開(kāi)源項(xiàng)目一樣，每個(gè)人都是所有者，因此每個(gè)人都得到維護(hù)和使用。
