技術文章 » 什麼是 DMP？

什麼是 DMP？

2020-09-20 11:00:12

目錄

DMP （Data Management Platform）

一、專案介紹

二、技術方案

DMP （Data Management Platform）

資料管理平臺，負責資料管理：收集使用者資料；為使用者資料打上標籤；為DSP 提供資料服務

  • 業務介紹
  • 技術實現

對於業務介紹，比較困難的是理解廣告交易過程中各個參與者是幹什麼的

對於技術實現，大致就是如下兩個步驟：

  1. 報表
  2. 標籤化

報表顯而易見，就是檢視資料的組成，檢視資料的圖形直觀特徵

標籤化是整個專案的目的，最終其實就是要根據標籤篩選使用者，但是對於標籤化還是有很多東西要做的，如下：

  • 商圈庫
  • 打標籤
  • 統一使用者識別
  • 標籤合併 & 衰減
  • 歷史合併

一、專案介紹

  1. 背景介紹
  2. DMP 的作用和實現方式
  3. 技術方案

廣告業務背景

網際網路廣告發展至今，產生了很多非常複雜的概念，其中環環交錯，不容易理清。主要目的就是儘可能的理清楚整體上的流程，各個環節的作用。

Step 1: 廣告主，廣告商，媒體

  • 廣告主：簡單來說就是要發廣告的機構和個人。比如：微信公眾號也有的廣告主
  • 廣告商：廣告商是中介，對接廣告主和媒體，廣告主告訴廣告商我要發廣告，廣告商找到媒體進行談判
  • 媒體：   比如說微博，騰訊，美團這樣的應用和網站，就是媒體，它們具有廣告展示的位置，使用者在使用這些服務的同時會看到各樣的廣告
  • 受眾：  普通的使用者，在享受免費的服務的同時，被努的接受廣告；但是受眾是有不同型別的，可以由標籤來表示，比如說白領，女生，28-30歲等

Step 2: 小媒體和廣告網路

剛才的結構中有一個非常明顯的問題

  • 小媒體有很多

          不只有微博騰訊這些媒體，還有很多其它的垂直小媒體，比如說一些軟體網站，一些小型的App，甚至前陣子比較流行的遊戲消滅病毒等，都是小型的媒體

  • 廣告主傾向於讓更多人看到廣告

          廣告主就傾向於讓更多人看到廣告，而且也為了避免麻煩，所以會找一些大型的媒體來談合作

          但是往往一些小媒體因為更加垂直，其使用者可能更加精準，購買意願也非常好

  • 小媒體的議價能力非常有限

          雖然小媒體有小媒體的好處，但是小媒體太過零散，如果只是一個小媒體的話，很難去洽談出一個比較好的合作，所以小媒體也是要賺錢的，這個領域其實是一個很大的盤子，一定會有人為小媒體提供服務，這種產品，我們稱之為 AdNetwork，廣告網路

AdNetwork【廣告網路】 提供如下的服務

  • 為廣告主提供統一的介面
  • 聯絡多家媒體，行成為統一的定價從而銷售

Step 3: AdExchange

雖然有 AdNetword 的引入，但是很快又會有新的問題

  • AdNetwork 不止一家

          就如同有很多小媒體，廣告主不知道如何選擇一樣，AdNetwork 是一種商業模式，也會有很多玩家，廣告主依然面臨這種選擇困難

  • 小媒體們會選擇不同的AdNetwork

          每個AdNetwork 之間，定價策略可能不同，旗下的小媒體也可能不同，其實最終廣告主是要選擇一個靠譜的網站來進行廣告展示的，那麼這裡就存在一些資訊不對稱，如何選擇靠譜的 AdNetwork 從而選擇靠譜的媒體呢

  • AdNetwork 之間可能存在拆借現象

          某一個 AdNetwork 可能會有一個比較好的資源，但是一直沒賣出去，而另外一個AdNetwork 可能恰好需要用到這個資源，所以 AdNetwork 之間可能會有一些拆借顯現，這就讓這個時長愈加混亂

  • 媒體可能對 AdNetwork 的定價策略頗有微詞

         AdNetWork 背後有很多媒體，但是整個定價策略是由 AdNetwork 來制定的，雖然 AdNetwork 往往是非常精密的計算模型，但是媒體依然可能會感覺自己沒有賺到錢

所以滋生了別外一種業務，叫做AdExchange，廣告交易平臺，從而試圖去從上層再統一一下

所以，AdExchange 雖然看起來和 AdNetwork 非常類似，但是本質上是不同的，其有以下特點

  • AdExchange 不僅會聯絡 AdNetwork，也會聯絡一下小媒體
  • 甚至有時候 AdNetwork 也會找 AdExchange 釋出廣告需求
  • AdExchange 會提供實時的交易定價，彌補了 AdNetwork 獨立定價的弊端

Step 4: RTB 實時競價

並不是針對 AdExchange 的缺陷引入新的話題，而是針對 AdExchange 中的一個定價特點進行詳細的說明

AdExchange 和 AdNetwork 最大的不同可能要數 AdExchange 的定價方式了，AdExchange 的定價方式是一種事實的定價方式。其實非常類似於股票的撮合交易

整個過程的步驟大致如下：

1、媒體發起廣告請求給 RTB 系統，請求廣告進行展示

2、廣告主根據自己需求決定是否競價，以及自己的出價

3、會有多個廣告主同時出價，價高者得 

這樣，RTB 就能儘可能的讓廣告的展示價格更透明更公平，AdExchange 得到自己響應的佣金，媒體得到最大化的廣告費，看起來皆大歡喜，但是真的是這樣嗎？

Step 5: 廣告主如何競價？

一切看起來都很好，如果你站在媒體的角度的話，但是如果你站在廣告主的角度上來看，廣告主可能會有兩種抱怨：

  • 廣告主並不是專業從業者

           廣告主可能會覺得，你跟我鬧呢，我知道不知道怎麼出價你心裡清楚？

           確實，作為金主，不能太過為難他們，每次交易都上廣告主出價，無異於逼迫廣告主轉投他家

  • 廣告主的訴求是投放廣告給恰好有需求的人，而不是看起來好像很酷的媒體

          我們討論到現在，所以的假設都是基於廣告主知道自己該找什麼樣的媒體投放什麼樣的廣告，這種假設明顯是不成立的，如果考慮廣告主的訴求，其非常簡單，在同等價格內，廣告效果要好，所以廣告主更關心的事情是你是否讓合適的人看到了這些廣告。

所以，DSP應運而生，DSP全稱叫做需求方平臺，主要負責和 AdExchange 互動，輔助廣告主進行實時競價。

  • DSP 幫助廣告主進行 RTB 中的出價
  • DSP 不僅只是出價，DSP 幫助廣告主全面的進行廣告服務，例如廣告主只需要告訴 DSP 自己對什麼型別的受眾感興趣，DSP會幫助廣告主進行受眾篩選。

Step 6: DMP

DSP 最重要的特性是，能夠幫助廣告主刷選客戶，換句話說，DSP 出現之前廣告主針對媒體上的廣告位進行廣告投放，DSP 出現之後，廣告主針對自己想要的目標受眾投放廣告，這幾乎是一個質效率提升。

廣告主現在可以針對一些受眾的標籤來進行廣告投放了，比如說，一個廣告主是賣化妝品的，他要投放廣告給有如下三個標籤的使用者們：20歲上下，女性，時尚人士，現在就可以針對這三個標籤來告訴DSP 如何帥選使用者了

但是，DSP 如何進行使用者識別呢？DSP如何誰是 20歲上下，女性，時尚人士？DSP 可以自己做，也可以依賴於第三方，這個標籤化的資料管理專案，就叫做DMP，全稱叫做 Data Management Platform ，即資料管理平臺。

DMP 所負責的內容非常重要的有兩點

  • 收集使用者資料

          常見的收集方式主要有兩種：

  1. 通過自身的服務和程式進行收集，例如微博和騰訊有巨大的使用者量，他們自己就可以針對自己的使用者進行分析
  2. 通過合作而來的一些資料，這部分在合規範圍內，一般大型的網站或者APP會通過一些不會洩漏使用者隱私的ID 來標識使用者，給第三方 DMP 合作使用
  3. 通過一些不正當的手段獲得，例如說在某網站上傳偽裝成圖片的指令碼，從而獲取本網站的使用者 Cookie，這部分涉及一些黑產，不再詳細說明，315 晚會也曾經報道過
  • 為使用者打上標籤

          DSP 主要通過標籤帥選使用者，所以 DMP 要通過一些巨量資料的工具來將使用者資料打上標籤，這部分其實挺難，有可能要涉及一些機器學習的演演算法，或者圖計算。

  1. AdExchange 發起競價
  2. DSP 響應競價
  3. DSP -> DMP 詢問這個競價的媒體是否是我需要的
  4. DMP 返回媒體和展示的資訊，告訴 DSP 是否應該出價
  5. DSP 根據DMP 的指引，選擇出價或者不出

二、技術方案

從目的上看，DMP 系統可能會有如下的事情要做

  • 通過視覺化和筆記工具進行資料分析和測試，一般會使用Zeppelin 等工具進行測試和資料探索

路線一：

  1. 收集資料
  2. ETL
  3. 落地 Kudu
  4. Spark 讀取 Kudu ODS 進行標籤化
  5. 落地 Kudu
  6. 放入Es 對外提供 API

路線二：

  1. 收集資料
  2. ETL
  3. 落地 Kudu
  4. 生成報表
  5. 分析師就可以使用 Impala 等查詢資料進行決策服務

 

文章最後，給大家推薦一些受歡迎的技術部落格連結：

  1. JAVA相關的深度技術部落格連結
  2. Flink 相關技術部落格連結
  3. Spark 核心技術連結
  4. 設計模式 —— 深度技術部落格連結
  5. 機器學習 —— 深度技術部落格連結
  6. Hadoop相關技術部落格連結
  7. 超全乾貨--Flink思維導圖，花了3周左右編寫、校對
  8. 深入JAVA 的JVM核心原理解決線上各種故障【附案例】
  9. 請談談你對volatile的理解？--最近小李子與面試官的一場「硬核較量」
  10. 聊聊RPC通訊，經常被問到的一道面試題。原始碼+筆記，包懂
  11. 深入聊聊Java 垃圾回收機制【附原理圖及調優方法】

歡迎掃描下方的二維條碼或 搜尋 公眾號「巨量資料高階架構師」，我們會有更多、且及時的資料推播給您，歡迎多多交流！