一、知識(shí)圖譜無(wú)處不在 說(shuō)到人工智能技術(shù)，人們首先會(huì)聯(lián)想到深度學(xué)習(xí)、機(jī)器學(xué)習(xí)技術(shù)；談到人工智能應(yīng)用，人們很可能會(huì)馬上想起語(yǔ)音助理、自動(dòng)駕駛等等，各行各業(yè)都在研發(fā)底層技術(shù)和尋求AI場(chǎng)景，卻忽視了當(dāng)下最時(shí)髦也很重要的AI技術(shù)：知識(shí)圖譜。 當(dāng)我們進(jìn)行搜索時(shí)，搜索結(jié)果右側(cè)的聯(lián)想，來(lái)自于知識(shí)圖譜技術(shù)的應(yīng)用。我們幾乎每天都會(huì)接收到各種各樣的推薦信息，從新聞、購(gòu)物到吃飯、娛樂(lè)。 個(gè)性化推薦作為一種信息過(guò)濾的重要手段，可以依據(jù)我們的習(xí)慣和愛(ài)好推薦合適的服務(wù)，也來(lái)自于知識(shí)圖譜技術(shù)的應(yīng)用。搜索、地圖、個(gè)性化推薦、互聯(lián)網(wǎng)、風(fēng)控、銀行……越來(lái)越多的應(yīng)用場(chǎng)景，都越來(lái)越依賴知識(shí)圖譜。 二、知識(shí)圖譜與人工智能的關(guān)系 知識(shí)圖譜用節(jié)點(diǎn)和關(guān)系所組成的圖譜，為真實(shí)世界的各個(gè)場(chǎng)景直觀地建模。通過(guò)不同知識(shí)的關(guān)聯(lián)性形成一個(gè)網(wǎng)狀的知識(shí)結(jié)構(gòu)，對(duì)機(jī)器來(lái)說(shuō)就是圖譜。 形成知識(shí)圖譜的過(guò)程本質(zhì)是在建立認(rèn)知、理解世界、理解應(yīng)用的行業(yè)或者說(shuō)領(lǐng)域。每個(gè)人都有自己的知識(shí)面，或者說(shuō)知識(shí)結(jié)構(gòu)，本質(zhì)就是不同的知識(shí)圖譜。正是因?yàn)橛蝎@取和形成知識(shí)的能力，人類才可以不斷進(jìn)步。 知識(shí)圖譜對(duì)于人工智能的重要價(jià)值在于，知識(shí)是人工智能的基石。機(jī)器可以模仿人類的視覺(jué)、聽(tīng)覺(jué)等感知能力，但這種感知能力不是人類的專屬，動(dòng)物也具備感知能力，甚至某些感知能力比人類更強(qiáng)，比如：狗的嗅覺(jué)。 而“認(rèn)知語(yǔ)言是人區(qū)別于其他動(dòng)物的能力，同時(shí)，知識(shí)也使人不斷地進(jìn)步，不斷地凝練、傳承知識(shí)，是推動(dòng)人不斷進(jìn)步的重要基礎(chǔ)。” 知識(shí)對(duì)于人工智能的價(jià)值就在于，讓機(jī)器具備認(rèn)知能力。 而構(gòu)建知識(shí)圖譜這個(gè)過(guò)程的本質(zhì)，就是讓機(jī)器形成認(rèn)知能力，去理解這個(gè)世界。
三、圖數(shù)據(jù)庫(kù) 知識(shí)圖譜的圖存儲(chǔ)在圖數(shù)據(jù)庫(kù)（Graph Database）中，圖數(shù)據(jù)庫(kù)以圖論為理論基礎(chǔ)，圖論中圖的基本元素是節(jié)點(diǎn)和邊，在圖數(shù)據(jù)庫(kù)中對(duì)應(yīng)的就是節(jié)點(diǎn)和關(guān)系。用節(jié)點(diǎn)和關(guān)系所組成的圖，為真實(shí)世界直觀地建模，支持百億量級(jí)甚至千億量級(jí)規(guī)模的巨型圖的高效關(guān)系運(yùn)算和復(fù)雜關(guān)系分析。 目前市面上較為流行的圖數(shù)據(jù)庫(kù)有：Neo4j、Orient DB、Titan、Flock DB、Allegro Graph等。不同于關(guān)系型數(shù)據(jù)庫(kù)，一修改便容易“牽一發(fā)而動(dòng)全身”圖數(shù)據(jù)庫(kù)可實(shí)現(xiàn)數(shù)據(jù)間的“互聯(lián)互通”，與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)相比，圖數(shù)據(jù)庫(kù)更擅長(zhǎng)建立復(fù)雜的關(guān)系網(wǎng)絡(luò)。 圖數(shù)據(jù)庫(kù)將原本沒(méi)有聯(lián)系的數(shù)據(jù)連通，將離散的數(shù)據(jù)整合在一起，從而提供更有價(jià)值的決策支持。 四、知識(shí)圖譜的價(jià)值 知識(shí)圖譜用節(jié)點(diǎn)和關(guān)系所組成的圖譜，為真實(shí)世界的各個(gè)場(chǎng)景直觀地建模，運(yùn)用“圖”這種基礎(chǔ)性、通用性的“語(yǔ)言”，“高保真”地表達(dá)這個(gè)多姿多彩世界的各種關(guān)系，并且非常直觀、自然、直接和高效，不需要中間過(guò)程的轉(zhuǎn)換和處理——這種中間過(guò)程的轉(zhuǎn)換和處理，往往把問(wèn)題復(fù)雜化，或者遺漏掉很多有價(jià)值的信息。 在風(fēng)控領(lǐng)域中，知識(shí)圖譜產(chǎn)品為精準(zhǔn)揭露“欺詐環(huán)”、“窩案”、“中介造假”、“洗錢”和其他復(fù)雜的欺詐手法，提供了新的方法和工具。盡管沒(méi)有完美的反欺詐措施，但通過(guò)超越單個(gè)數(shù)據(jù)點(diǎn)并讓多個(gè)節(jié)點(diǎn)進(jìn)行聯(lián)系，仍能發(fā)現(xiàn)一些隱藏信息，找到欺詐者的漏洞，通常這些看似正常不過(guò)的聯(lián)系（關(guān)系），常常被我們忽視，但又是最有價(jià)值的反欺詐線索和風(fēng)險(xiǎn)突破口。 盡管各個(gè)風(fēng)險(xiǎn)場(chǎng)景的業(yè)務(wù)風(fēng)險(xiǎn)不同，其欺詐方式也不同，但都有一個(gè)非常重要的共同點(diǎn)——欺詐依賴于信息不對(duì)稱和間接層，且它們可以通過(guò)知識(shí)圖譜的關(guān)聯(lián)分析被揭示出來(lái)，高級(jí)欺詐也難以“隱身”。 凡是有關(guān)系的地方都可以用到知識(shí)圖譜，事實(shí)上，知識(shí)圖譜已經(jīng)成功俘獲了大量客戶，且客戶數(shù)量和應(yīng)用領(lǐng)域還在不斷增長(zhǎng)中，包括沃爾瑪、領(lǐng)英、阿迪達(dá)斯、惠普、FT金融時(shí)報(bào)等知名企業(yè)和機(jī)構(gòu)。 目前知識(shí)圖譜產(chǎn)品的客戶行業(yè)，分類主要集中在：社交網(wǎng)絡(luò)、人力資源與招聘、金融、保險(xiǎn)、零售、廣告、物流、通信、IT、制造業(yè)、傳媒、醫(yī)療、電子商務(wù)和物流等領(lǐng)域。在風(fēng)控領(lǐng)域中，知識(shí)圖譜類產(chǎn)品主要應(yīng)用于反欺詐、反洗錢、互聯(lián)網(wǎng)授信、保險(xiǎn)欺詐、銀行欺詐、電商欺詐、項(xiàng)目審計(jì)作假、企業(yè)關(guān)系分析、罪犯追蹤等場(chǎng)景中。 那相比傳統(tǒng)數(shù)據(jù)存儲(chǔ)和計(jì)算方式，知識(shí)圖譜的優(yōu)勢(shì)顯現(xiàn)在哪里呢？ （1）關(guān)系的表達(dá)能力強(qiáng) 傳統(tǒng)數(shù)據(jù)庫(kù)通常通過(guò)表格、字段等方式進(jìn)行讀取，而關(guān)系的層級(jí)及表達(dá)方式多種多樣，且基于圖論和概率圖模型，可以處理復(fù)雜多樣的關(guān)聯(lián)分析，滿足企業(yè)各種角色關(guān)系的分析和管理需要。 （2）像人類思考一樣去做分析 基于知識(shí)圖譜的交互探索式分析，可以模擬人的思考過(guò)程去發(fā)現(xiàn)、求證、推理，業(yè)務(wù)人員自己就可以完成全部過(guò)程，不需要專業(yè)人員的協(xié)助。 （3）知識(shí)學(xué)習(xí) 利用交互式機(jī)器學(xué)習(xí)技術(shù)，支持根據(jù)推理、糾錯(cuò)、標(biāo)注等交互動(dòng)作的學(xué)習(xí)功能，不斷沉淀知識(shí)邏輯和模型，提高系統(tǒng)智能性，將知識(shí)沉淀在企業(yè)內(nèi)部，降低對(duì)經(jīng)驗(yàn)的依賴。 （4）高速反饋 圖式的數(shù)據(jù)存儲(chǔ)方式，相比傳統(tǒng)存儲(chǔ)方式，數(shù)據(jù)調(diào)取速度更快，圖庫(kù)可計(jì)算超過(guò)百萬(wàn)潛在的實(shí)體的屬性分布，可實(shí)現(xiàn)秒級(jí)返回結(jié)果，真正實(shí)現(xiàn)人機(jī)互動(dòng)的實(shí)時(shí)響應(yīng)，讓用戶可以做到即時(shí)決策。 五、知識(shí)圖譜的主要技術(shù) 5.1 知識(shí)建模 知識(shí)建模，即為知識(shí)和數(shù)據(jù)進(jìn)行抽象建模，主要包括以下5個(gè)步驟：
從不同來(lái)源、不同結(jié)構(gòu)的數(shù)據(jù)中進(jìn)行知識(shí)提取，形成知識(shí)存入到知識(shí)圖譜，這一過(guò)程我們稱為知識(shí)獲取。針對(duì)不同種類的數(shù)據(jù)，我們會(huì)利用不同的技術(shù)進(jìn)行提取。 從結(jié)構(gòu)化數(shù)據(jù)庫(kù)中獲取知識(shí)：D2R。 難點(diǎn)：復(fù)雜表數(shù)據(jù)的處理。 從鏈接數(shù)據(jù)中獲取知識(shí)：圖映射。 難點(diǎn)：數(shù)據(jù)對(duì)齊。 從半結(jié)構(gòu)化（網(wǎng)站）數(shù)據(jù)中獲取知識(shí)：使用包裝器。 難點(diǎn)：方便的包裝器定義方法，包裝器自動(dòng)生成、更新與維護(hù)。 從文本中獲取知識(shí)：信息抽取。 難點(diǎn)：結(jié)果的準(zhǔn)確率與覆蓋率。 5.3 知識(shí)融合 如果知識(shí)圖譜的數(shù)據(jù)源來(lái)自不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)源，在系統(tǒng)已經(jīng)從不同的數(shù)據(jù)源把不同結(jié)構(gòu)的數(shù)據(jù)提取知識(shí)之后，接下來(lái)要做的是把它們?nèi)诤铣梢粋€(gè)統(tǒng)一的知識(shí)圖譜，這時(shí)候需要用到知識(shí)融合的技術(shù)（如果知識(shí)圖譜的數(shù)據(jù)結(jié)構(gòu)均為結(jié)構(gòu)化數(shù)據(jù)，或某種單一模式的數(shù)據(jù)結(jié)構(gòu)，則無(wú)需用到知識(shí)融合技術(shù)）。 知識(shí)融合主要分為數(shù)據(jù)模式層融合和數(shù)據(jù)層融合，分別用的技術(shù)如下：
由于行業(yè)知識(shí)圖譜的數(shù)據(jù)模式通常采用自頂向下（由專家創(chuàng)建）和自底向上（從現(xiàn)有的行業(yè)標(biāo)準(zhǔn)轉(zhuǎn)化，從現(xiàn)有高質(zhì)量數(shù)據(jù)源（如百科）轉(zhuǎn)化）結(jié)合的方式，在模式層基本都經(jīng)過(guò)人工的校驗(yàn)，保證了可靠性，因此，知識(shí)融合的關(guān)鍵任務(wù)在數(shù)據(jù)層的融合。 5.4 知識(shí)存儲(chǔ) 圖譜的數(shù)據(jù)存儲(chǔ)既需要完成基本的數(shù)據(jù)存儲(chǔ)，同時(shí)也要能支持上層的知識(shí)推理、知識(shí)快速查詢、圖實(shí)時(shí)計(jì)算等應(yīng)用，因此需要存儲(chǔ)以下信息：三元組（由開(kāi)始節(jié)點(diǎn)、關(guān)系、結(jié)束節(jié)點(diǎn)三個(gè)元素組成）知識(shí)的存儲(chǔ)、事件信息的存儲(chǔ)、時(shí)態(tài)信息的存儲(chǔ)、使用知識(shí)圖譜組織的數(shù)據(jù)的存儲(chǔ)。 其關(guān)鍵技術(shù)和難點(diǎn)就在于：
知識(shí)計(jì)算主要是在知識(shí)圖譜中知識(shí)和數(shù)據(jù)的基礎(chǔ)上，通過(guò)各種算法，發(fā)現(xiàn)其中顯式的或隱含的知識(shí)、模式或規(guī)則等，知識(shí)計(jì)算的范疇非常大，這里主要講三個(gè)方面：
知識(shí)圖譜之上的圖挖掘和計(jì)算主要分以下6類：
目前兩個(gè)比較常見(jiàn)的可視化工具是：D3.js和ECharts。
知識(shí)圖譜的應(yīng)用場(chǎng)景很多，除了問(wèn)答、搜索和個(gè)性化推薦外，在不同行業(yè)不同領(lǐng)域也有廣泛應(yīng)用，以下列舉幾個(gè)目前比較常見(jiàn)的應(yīng)用場(chǎng)景。 6.1 信用卡申請(qǐng)反欺詐圖譜 6.1.1 欺詐手法 銀行信用卡的申請(qǐng)欺詐包括個(gè)人欺詐、團(tuán)伙欺詐、中介包裝、偽冒資料等，是指申請(qǐng)者使用本人身份或他人身份或編造、偽造虛假身份進(jìn)行申請(qǐng)信用卡、申請(qǐng)貸款、透支欺詐等欺詐行為。 欺詐者一般會(huì)共用合法聯(lián)系人的一部分信息，如電話號(hào)碼、聯(lián)系地址、聯(lián)系人手機(jī)號(hào)等，并通過(guò)它們的不同組合創(chuàng)建多個(gè)合成身份。比如：3個(gè)人僅通過(guò)共用電話和地址兩個(gè)信息，可以合成9個(gè)假名身份，每個(gè)合成身份假設(shè)有5個(gè)賬戶，總共約45個(gè)賬戶。假設(shè)每個(gè)賬戶的信用等級(jí)為20000元，那么銀行的損失可能高達(dá)900000元。 由于擁有共用的信息，欺詐者通過(guò)這些信息構(gòu)成欺詐環(huán)。 一開(kāi)始，欺詐環(huán)中的賬戶使用正常，欺詐者會(huì)進(jìn)行正常的購(gòu)買、支付和還款行為，這種行為稱為“養(yǎng)卡”。“養(yǎng)卡”了一段時(shí)間后，信用額度會(huì)有所增加，隨著時(shí)間推移會(huì)增長(zhǎng)到一個(gè)讓欺詐者相對(duì)“滿意”的額度。 突然有一天欺詐環(huán)“消失”了，環(huán)內(nèi)成員都最大化地使用完信用額度后跑路了。 6.1.2 知識(shí)圖譜解決信用卡申請(qǐng)反欺詐問(wèn)題 使用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，來(lái)揭露欺詐環(huán)需要技術(shù)人員執(zhí)行一系列的復(fù)雜連接和自連接，而且查詢構(gòu)建起來(lái)非常復(fù)雜，查詢效率低、速度慢且成本高。 知識(shí)圖譜產(chǎn)品利用圖數(shù)據(jù)庫(kù)的天然優(yōu)勢(shì)，直接將銀行欺詐環(huán)節(jié)可能涉及的所有有用的數(shù)據(jù)字段：如申請(qǐng)?zhí)枴①~戶、身份證、手機(jī)、地址、家庭電話、聯(lián)系人、設(shè)備指紋等設(shè)計(jì)成圖譜的節(jié)點(diǎn)，定義好圖譜所需的所有節(jié)點(diǎn)和節(jié)點(diǎn)屬性后，定義兩兩節(jié)點(diǎn)間的關(guān)系。 如：申請(qǐng)?zhí)柟?jié)點(diǎn)與設(shè)備指紋節(jié)點(diǎn)相連構(gòu)成“申請(qǐng)?jiān)O(shè)備”關(guān)系，人節(jié)點(diǎn)與地址節(jié)點(diǎn)相連構(gòu)成“申請(qǐng)人地址”關(guān)系。 根據(jù)業(yè)務(wù)上設(shè)計(jì)好的圖譜進(jìn)行建圖，建圖后，用戶可以直接在關(guān)聯(lián)圖譜平臺(tái)上，輸入某個(gè)節(jié)點(diǎn)值查詢節(jié)點(diǎn)的關(guān)聯(lián)信息，如：輸入某個(gè)黑手機(jī)號(hào)，看其關(guān)聯(lián)5層范圍內(nèi)的涉及到的申請(qǐng)人信息，看該節(jié)點(diǎn)是否與其他節(jié)點(diǎn)關(guān)聯(lián)成欺詐環(huán)，看節(jié)點(diǎn)與歷史的黑節(jié)點(diǎn)間是否有過(guò)關(guān)聯(lián)等等。 用戶可借助知識(shí)圖譜產(chǎn)品，在貸前防御風(fēng)險(xiǎn)，貸中進(jìn)行關(guān)聯(lián)分析找出可疑點(diǎn)，控制風(fēng)險(xiǎn)，貸后進(jìn)行風(fēng)險(xiǎn)把關(guān)，讓損失降到最低。 6.2 企業(yè)知識(shí)圖譜 目前金融證券領(lǐng)域，應(yīng)用主要側(cè)重于企業(yè)知識(shí)圖譜。企業(yè)數(shù)據(jù)包括：企業(yè)基礎(chǔ)數(shù)據(jù)、投資關(guān)系、任職關(guān)系、企業(yè)專利數(shù)據(jù)、企業(yè)招投標(biāo)數(shù)據(jù)、企業(yè)招聘數(shù)據(jù)、企業(yè)訴訟數(shù)據(jù)、企業(yè)失信數(shù)據(jù)、企業(yè)新聞數(shù)據(jù)等。 利用知識(shí)圖譜融合以上企業(yè)數(shù)據(jù)，可以構(gòu)建企業(yè)知識(shí)圖譜，并在企業(yè)知識(shí)圖譜之上利用圖譜的特性，針對(duì)金融業(yè)務(wù)場(chǎng)景有一系列的圖譜應(yīng)用，舉例如下： （1）企業(yè)風(fēng)險(xiǎn)評(píng)估 基于企業(yè)的基礎(chǔ)信息、投資關(guān)系、訴訟、失信等多維度關(guān)聯(lián)數(shù)據(jù)，利用圖計(jì)算等方法構(gòu)建科學(xué)、嚴(yán)謹(jǐn)?shù)钠髽I(yè)風(fēng)險(xiǎn)評(píng)估體系，有效規(guī)避潛在的經(jīng)營(yíng)風(fēng)險(xiǎn)與資金風(fēng)險(xiǎn)。 （2）企業(yè)社交圖譜查詢 基于投資、任職、專利、招投標(biāo)、涉訴關(guān)系以目標(biāo)企業(yè)為核心向外層層擴(kuò)散，形成一個(gè)網(wǎng)絡(luò)關(guān)系圖，直觀立體展現(xiàn)企業(yè)關(guān)聯(lián)。 （3）企業(yè)最終控制人查詢 基于股權(quán)投資關(guān)系尋找持股比例最大的股東，最終追溯至某自然人或國(guó)有資產(chǎn)管理部門。 （4）企業(yè)之間路徑發(fā)現(xiàn) 在基于股權(quán)、任職、專利、招投標(biāo)、涉訴等關(guān)系形成的網(wǎng)絡(luò)關(guān)系中，查詢企業(yè)之間的最短關(guān)系路徑，衡量企業(yè)之間的聯(lián)系密切度。 （5）初創(chuàng)企業(yè)融資發(fā)展歷程 基于企業(yè)知識(shí)圖譜中的投融資事件發(fā)生的時(shí)間順序，記錄企業(yè)的融資發(fā)展歷程。 （6）上市企業(yè)智能問(wèn)答 用戶可以通過(guò)輸入自然語(yǔ)言問(wèn)題，系統(tǒng)直接給出用戶想要的答案。 6.3 交易知識(shí)圖譜 金融交易知識(shí)圖譜在企業(yè)知識(shí)圖譜之上，增加交易客戶數(shù)據(jù)、客戶之間的關(guān)系數(shù)據(jù)以及交易行為數(shù)據(jù)等，利用圖挖掘技術(shù)，包括很多業(yè)務(wù)相關(guān)的規(guī)則，來(lái)分析實(shí)體與實(shí)體之間的關(guān)聯(lián)關(guān)系，最終形成金融領(lǐng)域的交易知識(shí)圖譜。 在銀行交易反欺詐方面，可以從從身份證，手機(jī)號(hào)、設(shè)備指紋、IP等多重維度對(duì)持卡人的歷史交易信息進(jìn)行自動(dòng)化關(guān)聯(lián)分析，關(guān)聯(lián)分析出可疑人員和可疑交易。 6.4 反洗錢知識(shí)圖譜 對(duì)于反洗錢或電信詐騙場(chǎng)景，知識(shí)圖譜可精準(zhǔn)追蹤卡卡間的交易路徑，從源頭的賬戶/卡號(hào)/商戶等關(guān)聯(lián)至最后收款方，識(shí)別洗錢/套現(xiàn)路徑和可疑人員，并通過(guò)可疑人員的交易軌跡，層層關(guān)聯(lián)，分析得到更多可疑人員、賬戶、商戶或卡號(hào)等實(shí)體。 6.5 信貸/消費(fèi)貸知識(shí)圖譜 對(duì)于互聯(lián)網(wǎng)信貸、消費(fèi)貸、小額現(xiàn)金貸等場(chǎng)景，知識(shí)圖譜可從身份證、手機(jī)號(hào)、緊急聯(lián)系人手機(jī)號(hào)、設(shè)備指紋、家庭地址、辦公地址、IP等多重維度對(duì)申請(qǐng)人的申請(qǐng)信息，進(jìn)行自動(dòng)化關(guān)聯(lián)分析，通過(guò)關(guān)系關(guān)系并結(jié)合規(guī)則，識(shí)別圖中異常信息，有效判別申請(qǐng)人信息真實(shí)性和可靠性。 6.6 內(nèi)控知識(shí)圖譜 在內(nèi)控場(chǎng)景的經(jīng)典案例里，中介人員通過(guò)制造或利用對(duì)方信息的不對(duì)稱，將企業(yè)存款從銀行偷偷轉(zhuǎn)移，在企業(yè)負(fù)責(zé)人不知情的情況下，中介已把企業(yè)存在銀行的全部存款轉(zhuǎn)移并消失不見(jiàn)。通過(guò)建立企業(yè)知識(shí)圖譜，可將信息實(shí)時(shí)互通，發(fā)現(xiàn)一些隱藏信息，尋找欺詐漏洞，找出資金流向。 什么是關(guān)聯(lián)圖譜？ 作者：Amy，公眾號(hào)：Amy的風(fēng)控產(chǎn)品記（Amy_fkcpj），旨在與同行交流關(guān)聯(lián)圖譜（知識(shí)圖譜）和風(fēng)控領(lǐng)域產(chǎn)品。 本文由 @Amy 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載 |
- 關(guān)注天氣:
