【中國直郵】I READING愛閱讀 知識圖譜:方法、實踐與應用

編輯推薦

知識圖譜方法。系統性闡述知識圖譜的發展歷史與基本概念，整理知識圖譜全生命週期技術，建立方法論思維。

知識圖譜實踐。囊括知識表示與建模、知識儲存、知識擷取與挖掘、知識融合、知識推理、語意搜尋、知識問答等，系統性介紹知識圖譜技術。各章節提供典型開源工具實作案例，提供相關工具、實驗數據及完整的操作說明。

知識圖譜應用。結合電商、圖情、生活娛樂、企業商業、創投、中醫臨床、金融等實際應用場景，詳細介紹領域知識圖譜的建構方法。

內容簡介

知識圖譜是較為典型的多學科交叉領域，涉及知識工程、自然語言處理、機器學習、圖資料庫等多個領域。 《知識圖譜：方法、實踐與應用》系統地介紹知識圖譜涉及的關鍵技術，如知識建模、關係抽取、圖存儲、自動推理、圖譜表示學習、語義搜尋、知識問答、圖挖掘分析等。此外，本書也嘗試將學術前沿和實戰結合，讓讀者在掌握實際應用能力的同時對前沿技術發展有所了解。

《知識圖譜：方法、實踐與應用》既適合電腦和人工智慧相關的研究人員閱讀，又適合在企業一線從事技術和應用開發的人員學習，還可作為高等院校電腦或人工智慧專業師生的參考教材。

作者簡介

王昊奮，上海交通大學電腦博士。中文知識圖譜zhishi.me創辦人、OpenKG發起人之一、CCF理事、CCF術語審定工委主任、CCF TF執委、中文資訊學會語言與知識計算專委會副秘書長、上海交通大學校友會AI分會秘書長。在知識圖譜、問答系統和聊天機器人等許多領域有豐富的研發經驗。

漆桂林，東南大學電腦學院教授、東南大學認知智能研究所所長、南京柯基資料科技有限公司首席科學家、OpenKG發起人之一、中國中文資訊學會語言與知識計算專業委員會副主任、中國科學技術情報學會知識組織專業委員會副主任、愛思唯爾（Elsevier）資料管理顧問委員會顧問、國際期刊Journal of Data Intelligence 執行主編。科學研究成果在電力故障智慧偵測和知識推播、醫藥知識問答及網路安全態勢感知系統等領域得到了實際應用。

陳華鈞，浙江大學計算機科學與技術學院教授。浙江大學阿里巴巴知識引擎聯合實驗室負責人、浙江省大數據智慧計算重點實驗室副主任、中國人工智慧學會知識工程與分佈智慧專業委員會副主任委員、中國中文資訊學會語言與知識計算專業委員會副主任委員、OpenKG發起人。曾獲國際語意網會議ISWC*佳論文獎。

精彩書評

這是一本系統性介紹知識圖譜發展歷史、技術體系與應用實務的書籍，無論是對研究學者或是相關企業的工程師，都是一本不錯的參考書。本質而言，知識圖譜旨在從資料中識別、發現和推斷事物之間的複雜關係，是事物關係的可計算模型。知識圖譜代表萬維網發展的理想，也是人工智慧與網際網路深度融合的產物。書中的內容基本上涵蓋了目前知識圖譜的各方面研究和工程進展，非常適合從事這個領域工作的年輕人閱讀。

周明

國際計算語言學學會（ACL）會長，微軟亞洲研究院副院長

人類已進入人工智慧時代。所謂「智」指的是智慧，表現為知識；「能」指的是解決問題的能力，主要表現為基於知識的推理能力和運用知識解決問題的能力。因此，知識是智慧的基礎和核心，知識的建模、表示、獲取、整合、推理、賦能等是人工智慧及其相關應用的核心科學問題，而知識圖譜則是其有效的技術實現手段。三位青年學者在知識圖譜領域耕耘多年，無論是在科學研究，或是在技術開發和產業落地方面，都做了大量的工作，有著豐富的實戰經驗和心得體會。在本書中，三位青年學者將知識圖譜涉及的各個技術面做了詳細的總結、介紹和展望，涵蓋了知識圖譜全生命週期中的各個環節和各項細節。

在人工智慧時代，這是一本非常實用的有關知識圖譜的技術參考書，也可作為高年級本科生和研究生的教科書。

張民

蘇州大學特聘教授，國家傑出青年基金會得主，人類語言技術研究所所長

知識圖譜有許多落地場景，包括語意搜尋、個人化推薦、內容理解、個人助理、智慧問答，並在諸如金融、醫療、客服、教育和政務等垂直領域都有工業級應用。從產業界的角度來看，我們更關注知識圖譜技術在落地的時候能否滿足使用者需求，是否有比較良好的使用者體驗。本書的內容不僅有理論和演算法，還包括了許多技術落地的實踐和應用案例，可以幫助工程師在進行技術選型、嘗試技術實現過程中少走彎路，快速上手。此外，本書的主要作者都是OpenKG的發起人和核心參與人員，具有豐富的理論知識和第一線實務經驗。同時，開放域知識圖譜的建構對於推動各領域的圖譜應用都具有重要意義。因此，我非常高興能將這本書以及OpenKG介紹給更多來自工業界的朋友們。

崔寶秋

小米集團副總裁，集團技術委員會主席

目錄

第1章知識圖譜概述1

1.1 什麼是知識圖譜1

1.2 知識圖譜的發展歷史2

1.3 知識圖譜的價值5

1.4 國內外典型的知識圖譜計畫9

1.4.1 早期的知識庫計畫9

1.4.2 網路時代的知識圖譜9

1.4.3 中文開放知識圖譜12

1.4.4 垂直領域知識圖譜13

1.5 知識圖譜的技術流程15

1.6 知識圖譜的相關技術19

1.6.1 知識圖譜與資料庫系統19

1.6.2 知識圖譜與智能問答23

1.6.3 知識圖譜與機器推理25

1.6.4 知識圖譜與推薦系統28

1.6.5 區塊鏈與去中心化的知識圖譜29

1.7 本章小結30

參考文獻31

第2章知識圖譜表示與建模40

2.1 什麼是知識表示40

2.2 人工智慧早期的知識表示方法43

2.2.1 一階謂詞邏輯43

2.2.2 霍恩子句與霍恩邏輯43

2.2.3 語意網路44

2.2.4 框架45

2.2.5 描述邏輯47

2.3 網路時代的語意網知識表示框架48

2.3.1 RDF和RDFS 48

2.3.2 OWL和OWL2 Fragments 53

2.3.3 知識圖譜查詢語言的表示59

2.3.4 語意Markup表示語言62

2.4 常見開放域知識圖譜的知識表示方法64

2.4.1 Freebase 64

2.4.2 Wikidata 65

2.4.3 ConceptNet5 66

2.5 知識圖譜的向量表示方法68

2.5.1 知識圖譜表示的挑戰68

2.5.2 詞的向量表示法68

2.5.3 知識圖譜嵌入的概念71

2.5.4 知識圖譜嵌入的優點72

2.5.5 知識圖譜嵌入的主要方法72

2.5.6 知識圖譜嵌入的應用75

2.6 開源工具實踐：基於Protégé的本體知識建模77

2.6.1 簡介77

2.6.2 環境準備78

2.6.3 Protégé實踐主要功能展示78

2.7 本章小結80

參考文獻80

第3章知識存儲82

3.1 知識圖譜資料庫基本知識82

3.1.1 知識圖譜資料模型82

3.1.2 知識圖譜查詢語言85

3.2 常見知識圖譜儲存方法91

3.2.1 基於關聯式資料庫的儲存方案91

3.2.2 面向RDF的三元組資料庫101

3.2.3 原生圖資料庫115

3.2.4 知識圖譜資料庫比較120

3.3 知識儲存關鍵技術121

3.3.1 知識圖譜資料庫的儲存：以Neo4j為例121

3.3.2 知識圖譜資料庫的索引124

3.4 開源工具實踐126

3.4.1 三元組資料庫Apache Jena 126

3.4.2 面向RDF的三元組資料庫gStore 128

參考文獻131

第4章知識抽取與知識挖掘133

4.1 知識抽取任務及相關競賽133

4.1.1 知識抽取任務定義133

4.1.2 知識抽取相關競賽134

4.2 面向非結構化資料的知識抽取136

4.2.1 實體抽取137

4.2.2 關係抽取142

4.2.3 事件抽取150

4.3 面向結構化資料的知識抽取154

4.3.1 直接映射154

4.3.2 R2RML 156

4.3.3 相關工具159

4.4 面向半結構化資料的知識抽取161

4.4.1 百科全書類資料的知識擷取161

4.4.2 面向Web網頁的知識抽取165

4.5 知識挖掘168

4.5.1 知識內容挖掘：實體連結168

4.5.2 知識結構挖掘：規則挖掘174

4.6 開源工具實踐：基於DeepDive的關係抽取實務178

4.6.1 開源工具的技術架構178

4.6.2 其他類似工具180

參考文獻180

第5章知識圖譜融合184

5.1 什麼是知識圖譜融合184

5.2 知識圖譜中的異構問題185

5.2.1 語言層不符186

5.2.2 模型層不符187

5.3 本體概念層的融合方法與技術190

5.3.1 本體映射與本體整合190

5.3.2 本體映射分類192

5.3.3 本體映射方法與工具195

5.3.4 本體映射管理232

5.3.5 本體映射應用235

5.4 實例層的融合與匹配236

5.4.1 知識圖譜中的實例匹配問題分析236

5.4.2 基於快速相似度計算的實例匹配方法240

5.4.3 基於規則的實例匹配方法241

5.4.4 基於分治的實例匹配方法244

5.4.5 基於學習的實例匹配方法260

5.4.6 實例匹配中的分散式並行處理266

5.5 開源工具實踐：實體關係發現架構LIMES 266

5.5.1 簡介266

5.5.2 開源工具的技術架構267

5.5.3 其他類似工具269

5.6 本章小結269

參考文獻269

第6章知識圖譜推理279

6.1 推理概述279

6.1.1 什麼是推理279

6.1.2 知識圖譜的推理282

6.2 基於演繹的知識圖譜推理283

6.2.1 本體推理283

6.2.2 基於邏輯程式設計的推理方法288

6.2.3 基於查詢重寫的方法295

6.2.4 基於產生式規則的方法301

6.3 基於歸納的知識圖譜推理306

6.3.1 基於圖結構的推理306

6.3.2 基於規則學習的推理313

6.3.3 基於表示學習的推理318

6.4 知識圖譜推理新進展324

6.4.1 時序預測推理324

6.4.2 基於強化學習的知識圖譜推理325

6.4.3 基於元學習的少樣本知識圖譜推理326

6.4.4 圖神經網路與知識圖譜推理326

6.5 開源工具實踐：基於Jena和Drools的知識推理實踐327

6.5.1 開源工具簡介327

6.5.2 開源工具的技術架構327

6.5.3 開發軟體版本及其下載位址328

6.5.4 基於Jena的知識推理實踐328

6.5.5 基於Drools的知識推理實踐329

6.6 本章小結329

參考文獻330

第7章語意搜尋334

7.1 語意搜尋簡介334

7.2 結構化的查詢語言336

7.2.1 資料查詢338

7.2.2 資料插入341

7.2.3 資料刪除341

7.3 語意資料搜尋342

7.4 語意搜尋的互動範式348

7.4.1 基於關鍵字的知識圖譜語意搜尋方法348

7.4.2 基於分面的知識圖譜語意搜尋350

7.4.3 基於表示學習的知識圖譜語意搜尋352

7.5 開源工具實踐355

7.5.1 功能介紹355

7.5.2 環境建置及資料準備357

7.5.3 資料準備357

7.5.4 導入Elasticsearch 360

7.5.5 功能實現361

7.5.6 執行查詢363

參考文獻364

第8章知識問答366

8.1 知識問答概述366

8.1.1 知識問答的基本要素366

8.1.2 知識問答的相關工作367

8.1.3 知識問答應用場景369

8.2 知識問答的分類體系371

8.2.1 問題類型與答案類型371

8.2.2 知識庫類型374

8.2.3 智能體類型375

8.3 知識問答系統376

8.3.1 NLIDB：早期的問答系統376

8.3.2 IRQA：基於資訊檢索的問答系統380

8.3.3 KBQA：基於知識庫的問答系統380

8.3.4 CommunityQA/FAQ-QA：基於問答配對的問答系統381

8.3.5 Hybrid QA Framework 混合問答系統架構382

8.4 知識問答的評估方法386

8.4.1 問答系統的評估指標386

8.4.2 問答系統的評估資料集387

8.5 KBQA前沿技術392

8.5.1 KBQA面臨的挑戰392

8.5.2 基於模板的方法394

8.5.3 基於語意解析的方法398

8.5.4 基於深度學習的傳統問答模組優化401

8.5.5 基於深度學習的端對端問答模型405

8.6 開源工具實踐406

8.6.1 使用Elasticsearch建構簡單知識問答系統406

8.6.2 基於gAnswer建構中英文知識問答系統410

8.7 本章小結415

參考文獻416

第9章知識圖譜應用案例420

9.1 領域知識圖譜建構的技術流程420

9.1.1 領域知識建模421

9.1.2 知識儲存422

9.1.3 知識抽取422

9.1.4 知識融合423

9.1.5 知識計算423

9.1.6 知識應用424

9.2 領域知識圖譜建構的基本方法425

9.2.1 自頂向下的建造方法425

9.2.2 自底向上的建造方法426

9.3 領域知識圖譜的應用案例428

9.3.1 電商知識圖譜的建構與應用428

9.3.2 圖情知識圖譜的建構與應用431

9.3.3 生活娛樂知識圖譜的建構與應用：以美團為例435

9.3.4 企業商業知識圖譜的建構與應用440

9.3.5 創投知識圖譜的建構與應用443

9.3.6 中醫臨床領域知識圖譜的建構與應用448

9.3.7 金融證券產業知識圖譜應用實務452

9.4 本章小結460

參考文獻461

前言/序言

序

知識圖譜是人工智慧的一個分支，對可解釋人工智慧具有重要作用。近幾年，隨著知識表示和機器學習等技術的發展，知識圖譜相關技術取得了突破性的進展，特別是知識圖譜的建構、推理和計算技術以及知識服務技術，都得到了快速的發展。這些技術的進步使知識圖譜在工業界受到了廣泛關注，並取得了顯著成果。谷歌、微軟、百度等網路公司率先建立了大規模通用知識圖譜，提供基於實體和關係的語義搜索，可以更好地理解用戶查詢。知識圖譜在智慧決策系統、推薦系統和智慧問答系統中也扮演了重要角色。知識圖譜不僅有巨大的應用價值，而且具有重要的理論價值。知識圖譜使傳統知識表示和推理技術有了落腳點，也為知識表示和推理帶來了新的挑戰。

本書系統介紹了知識圖譜的理論、技術及應用。在理論方面，本書全面介紹了知識圖譜的各種表示方法，以及知識圖譜的推理方法，這些方法是知識圖譜的根基。在技​​術方面，本書全面介紹了知識圖譜的儲存和查詢技術、挖掘建構、知識融合技術，以及基於知識圖譜的語意搜尋和智慧問答技術。在應用方面，本書全面地介紹了知識圖譜在工業界的典型應用場景，為知識圖譜的發展提供了養分。目前，關於知識圖譜的專業書籍還比較缺乏，本書將為廣大知識圖譜研究人員和應用人員帶來福音。

本書作者們都是在知識圖譜的研究和產業應用方面有豐富經驗的專家和學者，很好地融合了知識圖譜的學術研究和產業化實踐，相信本書的出版對於知識圖譜技術的普及和發展會產生非常正面的作用。

前言

知識圖譜的早期概念源自於萬維網之父Tim Berners-Lee關於語意網（The Semantic Web）的設想，旨在採用圖結構（Graph Structure）來建模和記錄世界萬物之間的關聯關係和知識，以便有效實現更精準的物件級搜尋。知識圖譜的相關技術已在搜尋引擎、智慧問答、語言理解、推薦計算、大數據決策分析等眾多領域中廣泛的實際應用。近年來，隨著自然語言處理、深度學習、圖資料處理等眾多領域的快速發展，知識圖譜在自動化知識獲取、知識表示學習與推理、大規模圖挖掘與分析等領域又取得了許多新進展。知識圖譜已成為實現認知層面的人工智慧不可或缺的重要技術之一。

為什麼寫作本書

知識圖譜是較為典型的交叉領域，涉及知識工程、自然語言處理、機器學習、圖資料庫等多個領域。而知識圖譜的建構及應用涉及更多細分領域的一系列關鍵技術，包括：知識建模、關係抽取、圖存儲、自動推理、圖譜表示學習、語意搜尋、智慧問答、圖計算分析等。做好知識圖譜需要係統掌握和應用這些分屬多個領域的技術。

本書寫作的第一個目的是盡可能地整理和組織這些知識點，幫助讀者係統掌握相關技術，能夠從整體、全局和系統的角度看待和應用知識圖譜技術。早期的知識圖譜應用主要是Google、百度等公司的通用域搜尋引擎，以及基於搜尋延續發展出來的基於知識圖譜的智慧問答應用，如天貓精靈、小米小愛等。這類應用主要依賴通用領域的知識圖譜，如百科全書知識圖譜。近年來，知識圖譜在醫療、金融、安全等垂直領域深入發展，知識圖譜的應用也進一步從通用領域向越來越多的垂直領域擴展。對於剛進入該領域的從業人員，更需要能從應用程式入手，進行知識圖譜的研究與發展。

本書寫作的第二個目的是希望能為這些知識圖譜應用開發人員提供一本參考型的工具書。因此，本書在章節最後安排了一個小節介紹相關技術點的常用開源工具，並在與本書配套的網站上提供了完整的實際操作教程。

近幾年，隨著人工智慧的進一步發展，知識圖譜在深度知識抽取、表示學習與機器推理、基於知識的可解釋性人工智慧、圖譜挖掘與圖神經網路等領域取得了一系列新的進展。本書寫作的第三個目的是希望整理和整理這些與知識圖譜相關領域的最新進展，幫助讀者了解它們的技術發展前沿。

關於本書作者

本書邀請了國內從事相關領域研究發展的第一線專家。三位主編都在語意網和知識圖譜領域有著十餘年的研究和開發經驗，同時也是中文領域開放知識圖譜OpenKG的發起人。每個章節由各細分技術領域的專家主持撰寫，參與編寫的編者既有來自國內高校從事相關學術研究的教師，也有來自企業擁有豐富實際開發經驗的技術專家。

本書主要內容

本書共包括9章，主要內容如下：

第1章主要介紹知識圖譜的基本概念、歷史淵源、典型的知識圖譜專案、技術要素、核心應用價值。

第2章圍繞著知識表示與建模，首先介紹傳統人工智慧領域的典型知識表示方法，如謂詞邏輯、描述邏輯、框架系統等，接下來將重點介紹RDF、OWL等網路時代的知識表示框架，此外還介紹知識圖譜的向量表示方法等。最後以Protégé為例介紹知識建模的具體實踐過程。

第3章圍繞著知識存儲，首先介紹知識圖譜儲存的主要特點和困難，然後介紹幾種常用的知識圖譜儲存索引及儲存技術，並對原生圖資料庫的技術原理進行簡要介紹。此外，也概要介紹常用的圖資料庫，並以Apache Jena和gStore為例介紹知識圖譜儲存的具體實作流程。

第4章圍繞著知識抽取與知識挖掘，首先介紹從不同來源獲取知識圖譜資料的常用方法，然後重點圍繞實體抽取、關係抽取和事件抽取等，對從文本中獲取知識圖譜資料的方法展開了較為具體的介紹。最後以DeepDive開源工具為例介紹關係抽取​​的具體實作過程。

第5章圍繞著知識圖譜的融合，分別對概念層的融合和實體層的融合展開介紹，包括本體映射、語意映射技術、實體對齊、實體連結等。最後以LIMES開源工具為例介紹實體融合的具體實踐過程。

第6章圍繞著知識圖譜推理，首先介紹推理的基本概念，然後分別從基於演繹邏輯的知識圖譜推理和基於歸納的知識圖譜推理，對常用的知識圖譜推理技術進行介紹。最後以Apache Jena和Drools等開源工具為例介紹知識圖譜推理的具體實作過程。

第7章和第8章分別圍繞語義搜尋和知識問答展開，介紹語意索引、基於知識圖譜的問答等系列技術，並以gAnswer等開源工具為例，介紹基於知識圖譜實現精準搜尋和問答的具體實踐過程。

第9章為應用案例章節，作者挑選了電商、圖情、生活娛樂、企業商業、創投、中醫臨床領域和金融證券行業7個應用案例，對知識圖譜技術在不同領域的實現過程和應用方法展開介紹。

如何閱讀本書

這是一本大厚書，讀者該怎麼利用這本書呢？

在閱讀此書前，讀者應學過資料庫、機器學習及自然語言處理的基本知識。這本書的章節是依據知識圖譜的相關技術點來安排的。由於知識圖譜涉及的技術面較多，我們建議剛進入知識圖譜領域的讀者分幾遍閱讀本書。

 第一遍先通讀全書，主要釐清基本概念，對涉及學術前沿的內容以及開源工具實踐部分的內容可以只簡單瀏覽。

 第二遍重點在於每個章節後面的開源工具進行實作學習，透過上手操作加深對各技術點的理解。

 第三遍針對各章所介紹的演算法進行學習，並結合相關論文的閱讀加深對演​​算法的理解。在這個階段可以挑選自己感興趣的技術點進行深入研究。

在撰寫本書時，編者考慮了各章節技術點的獨立性，對知識圖譜的某些技術已經有些了解的讀者，可以不用嚴格按照書的章節順序閱讀，而是挑選自己感興趣的章節進行學習。

致謝

本書是許多人共同努力的成果，在此感謝各位編者的共同努力。同時，在本書寫作過程中，北京大學的鄒磊，湖南大學的彭鵬，海知智能的袁熙昊、韓廬山、王燚鵬、孫勝男、郭玉婷，東南大學的吳桐桐、譚亦鳴、花雲程、胡森，浙江大學的張文、王冠穎、王若旭、陳名楊、王梁、葉志權等人也提供了非常有價值的調查結果和修改意見，在此表示衷心的感謝。

在電子工業出版社博文視點宋亞東編輯的熱情推動下，最終促成了我們與電子工業出版社的合作。在審稿過程中，他多次邀請專家對此書提出有益意見，對書稿的修改完善起到了重要作用。在此感謝電子工業出版社博文視點和宋亞東編輯對本書的重視，以及為本書出版所做的一切。

為推動中文領域開放知識圖譜的發展，本書的作者們一致同意將部分稿酬捐贈給OpenKG。在此，也對參與本書的所有作者的無私奉獻表示感謝。

由於作者程度有限，書中不足及錯誤之處在所難免。此外，由於知識圖譜技術涉及面廣，本書難免有所遺漏，請專家和讀者給予批評指正。

作者

2019年7月