System for Constructing and Visualizing Knowledge Graph

[TOC]

功能

知识图谱项目创建
知识图谱可视化定义
- 节点创建、编辑、删除
- 关系创建、编辑、删除
知识图谱布局编辑
- 力导向图模式
- 排版模式
- 自由模式
- 支持不同布局下的独立调整及持久化
知识图谱导出
- 导出为png
- 导出为xml（可用于创建）
知识图谱问答（食谱领域）
关系查询
节点查询
中心识别
- neo4j page rank

演示效果见用户手册

启动相关见部署文档

总体架构

服务端设计

在服务端，分为知识图谱服务和智能应用服务两个微服务

知识图谱服务：包括用户管理、项目管理、图谱管理、微服务管理四个模块，主要负责知识图谱定义部分，使用 Spring Boot 搭建，是前端调用的总入口。

智能应用服务：提供知识图谱智能问答的算法支持，作为微服务，请求由知识图谱服务统一转发。

知识图谱服务

用户管理模块

用户管理模块主要负责授权、认证，核心技术使用了

对称加密与非对称加密
Spring Security

微服务调用模块

微服务调用模块，但由于在系统中仅有两个微服务，且为异构的服务（分别基于 Java 和 Python），这里并没有引入 Spring Cloud 作为微服务的框架，而是借用其**自己实现了服务的注册、发现与调用。

配置文件：

# python微服务
pyserver:
  url: http://127.0.0.1:5000

服务调用

在服务调用上，使用RestTemplate进行统一的转发
服务发现

在服务发现上，使用心跳机制来与微服务通信。

在 Flask 服务中，提供接口/health 返回微服务状态

在 Spring Boot 服务中，启动一个线程对该接口进行监听，如果发现微服务异常，则对所有将转发到 Flask 服务的请求进行熔断。

Helper模块

helper模块用于根据用户的自然语言，找到符合条件的项目

项目管理模块

项目管理中，很多数据的是读多写少的，在这里引入 Spring Cache 进行缓存管理。

图谱管理模块

图谱管理模块中，持久层的使用方案如下：

MySQL：存储布局信息
Neo4j：存储图节点、关系信息
Redis：缓存及图id生成

智能应用服务设计

图谱构建

我们从美食天下中爬取了每菜系的100种菜谱，根据菜谱名字的规律，进行了数据清洗，并导入到neo4j数据库中。

清洗后并导出的数据已放在/load/export文件夹下，导入neo4j的流程如下

进入到neo4j文件夹，cd /opt/neo4j-community-3.5.28
将/load/export下的文件拷贝到imports目录中
bin/stop 停止服务
rm -rf data/databases/graph.db/ 删除原数据（注意备份有用数据！）
bin/neo4j-admin import --nodes=import/caixi.csv --nodes=import/shicai.csv --nodes=import/caipu.csv --relationships=import/belong.csv --relationships=import/zhushicai.csv --relationships=import/fuliao.csv --multiline-fields=true 导入
bin/start 启动服务

由于数据类型的原因，需要进行id的类型转换

 match ()-[r]->() set r.relationId=toInteger(r.relationId) return r;
 match (n) set n.nodeId=toInteger(n.nodeId) return n;

KBQA

问题类型设计

问题类型	中文含义	问题举例
food_query✔	查询菜谱属性	烤肠怎么做
food_constraint✔	查询符合约束的菜	微辣的炒菜有哪些
desc_recipe ✔	描述菜谱	红烧肉
desc_cuisine ✔	描述菜系	闽菜
desc_material ✔	描述食材	五花肉
ingredients✔	食材查询	红烧肉用什么做
ingredients_prime✔	主食材查询	红烧肉的主食材是什么
ingredients_sub✔	辅料查询	红烧肉的辅料是什么
ingredients_num✔	查询所需食材的量	红烧肉要用多少五花肉
ingredients_include✔	某个菜是否用了某个东西	红烧肉要用五花肉吗？
food_belong✔	查询菜的菜系	红烧肉属于什么菜系？
cuisine_food✔	查询菜系有哪些菜	闽菜有哪些美食？
cuisine_query ✔	查询菜系	有哪些菜系的菜
unknown✔	不知道	我帅吗

注：food_query实际上分为：

food_query_zuofa
food_query_kouwei
food_query_gongyi
food_query_leixing
food_query_kouwei

回答设计

无法识别问题：抱歉，小助手听不懂您的问题。
找不到答案：抱歉，小助手暂时无法回答您的问题。

Centrality Algorithm

使用 neo4j-gds 自带的中心算法，这里选用 Page Rank 进行实现

数据库设计

数据库	存储内容
MySQL	存储布局信息
Neo4j	存储图节点、关系信息
Redis	缓存及图id生成

前端设计

前端整体架构

页面主要模块
- 用户入口 User：登录/注册
- 主页 Home：用户项目管理、其他模块入口
- 知识图谱展示 Graph：知识图谱的展示、编辑、导出
- 图谱智能助手 SmartHelper：图谱问答、实体/关系查询、中心识别
页面核心中间件、三方库工具
- 前端开发框架基础 Vue
- 页面路由 Vue Router
- 全局状态管理 Vuex
- 页面样式组件库 ElementUI
- 图谱可视化 D3
- 数据统计可视化 EChart
- 智能助手问答页面 JwChat

图谱页面设计

核心模块
- 图谱展示核心 GraphBoard
- 图谱操作面板 GraphEditor
  - 图谱搜索 GraphEditorSearch
  - 实体/关系的新增、修改、删除、细节查看 GraphEditorItem
  - 图谱数据统计 GraphStatistics
- 侧边操作栏 GraphSideBar
  - 布局模式、布局保存/恢复 GraphLayout
  - 新增实体/关系、图谱缩放重置、图谱导出 GraphAction
  - 智能服务
  - 项目设置

图谱页面数据流

事件驱动模型
- 由 GraphBoard 保存核心图数据
- 其他模块引用图数据进行展示
- 其他模块向 GraphBoard 发起事件修改视图

详细设计模块

底层代码模块划分
- api 后端交互封装
- assets 静态资源(图片)
- common 全局共用模块
- views 主要视图
- modules 主要视图模块
- router 页面路由
- store 全局状态管理

视图模块细节

每个主要视图在 modules/ 下拥有一个包、每个包包含下列结构
- components 子视图/组件
- utils 视图内部工具函数
- store 视图内共享全局数据

后端交互封装

APIDispatcher 后端 API 封装成内部 DSL
对后端接口进行划分并分别向 APIDispatcher 进行注册

透过 axios 接口对后端请求/响应进行拦截

实际调用形式：使用统一 APIDispatcher 进行转发

cpaulyz / co-in Goto Github PK

co-in's Introduction