基于Intel开源的hyperscan实现的GO版本的一个服务， 取名ladon(拉冬)，希腊神话中表示百头巨龙。给定一行文本，能够从海量的正则表达式中快速查询出命中了哪些正则，还可以返回该正则附加的一些数据。下方有简单的性能压测，5W个正则，匹配上只需要1ms.
使用这个服务,如果你能维护足够完善的正则数据，就能实现一个 伪智能AI，可以理解你的各种语义,然后去做对应的处理。当然，具体能玩成什么样子，就看大家发挥了.
例如，给出一个正则文本: 第一列是唯一id, 第二列是正则表达式, 第三列是附加数据
1 ^[你|叫|什么|的|是]*名字[你|叫|什么|的|是]*$ {"type:"name", "user":"you"}
2 ^[唱|一首|来]*歌[曲|吧|啊]*$ {"type":"song", "name":"random"}
3 ^[唱|一首|来]*东风破[的|歌|歌曲|吧|啊]*$ {"type":"song", "name":"东风破"}
./gohs-ladon --filepath=patterns/pattern2.txt
[2017-12-20T06:50:50Z] Hs-service 0.0.1 Running on 0.0.0.0:8080curl "http://127.0.0.1:8080/?q=你叫什么名字"
返回json,表明命中了第一条正则，并返回了正则文件中的附加数据
{
"Errno": 0,
"Msg": "",
"Data": [
{
"Id": 1,
"From": 0,
"To": 18,
"Flags": 0,
"Context": "你叫什么名字",
"RegexLinev": {
"Expr": "^[你|叫|什么|的|是]*名字[你|叫|什么|的|是]*$",
"Data": "{\"type:\"name\", \"user\":\"you\"}"
}
}
]
}
比如pttern3.txt中是随机生成了50000个邮箱地址，作为正则表达式,邮箱中的点就表示任意一个字符，所以也算是比较简单的正则了。
49991 [email protected] teststring
49992 [email protected] teststring
49993 [email protected] teststring
49994 [email protected] teststring
49995 [email protected] teststring
49996 [email protected] teststring
49997 [email protected] teststring
49998 [email protected] teststring
49999 [email protected] teststring
50000 [email protected] teststring
比如这条结果，就是一个正则匹配的结果.
以10并发压10w次，得到的结果如下:
可以看到，平均响应时间只有1ms，这还基本都是网络开销，正则查找本身其实只有几十µs。
该库使用需要安装hyperscan的类库，安装步骤比较繁琐，可以参考我hyperscan的一个Docker镜像的Dockerfile进行安装。
如果有Docker环境的话，git clone代码后，可以在代码根目录下直接执行make build，就会将编译完的二进制放在代码根目录下了。
使用./gohs-ladon -h可以查看帮助文档.
$ ./gohs-ladon -h
Gohs-ladon Service 0.0.1
Usage:
gohs-ladon [flags]
Flags:
--debug Enable debug mode (default false)
--filepath string Dict file path
--flag string Regex Flag (default "iou")
-h, --help help for gohs-ladon
--port int Listen port (default 8080)
- 增加动态加载字典逻辑。自动检测，当字典文件发生变化时，进行自动build.
- 完善英文Readme
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent