lawrefbook / laws Goto Github PK

View Code? Open in Web Editor NEW

1.4K 1.4K 226.0 40.39 MB

Python 92.73% Shell 7.27%

laws's People

Contributors

Stargazers

Watchers

Forkers

snipersteve byoungd soullose liuxiao677 kiss2u imlzg yushi111 alleniver 460130107 lslin zhufacai honpery hhhaiai coloraven darkmi cookliu itfanr machinabase jinqueeny lism shinny-hongyan udbmnm luomor-ai lcx0cd xiangyu-fang jasonwu123 lierscn789 loutussun taozywu microhello metanoia1989 zhangxt brightpath zhangliuliu qcmuu lstmmnt aeweadserr mari1995 weykon henryhesz jszzwen fat-ugly-man huangweiboy2 liuhaidong iamleon121 petercao xonge laugz ripingit evolost lgsxiaosen jiewuzhan bat007 cikirt igophper donmusking harry7756 makefile-github mela93 ansnid playth whitesmell 05ttxx saccohuo hhy5277 allensmile stawary curryjames1 hackers365 erberry wizwj gyuanlou ctg168 mint-vip jimhackking kris-chan nlicroshan renakeji yl365 liuzh-fork woshizilong ivmym zealotce xiaosaaaa zyqgithub1 oembug zazs12 zhazhafon china-data xiaojay b08240 wingliling ylfeng250 laoqisilo sansom zuozihan anuxs lawyer0756 azad-aihub fushun1990

laws's Issues

如何控制只爬取增量法典，即指定一个时间戳，只爬取时间戳之后的法典

现在是全量爬取还是根据时间戳增量爬取的法典？如果是增量爬取，是在哪里通过时间戳控制的？

request.py的使用方法，在readme是否没说清楚，请问cate.txt文件的作用是什么？

报错如下：
Traceback (most recent call last):
File "E:\Laws-master\scripts\request.py", line 233, in
main()
File "E:\Laws-master\scripts\request.py", line 197, in main
req = LawParser()
File "E:\Laws-master\scripts\request.py", line 51, in init
self.__init()
File "E:\Laws-master\scripts\request.py", line 55, in __init
with open("./cate.txt", "r") as f:
FileNotFoundError: [Errno 2] No such file or directory: './cate.txt'

添加最高人民法院关于适用《中华人民共和国民法典》合同编通则若干问题的解释

https://www.court.gov.cn/fabu/xiangqing/419382.html

请问laws的sql地址能私发一下吗？

关于增加repo更新日志的建议

是否能有一个 update_log.json，结构化地记录该repo每次维护时新增、废止、修改过的法律文件，包括其目录。
这样可以方便代码增量处理一些数据。比如做机器人问答，需要定时更新一下，但是全量做embedding会很痛啊~
git log 虽然可以做，但是解析起来还是不太方便的。

request法律拆分

想请问一下request里面法律数据处理部分，我需要怎么才能debug进入req.parse_file(args[0], args[1])里面？还有处理的数据格式是什么样子的呢？

建议增加消防法及消防相关法律法规

如题

cache/out路径中的.md文件，如何自动导入不同的法律效力位阶的文件夹？代码里面好像没有这个逻辑，手动复制粘贴吗？

看了一下代码，只有remove的逻辑，是去【当前工作目录的上一级目录以及其子目录】检查是否有重复文件，有重复文件就从__cache__/out路径中删除重复文件，但是好像没有将非重复文件移动到对应的法律效力位阶文件夹的逻辑？

官网搜索功能点击没反应https://lawrefbook.github.io/

在本地运行脚本遇到问题

报错：2024-01-02 15:03:31,538:DEBUG:parsing 中华人民共和国公司法
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/15526420544a4ad18df391c0d8a88a6b.docx not exists
2024-01-02 15:03:32,180:ERROR:parsing 中华人民共和国公司法 error
2024-01-02 15:03:33,383:DEBUG:parsing 中华人民共和国粮食安全保障法
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/0bbd8205d3174aa4a0bb86dca7ed5d3d.docx not exists
2024-01-02 15:03:33,426:ERROR:parsing 中华人民共和国粮食安全保障法 error
2024-01-02 15:03:34,732:DEBUG:parsing 中华人民共和国刑法修正案（十二）
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/2640f79d1b524fd2ad20535352365be4.docx not exists
2024-01-02 15:03:34,774:ERROR:parsing 中华人民共和国刑法修正案（十二） error
2024-01-02 15:03:35,995:DEBUG:parsing 中华人民共和国爱国主义教育法
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/924d7f3d723f49df9669c3af0760df5e.docx not exists
2024-01-02 15:03:36,054:ERROR:parsing 中华人民共和国爱国主义教育法 error

法条有效性筛选

你好，请问一下，代码筛选的法典实效性状态是【有效】+【已修改】吗，有些法，同时存在有效和已修改状态，会导致爬到两部同名法典

同样的情况还有：反间谍法、体育法等。

http连接异常，超时，重试最大次数

TimeoutError: [Errno 110] Connection timed out
urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPSConnection object at 0x7f86f5915d00>: Failed to establish a new connection: [Errno 110] Connection timed out
File "/opt/conda/lib/python3.8/site-packages/urllib3/util/retry.py", line 515, in increment
raise MaxRetryError(pool, url, reason) from reason # type: ignore[arg-type]
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='flk.npc.gov.cn', port=443): Max retries exceeded with url: /api/?xlwj=02&xlwj=03&xlwj=04&xlwj=05&xlwj=06&xlwj=07&xlwj=08&searchType=title%3Baccurate%3B1%2C3&sortTr=f_bbrq_s%3Bdesc&gbrqStart=&gbrqEnd=&sxrqStart=&sxrqEnd=&sort=true&page=1&size=10&=1704176175335 (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f86f5915d00>: Failed to establish a new connection: [Errno 110] Connection timed out'))