lawrefbook / laws Goto Github PK

帮忙看看下面这个是不是本项目的？之前能看到这样的汇总信息，现在看不到了

现在是全量爬取还是根据时间戳增量爬取的法典？如果是增量爬取，是在哪里通过时间戳控制的？

你好，请问一下，代码筛选的法典实效性状态是【有效】+【已修改】吗，有些法，同时存在有效和已修改状态，会导致爬到两部同名法典

同样的情况还有：反间谍法、体育法等。

报错：2024-01-02 15:03:31,538:DEBUG:parsing 中华人民共和国公司法
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/15526420544a4ad18df391c0d8a88a6b.docx not exists
2024-01-02 15:03:32,180:ERROR:parsing 中华人民共和国公司法 error
2024-01-02 15:03:33,383:DEBUG:parsing 中华人民共和国粮食安全保障法
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/0bbd8205d3174aa4a0bb86dca7ed5d3d.docx not exists
2024-01-02 15:03:33,426:ERROR:parsing 中华人民共和国粮食安全保障法 error
2024-01-02 15:03:34,732:DEBUG:parsing 中华人民共和国刑法修正案（十二）
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/2640f79d1b524fd2ad20535352365be4.docx not exists
2024-01-02 15:03:34,774:ERROR:parsing 中华人民共和国刑法修正案（十二） error
2024-01-02 15:03:35,995:DEBUG:parsing 中华人民共和国爱国主义教育法
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>
document /flfg/WORD/924d7f3d723f49df9669c3af0760df5e.docx not exists
2024-01-02 15:03:36,054:ERROR:parsing 中华人民共和国爱国主义教育法 error

报错如下：
Traceback (most recent call last):
File "E:\Laws-master\scripts\request.py", line 233, in
main()
File "E:\Laws-master\scripts\request.py", line 197, in main
req = LawParser()
File "E:\Laws-master\scripts\request.py", line 51, in init
self.__init()
File "E:\Laws-master\scripts\request.py", line 55, in __init
with open("./cate.txt", "r") as f:
FileNotFoundError: [Errno 2] No such file or directory: './cate.txt'

看了一下代码，只有remove的逻辑，是去【当前工作目录的上一级目录以及其子目录】检查是否有重复文件，有重复文件就从__cache__/out路径中删除重复文件，但是好像没有将非重复文件移动到对应的法律效力位阶文件夹的逻辑？

https://www.court.gov.cn/fabu/xiangqing/419382.html

是否能有一个 update_log.json，结构化地记录该repo每次维护时新增、废止、修改过的法律文件，包括其目录。
这样可以方便代码增量处理一些数据。比如做机器人问答，需要定时更新一下，但是全量做embedding会很痛啊~
git log 虽然可以做，但是解析起来还是不太方便的。

TimeoutError: [Errno 110] Connection timed out
urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPSConnection object at 0x7f86f5915d00>: Failed to establish a new connection: [Errno 110] Connection timed out
File "/opt/conda/lib/python3.8/site-packages/urllib3/util/retry.py", line 515, in increment
raise MaxRetryError(pool, url, reason) from reason # type: ignore[arg-type]
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='flk.npc.gov.cn', port=443): Max retries exceeded with url: /api/?xlwj=02&xlwj=03&xlwj=04&xlwj=05&xlwj=06&xlwj=07&xlwj=08&searchType=title%3Baccurate%3B1%2C3&sortTr=f_bbrq_s%3Bdesc&gbrqStart=&gbrqEnd=&sxrqStart=&sxrqEnd=&sort=true&page=1&size=10&=1704176175335 (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f86f5915d00>: Failed to establish a new connection: [Errno 110] Connection timed out'))

想请问一下request里面法律数据处理部分，我需要怎么才能debug进入req.parse_file(args[0], args[1])里面？还有处理的数据格式是什么样子的呢？

如题