badicsalex / hun_law_py Goto Github PK

Tools for parsing hungarian legal documents

License: GNU General Public License v3.0

Shell 0.23% Python 99.29% CSS 0.48%

hun_law_py's Introduction

⚠️ WARNING
This project has been deprecated in favor of the Rust version, and is currently unmaintained.

Hun-Law

A small project for parsing Hungarian Law. It does the following thigs:

Parse PDF files into lines using pdfminer. It does so much more accurately than other pdf2txt implementations.
Parse "Magyar Közlöny" PDFs into individual Acts
Separate Acts into structural elements (Articles, subpoints, etc.)
Parse internal and external references in legal text
Parse special phrases like amendments and repeals into easy-to-use objects
Generate simple TXT, JSON and HTML version of the parsed documents

Usage

After cloning the repository, simply run ./generate_output.py:

./generate_output.py txt 2013/31
./generate_output.py json 2018/123 --output-dir /tmp/acts_as_json

Interesting Magyar Közlöny issues can be found in act_to_mk_issue.csv

To be able to actually use html output, you will have to copy or symlink the style.css:

./generate_output.py html 2014/91 2014/92 2014/93 --output-dir /var/www/hun_law
cp style.css /var/www/hun_law

Things planned:

Export into Akoma Ntoso format
Export into epub or mobi format

Contribution

Feel free to open issues for feature reqests or found bugs. Merge Requests are more than welcome too, as long as all tests and static analysis passes.

hun_law_py's People

Contributors

Stargazers

Watchers

Forkers

shakahl

hun_law_py's Issues

Amendment when only intro is amended

The following is not parsed correctly as an amendment:
Az adózás rendjéről szóló 2003. évi XCII. törvény (a továbbiakban: Art.) 31. § (2) bekezdés bevezető szövegrésze helyébe a következő rendelkezés lép:

(in 2013. évi XLI. törvény, article 4, paragraph 1)

EUTv. abbreviation

"Az Európai Unió tagállamaival folytatott bűnügyi együttműködésről szóló 2012. évi CLXXX. törvény (a továbbiakban: EUtv.) 3. §-a a következő (6) bekezdéssel egészül ki:",

Parse subtitle references (grammar part)

To actually do something about #2, the BA grammar has to be enhanced to support subtitles, both as a reference and as a replaced part.

Examples:
"A Btk. XX. Fejezete a következő alcímmel és 212/A. §-sal kiegészülve lép hatályba:"
"A Btk. 349. §-a és a megelőző alcím helyébe a következő rendelkezés és alcím lép:"
"A Btk. a 300. §-t megelőzően a következő alcímmel egészül ki:"
"A Btk. XXVII. Fejezete a következő alcímmel és 300/A. §-sal egészül ki:"
"A Btk. Terrorcselekmény alcíme a következő 316/A. §-sal egészül ki:"
"A Btk. Terrorizmus finanszírozása alcíme a következő 318/A. és 318/B. §-sal egészül ki:"
"A Btk. a 404. §-t követően a következő alcímmel és 404/A. §-sal kiegészülve lép hatályba:"
"A Btk. a következő 226/A. §-sal és az azt megelőző alcímmel egészül ki:"
"A Btk. „Új pszichoaktív anyaggal visszaélés” alcíme a következő 184/A–184/D. §-sal egészül ki:"
"A Btk. XXIV. Fejezete a következő alcímmel és 261/A. §-sal egészül ki:"
"A Btk. 388/A. §-a és az azt megelőző alcím helyébe a következő alcím és rendelkezés lép:"
"A Btk. a következő 352/A–C. §-sal és az azokat megelőző alcímekkel egészül ki:"
"A Btk. a következő alcímmel és 410/A. §-sal egészül ki:"
"A Btk. 411. §-át megelőző alcím címe és 411. §-a helyébe a következő rendelkezés lép:"
"A Btk. IX. Fejezete a 92/A. §-t követően a következő alcímmel egészül ki:"
"A Btk. 83. §-t megelőző alcím helyébe a következő alcím lép:"
"A Btk. a 124. §-t követően a következő alcímmel és 124/A. §-sal egészül ki:"

Parse text part amendments

Amendments when only part of the text is replaced should actually be parsed (#2)

Parse effective dates

Since the effective date of most acts is rather complex, it should be parsed, not just manually entered, if we want to achieve "current" status correctly for all possible dates.

Reference pair to range conversion in BlockAmendment grammar

Sub-issue of #2: The following pairs should be converted to ranges, just like in "normal" references:
"A Btk. 279. § (1) és (2) bekezdése helyébe a következő rendelkezések lépnek:"
"A Btk. 92. § (3) és (4) bekezdése helyébe a következő rendelkezések lépnek:"

To actually support the following, the whole "next id" logic has to be rewritten tho:
"A Btk. 283. § (2) és (2a) bekezdése helyébe a következő rendelkezések lépnek:"

Parse structural elements in BlockAmendment parse step

To support #2, after doing #4, the structure has to be parsed too. Probably by reusing the Act body parser.

Create a permanent archive of available MK issues

In case they decide to make it harder to get, or outright unavailable.

MNB Tv. abbreviation

Parse repeals (grammar)

Repeals should actually be parsed (#2)

Parse all of Ptk and its amendments

2013/31 -- 2013. évi V. törvény,A Polgári Törvénykönyvről

Block amendments:

Textual amendments:

2013/222 -- 2013. évi CCLII. törvény,Egyes törvényeknek az új Polgári Törvénykönyv hatálybalépésével összefüggő módosításáról
2016/90 -- 2016. évi LXXVII. törvény,A Polgári Törvénykönyvről szóló 2013. évi V. törvénymódosításáról
2017/74 -- 2017. évi L. törvény,Az általános közigazgatási rendtartásról szóló törvényés a közigazgatási perrendtartásról szóló törvényhatálybalépésével összefüggő egyes törvények módosításáról
2017/182 -- 2017. évi CXXXVI. törvény,Az ügyvédi tevékenységről szóló 2017. évi LXXVIII. törvényhatálybalépésével összefüggő egyes törvények és egyéb igazságügyi tárgyú törvények módosításáról
2019/120 -- 2019. évi LXVII. törvény,A hosszú távú részvényesi szerepvállalás ösztönzéséről és egyes törvények jogharmonizációs célú módosításáról

Repeals:

2013/222 -- 2013. évi CCLII. törvény,Egyes törvényeknek az új Polgári Törvénykönyv hatálybalépésével összefüggő módosításáról
2016/39 -- 2016. évi IX. törvény,A behajtási költségátalányról
2016/90 -- 2016. évi LXXVII. törvény,A Polgári Törvénykönyvről szóló 2013. évi V. törvénymódosításáról
2018/123 -- 2018. évi LIV. törvény,Az üzleti titok védelméről
2019/120 -- 2019. évi LXVII. törvény,A hosszú távú részvényesi szerepvállalás ösztönzéséről és egyes törvények jogharmonizációs célú módosításáról

Note: 11/2014. (IV. 4.) AB határozat does not change anything

test, requirements

.venv/bin/pip install attr

was needed for me. This should be in requirements.txt, I guess.

./generate_output.py json 2013/31

did not work for me.

.venv/bin/python3 generate_output.py json 2013/31

did work instead.
(Maybe because I run create_venv.sh while miniconda was activated and the default python remained miniconda's somehow.)

Parse all of Btk and its amendments

The following should be parsed without remaining raw Indented Lines. Text part amendments should also be all parsed into metadata.

2012/92 -- 2012. évi C. törvény,A Büntető Törvénykönyvről

Block Amendments:

Textual amendments:

Repeals:
együttműködést szabályozó törvények, és ehhez kapcsolódóan más törvények jogharmonizációs célú módosításáról"

2013/101 -- 2013. évi LXXXIX. törvény,A választási eljárásról szóló 2013. évi XXXVI. törvénymódosításáról
2013/218 -- 2013. évi CCXLV. törvény,Egyes törvényeknek a gyermekek védelme érdekében történőmódosításáról
2015/84 -- 2015. évi LXXVI. törvény,Egyes büntetőjogi tárgyú törvények módosításáról
2016/159 -- 2016. évi CIII. törvény,"Az európai uniós és a nemzetközi bűnügyi együttműködést szabályozó törvények, valamint egyes büntetőjogi tárgyú törvények jogharmonizációs célú módosításáról"
2017/69 -- 2017. évi XXXIX. törvény,"Az európai uniós és a nemzetközi bűnügyi
2017/166 -- 2017. évi CXX. törvény,A használati minták oltalmára vonatkozó szabályozás módosításáról"
2017/216 -- 2017. évi CXCVII. törvény,A büntetőeljárásról szóló 2017. évi XC. törvényhatálybalépésével összefüggő egyes törvények módosításáról
2018/207 -- 2018. évi CXVIII. törvény,"Egyes egészségügyi és egészségbiztosítási tárgyú, valamint az egészségüggyel összefüggő egyes törvények módosításáról"
2018/207 -- 2018. évi CXXII. törvény,Egyes büntetőjogi tárgyú és más kapcsolódó törvények módosításáról

Rewrite next_identifier to support multiple possible "next" values

To actually do the harder part of #5, the next_identifier detection has to be rewritten to either return multiple values, or to be a "check" instead of a "return".

The test data there:
"A Btk. 283. § (2) és (2a) bekezdése helyébe a következő rendelkezések lépnek:"

Debug html output

There should be a new output format, called debug_html in generate_output.py

It should be the same (with the same backend, really) as the "generic" html output, but with added coloring and stuff to show parsing results.

The following code changes are necessary:
A new choice here: https://github.com/badicsalex/hun_law/blob/master/hun_law/cli.py#L51
A new classmethod named output_debug_html() (since it is automagically called by https://github.com/badicsalex/hun_law/blob/master/hun_law/cli.py#L100 ), that also just calls generate_html_for_act, but with a new debug=True parameter

From this point, it gets harder, since propagating this variable through all of the generators sounds like pain. For now maybe it would be easier to conditionally link a new stylesheet ( https://github.com/badicsalex/hun_law/blob/master/hun_law/output/html.py#L231 ) called style_debug.css, and use some special definitions for CSS classes (like .has_metadata) , and then we would unconditionally use these classes during generation. This way the non-debug version would look the same, but with the debug version, things would be colored and styled differently.