実践自然言語処理

本リポジトリはオライリー・ジャパン発行書籍『実践自然言語処理』のサポートサイトです。

サンプルコード

各章ごとにノートブックを用意しています。また、それぞれのノートブックはGoogle Colaboratoryを使いブラウザで実行できます。

ライセンス

MIT

正誤表

まだありません。誤植など間違いを見つけた方は、[email protected]までお知らせください。

practical-nlp-ja's People

Contributors

Stargazers

Watchers

practical-nlp-ja's Issues

appendix/ner_demo fails due to the changed path of '*.ne.conllu'

日本語で失礼します。

appendix/ner_demo サンプルがそのままでは動きません。
これは、megagonlabs/UD_Japanese-GSD 側の変更 "move *.ne.conllu to spacy/" のおかげで、project.ymlが想定するデータのパスが適切でなくなったからです。

泥縄ですが以下のように対処してみています。

mkdir ner_demo/corpus/spacy
project.yml のうち 2か所を修正

*** practical-nlp-ja/appendix/ner_demo/project.yml      2022-10-07 16:50:37.995070000 +0900
--- ./project.yml       2022-10-07 16:41:36.203605000 +0900
***************
*** 5,13 ****
  vars:
    name: "ner_demo"
    lang: "ja"
!   train: "ja_gsd-ud-train.ne"
!   dev: "ja_gsd-ud-dev.ne"
!   test: "ja_gsd-ud-test.ne"
    version: "0.0.1"
    # Set your GPU ID, -1 is CPU
    gpu_id: -1
--- 5,13 ----
  vars:
    name: "ner_demo"
    lang: "ja"
!   train: "spacy/ja_gsd-ud-train.ne"
!   dev: "spacy/ja_gsd-ud-dev.ne"
!   test: "spacy/ja_gsd-ud-test.ne"
    version: "0.0.1"
    # Set your GPU ID, -1 is CPU
    gpu_id: -1
***************
*** 53,65 ****
    - name: "convert"
      help: "データセットをspaCyのバイナリ形式へ変換"
      script:
!       - "python -m spacy convert assets/${vars.train}.conllu corpus
                  --converter conllu
                  --n-sents 10"
!       - "python -m spacy convert assets/${vars.dev}.conllu corpus
                  --converter conllu
                  --n-sents 10"
!       - "python -m spacy convert assets/${vars.test}.conllu corpus
                  --converter conllu
                  --n-sents 10"
      deps:
--- 53,65 ----
    - name: "convert"
      help: "データセットをspaCyのバイナリ形式へ変換"
      script:
!       - "python -m spacy convert assets/${vars.train}.conllu corpus/spacy
                  --converter conllu
                  --n-sents 10"
!       - "python -m spacy convert assets/${vars.dev}.conllu corpus/spacy
                  --converter conllu
                  --n-sents 10"
!       - "python -m spacy convert assets/${vars.test}.conllu corpus/spacy
                  --converter conllu
                  --n-sents 10"
      deps: