Albert for long text about albert-mongolian HOT 5 CLOSED

Танитай холбогдох гэсэн юмаа email хаяг юмуу facebook -ээр холбогдож болох уу? Email хаяг болон Facebook хаягаа өгөөч please

from albert-mongolian.

@ganbaaelmer

1. Fine-tune хийж болно, энэ хэсгийг хараарай LINK TO EXPERIMENTS
2. Яг одоогийнхоор бол 512 оос урт бол шууд 512 оор нь таслаад оруулж байгаа. stride-тайгаар олон таслаад оролт болгож оруулж болно. Гэхдээ ямар таск дээр гэдгээс хамаарах байх.
3. Одоохондоо тийм төлөвлөгөө байхгүй байна. Transformer_XL ямар таск дээр сургая гэж бодож байгаа вэ?

Танитай холбогдох гэсэн юмаа email хаяг юмуу facebook -ээр холбогдож болох уу? Email хаяг болон Facebook хаягаа өгөөч please

Холбогдож болно болно. Facebook хаяг

from albert-mongolian.

2. Урт хэмжээний текст орж ирэнгүүд ялгах гэж байгаа юм.
   10н төрлийн гаралттай байна
   Жишээ нь эдийн засаг хууль улс төр гэдэг ч юмуу
   Гол нь оруулж сургах текст болон ялгах текст маань 512-с урт учир яаж шийдхээ мэдэхгүй байна.
   Энгэж хийсэн жишээ код байна уу
   Github ч юмуу өөрийн тань хийж байсан код байвал харж суралцаж өөрчилж хийх гэсэн юм.
   Баярлалаа
3. Урт хэмжээний текст ангилхад Бэрт маань хангалтгүй гэж бодож байна. Transformer XL дээр сургасан загвар байвал ирээдүйд Монголчуудад маань хэрэгтэй юм боловуу гэж бодлоо.

from albert-mongolian.

1. https://github.com/bayartsogt-ya/ml-tutorials/blob/master/ALBERT_Mongolian_text_classification.ipynb уг линк устсан бололтой.

from albert-mongolian.

@ganbaaelmer

1. Энэ линкийг шалгаад өгөх үү? https://github.com/bayartsogt-ya/albert-mongolian/blob/master/ALBERT_Mongolian_text_classification.ipynb
2. Урт текстийг бүхэлд ялгана гэдэг өөрөө нилээн амаргүй таск санагдаж байна. Өмнөх линк дээр eduge датасет дээр мэдээг ялгасан жишээ байгаа. Эхний 512 оор таслахад дажгүй үр дүнтэй санагдсан.
3. Яг auto-encoder гэдэг утгаараа тухайн текст ороод ирэнгүүт вектор болгох чадварыг нь ашиглах (semi-supervised) mongolian-bert болон albert-mongolian -ий гол зорилго байгаа. Transformer XL-ийг хэрхэн сургах, цаашлаад тэр хэмжээний модель сургах дата байгаа юу гэдэг дээр энд discussion хийгээд явцгаая гэж бодож байна.

from albert-mongolian.