GPT 바이트 수준 BPE 병합 우선순위 about nlpbook HOT 2 CLOSED

@JulieOnIsland 님, 질문 주셔서 감사드립니다. 결론만 말씀드리면 문자 기준 BPE를 수행하든, 바이트 기준 BPE를 하든, 수행 대상만 달라졌을 뿐 본질은 같습니다.

45쪽에 소개한 내용은 문자 기준의 BPE입니다. 두 개씩 묶어서 병합합니다. 예컨대 다음과 같습니다.

• a, b, c, d, e
• a, b, cd, e
• a, bcd, e

위의 예시를 보면 c와 d가 병합되었고, 그다음은 b와 cd가 병합되었습니다. 다시 말해 서로 병합되는 문자 길이가 다양합니다.

55쪽에 소개한 내용은 바이트 기준 BPE입니다. 이 역시 두 개씩 묶어서 병합합니다. 예컨대 다음과 같습니다.

• ì, ķ, Ī, ë, ħ
• ì, ķ, Īë, ħ
• ì, ķĪë, ħ

위의 예시를 보면 Ī와 ë가 병합되었고, 그다음은 ķ와 Īë가 병합되었습니다. 이 역시 서로 병합되는 문자 길이가 다양합니다.

from nlpbook.

@ratsgo 답변 감사합니다! :-)

from nlpbook.