以前BERTやELECTRAを日本語で事前学習するリポジトリを作った (https://github.com/retarfi/language-pretraining)のだが、 その際に参考にしたtransoformersのversionは4.7.2だった。 v4.7.2では、DataCollatorForWholeWordMaskの実装が間違っていたため、…