arxiv.org なにかのタイミングで著者のTwitterを見てICLR2022通ったところから見ました。 Excited to share that we have released 170+ pretrained transformer checkpoints of many different shape & sizes as part of our #ICLR2022 paper on "Scaling T…

arxiv.org Sentence Embeddingを得る時、普通のBERTをFine-tuningなしで使うと全然使い物にならず、GloVeにも劣るとのこと。 自分もちょっと試した時全然ダメでした。 なので、テンプレートを用意したりdenoiseすると良いよ！という感じです。 具体的には、"…

arxiv.org 韓国の方々？のようですが日本語のQuestion Answering(QA)のデータセットの論文です。 論文中にもありますが、QAの日本語はドライブデータしかないっぽいので大変ありがたい。 論文中では東北大学のbert-base-japanese(Unidicの方)でFine-tuningし…