自然言語処理
Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL2023)で気になった論文とそのメモ。 Pre-trained Language Models Can be Fully Zero-Shot Learners Multi-CLS BERT: An Efficient Alternative to Tradition…
本記事はDeep Learning 論文 Advent Calendar 2022の15日目です。 本記事では以下の論文について書きたいと思います。 ※ 2022/12/16 式(2)が誤っていたため更新しました。 arxiv.org はじめに V1 Disentangled Attention Enhanced Mask Decoder 事前学習とそ…
久々にWikipediaのdumpファイルを処理しようとWikiExtractorを動かそうとしたのですが、 GitHubからcloneしただけでは動かず。 zenn.dev ここにあるように、詳しくは調査していませんがPythonを3.7にしたら動きました。 それより大事なこととして、初期状態…
arxiv.org なにかのタイミングで著者のTwitterを見てICLR2022通ったところから見ました。 Excited to share that we have released 170+ pretrained transformer checkpoints of many different shape & sizes as part of our #ICLR2022 paper on "Scaling T…
arxiv.org Sentence Embeddingを得る時、普通のBERTをFine-tuningなしで使うと全然使い物にならず、GloVeにも劣るとのこと。 自分もちょっと試した時全然ダメでした。 なので、テンプレートを用意したりdenoiseすると良いよ！という感じです。 具体的には、"…
arxiv.org 韓国の方々？のようですが日本語のQuestion Answering(QA)のデータセットの論文です。 論文中にもありますが、QAの日本語はドライブデータしかないっぽいので大変ありがたい。 論文中では東北大学のbert-base-japanese(Unidicの方)でFine-tuningし…
