Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL2022)で気になった論文とそのメモ。 途中で句点変わっちゃってますがメモなので。。。 Training Data is More Valuable than You Think: A Simple and Effect…
Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL2023)で気になった論文とそのメモ。 Pre-trained Language Models Can be Fully Zero-Shot Learners Multi-CLS BERT: An Efficient Alternative to Tradition…
サクラマチクマモト内 熊本ラーメン 黒亭 桜町熊本城前店 tabelog.com 肉食堂よかよか サクラマチ店 あか牛，熊本のお肉です． 2000円弱 tabelog.com 天草 牛深丸 SAKURA MACHI店 回転寿司 1000-2000円 tabelog.com 寿司 じじや サクラマチクマモト店 寿司 1…
本記事はDeep Learning 論文 Advent Calendar 2022の15日目です。 本記事では以下の論文について書きたいと思います。 ※ 2022/12/16 式(2)が誤っていたため更新しました。 arxiv.org はじめに V1 Disentangled Attention Enhanced Mask Decoder 事前学習とそ…
はじめに 本記事は社会人学生 Advent Calendar 2022の6日目の記事です。 Advent Calendarに参加するのは初めてなので、お手柔らかに見ていただけますと幸いです。 本記事では、新卒で入社した年に社会人博士(以下社D)として入学した者としての経緯や実感を述…
事前学習関連で色々試していたらHuggingFaceのtransformersとDeepSpeedのIntegrationでうまくいかないところがあった。 具体的には、transformers.TrainerとDeepSpeedを同時に使っていて、さらにgraidient_accumulation_stepsが1でない場合に、transformers.…
以前BERTやELECTRAを日本語で事前学習するリポジトリを作った (https://github.com/retarfi/language-pretraining)のだが、 その際に参考にしたtransoformersのversionは4.7.2だった。 v4.7.2では、DataCollatorForWholeWordMaskの実装が間違っていたため、…
ゴルフを始めてあまり経っていない人とラウンドに行く機会が増えました。 ゴルフ場を予約するときに気になってきたのが、コースの難易度です。 特に始めたての頃は、コースが難しすぎると大変です。 (もちろん自分のスコアも良くはないのですが) なので、な…
Orangestarさんのライブ@東京ガーデンシアターに行ってまいりました。 orangestar-undefinedsummer-noise.com 自分の大学・大学院生活で再生回数が最も多いアーティストさんはOrangestarさんだと思います。 それくらい思い入れが深く(前回のライブは予定か何…
概要 対応した店長が内見に20分遅刻、読み合わせの時間の5分後に出社 インターネット回線について適切な情報をもらえない 新居をSUUMOで探していたところ、お目当ての物件を扱っている不動産業者がこちらしかなかったのでこちらで内見の予約。 神保町・小川…
久々にWikipediaのdumpファイルを処理しようとWikiExtractorを動かそうとしたのですが、 GitHubからcloneしただけでは動かず。 zenn.dev ここにあるように、詳しくは調査していませんがPythonを3.7にしたら動きました。 それより大事なこととして、初期状態…
痛感したことをその都度更新していく 査読や研究室内での複数回チェックがある論文は、必ずGitで管理する とりあえずコードはGit管理 とりあえずコピペで新しいプログラムを生成しない→生成するほど管理コストが増えていく
arxiv.org なにかのタイミングで著者のTwitterを見てICLR2022通ったところから見ました。 Excited to share that we have released 170+ pretrained transformer checkpoints of many different shape & sizes as part of our #ICLR2022 paper on "Scaling T…
arxiv.org Sentence Embeddingを得る時、普通のBERTをFine-tuningなしで使うと全然使い物にならず、GloVeにも劣るとのこと。 自分もちょっと試した時全然ダメでした。 なので、テンプレートを用意したりdenoiseすると良いよ！という感じです。 具体的には、"…
arxiv.org 韓国の方々？のようですが日本語のQuestion Answering(QA)のデータセットの論文です。 論文中にもありますが、QAの日本語はドライブデータしかないっぽいので大変ありがたい。 論文中では東北大学のbert-base-japanese(Unidicの方)でFine-tuningし…
ディスプレイの横いっぱいにターミナルを展開していると、tqdmが横いっぱいに開いてしまってウィンドウ幅を半分にすると改行しまくってしまう時がある.。 この場合はすぐ100%になるから良いが、少しずつのときは困る。 tqdmのドキュメントtqdm.tqdm - tqdm d…
研究室の後輩から、bibでジャーナルやカンファレンスのタイトルが出ないと相談を受けた。 qiita.com inproceedingsならbooktitle、articleならjournalで書かないと意味がないようだ。
Pythonでプログラム終了時にslack通知はやっていたのですが、最近bashでPythonをぐるぐるすることが増えました。 なのでbashでもslackで通知を送れるようにしました。 bash #!/bin/bash function send_slack() { payload={\"text\":\"$1\"} curl -X POST -H …
Ubuntuは最近覚えてきたが、CentOSはあまり台数が少なく忘れてしまうのでメモ。 Ubuntu sudo apt update sudo apt upgrade sudo apt autoremove CentOS sudo yum check-update sudo yum update sudo yum autoremove
Jupyterで作成したドキュメントを、HTMLで出力して他の人と共有することで、いちいちPowerPointなどスライドにせずとも簡単に作成できます。 特にExtentionであるTable of Contents(ToC)によって、Markdownによる目次が追加でき、より見やすいファイルを作る…
あけましておめでとうございます。 このブログ、今までいろんな方の記事を読んできて、研究なりで助かってる部分が非常にあるので、いつか研究とか技術関連の記事を書いていこうと思っていたのですが、全然そのようにできる予定がないです。 論文読んでも記…
コロナ下ですが，東京大学を無事卒業しました． 東京大学大学院工学系研究科システム創成学専攻の修士1年になりました． 東大は春学期は全てオンライン授業です． コロナ下で中々外出できないと思い，修士卒業に必要な30単位のうち22単位を今学期に受講して…
前回からだいぶ時間が空いてしまいました．今回は3Sにします． retarfi.hatenablog.jp 3S1 月 火 水 木 金 1 システムデータ解析 災害シミュレーション工学 2 アルゴリズム 設計学基礎 計測工学 設計学基礎 3 基礎プロジェクトB 統計的機械学習 基礎プロジェ…
院試ですが，無事合格しました． 来年度以降も現在の研究室で研究できることになりました．バンザイ． 自分が所属しているシステム創成学科SDMコースの自分が受けてきた感想を紹介したいと思います． 教官や授業内容が変わっている可能性もあるので，参考程…
10ヶ月ぶりの記事になります． お久しぶりです． 今週の月・火曜日に大学院の入学試験がありました． 私が受けたのは東京大学大学院工学系研究科システム創成学専攻というところで，試験科目は英語(TOEFL ITP)，数学，小論文，面接の4つです． 配点はきっと…
お久しぶりです。 3ヶ月程空いてしまいましたが、レポートが忙しくて全然記事を書けませんでした(書くことがなかったという説もある)。 最近はW杯ですね。ふと、totoを統計的に考えたら当たるんじゃないか、なんて考えてtoto miniの各パターンの投票割合を計…
2月の終わりから合宿に参加するなどしてラウンドを重ねていました。 その結果が以下です。 '18/03/28 嵐山CC 106(34) '18/03/23 茨城ロイヤル 105(33) '18/03/22 CCザ・レークス 101(40) '18/03/19 茨城ロイヤル 123(38) '18/03/12 CPGCC 115(37) '18/03/09 …
塾で小4を教えているのですが、そこでこのような問題がありました。 1□2□3□4□5□6□7□8□9=1 という式があります。 (1) □の中に+と-を入れてこの式を1つ完成させなさい。 (2) □の中に+と-とx(乗法)を入れてこの式を1つ完成させなさい。 この問題を解くだけなら…
Amazon Echoを先月末に購入でき、1ヶ月半ほど利用しましたのでレビューしてみたいと思います。 Amazon Echo (Newモデル)、チャコール (ファブリック) 出版社/メーカー: Amazon 発売日: 2017/11/15 メディア: エレクトロニクス この商品を含むブログ (3件) を…
お久しぶりです。 期末が終わり、春休みとなりました。 先日部活で講習会があり、そこでパターの精度を測定したのですが、自分が想っていた以上にパターが下手でした。 測定で用いたのがパターレールだったのですが、これは練習にも使えるということで購入し…
