retarfiの日記

自然言語処理などの研究やゴルフ、音楽など。

大学・学術的

HuggingFaceのtransformers.trainerをDeepSpeedと一緒に使うときの注意覚書

事前学習関連で色々試していたらHuggingFaceのtransformersとDeepSpeedのIntegrationでうまくいかないところがあった。 具体的には、transformers.TrainerとDeepSpeedを同時に使っていて、さらにgraidient_accumulation_stepsが1でない場合に、transformers.…

transformersのDataCollatorForWholeWordMaskについての覚書き

以前BERTやELECTRAを日本語で事前学習するリポジトリを作った (https://github.com/retarfi/language-pretraining)のだが、 その際に参考にしたtransoformersのversionは4.7.2だった。 v4.7.2では、DataCollatorForWholeWordMaskの実装が間違っていたため、…

BibTeXのinproceedingsとarticle

研究室の後輩から、bibでジャーナルやカンファレンスのタイトルが出ないと相談を受けた。 qiita.com inproceedingsならbooktitle、articleならjournalで書かないと意味がないようだ。

システム創成学科SDMコースの授業 ~3S編~

前回からだいぶ時間が空いてしまいました.今回は3Sにします. retarfi.hatenablog.jp 3S1 月 火 水 木 金 1 システムデータ解析 災害シミュレーション工学 2 アルゴリズム 設計学基礎 計測工学 設計学基礎 3 基礎プロジェクトB 統計的機械学習 基礎プロジェ…

システム創成学科SDMコースの授業 ~2A編~

院試ですが,無事合格しました. 来年度以降も現在の研究室で研究できることになりました.バンザイ. 自分が所属しているシステム創成学科SDMコースの自分が受けてきた感想を紹介したいと思います. 教官や授業内容が変わっている可能性もあるので,参考程…

院試が終わりました

10ヶ月ぶりの記事になります. お久しぶりです. 今週の月・火曜日に大学院の入学試験がありました. 私が受けたのは東京大学大学院工学系研究科システム創成学専攻というところで,試験科目は英語(TOEFL ITP),数学,小論文,面接の4つです. 配点はきっと…

新年・マインスイーパ

前の記事から2ヶ月半が経過してしまいました。 新年あけましておめでとうございます。 この2ヶ月半何をしていたかというと、学校生活が忙しかったりで自分のことでいっぱいいっぱいになってしまいました。 具体的には、大学のプログラミングの授業にてJava …

100本ノック

学科でプログラミング言語を使うこともあり、先生からおすすめされたPythonの100本ノックをはじめました。 www.cl.ecei.tohoku.ac.jp 紹介にある通り、実践的な課題に取り組むことを目標にしています。 ので、これを実践していきたいと思います。 私のプログ…

歴史を学ぶ意義

のだめカンタービレを(今更ですが)見ました。 ヨーロッパ編の方で少し思ったことがありました。 ヒロインののだめはピアノの技術はありながらも作者の背景や情景を考えずに弾いていました。 ある時先生が自分の作った曲を弾いたとき、ここはこのように、など…

Keynoteのススメ

大学生になると授業でプレゼンをする機会が増えるかと思います。 私も去年まではVAIOを持っていたのでPowerPointやPreziで発表をしていたのですが、今年の春にVAIOを売ってしまい手元には6年前のノートPCとデスクトップPC、iPadとiPhoneが残っています。 こ…

はじめての英語での論文執筆

東大には入学初年度の学生向けに理系にはALESS、文系にはALESAという必修授業が用意されています。 それぞれActive Learning of English for Science Students, Active Learning of English for Students of the Artsの略です。 この授業の目的は、東大のHP…

ドキュメントスキャナーの購入

先月ドキュメントスキャナーを買いました。 Canon ドキュメントスキャナ imageFORMULA DR-C225W 出版社/メーカー: キヤノン 発売日: 2014/07/11 メディア: Personal Computers この商品を含むブログ (2件) を見る 用途としては、大学で使う教科書やノートを…

発表の心得

前回はPowerPointのスライド作成のポイントを書きました。 retarfi.hatenablog.jp 今回は発表時の心得を前回同様天野氏の配布資料から抜粋して要約したいと思います。 質疑応答への準備 想定質問リストの作成 回答案の作成→頭に入れておく 手持ちスライド←回…

PowerPointのスライド作成のポイント

前回、プレゼンツールとしてPreziというのが新しい、ということを書きました。 retarfi.hatenablog.jp ですがフォーマルな発表の場、特に学生にとってはPowerPointがマストな場が多いかと思います。 その時にどのような点に気をつければよいのか、愛知淑徳大…

PowerPointとPrezi

発表系のツールでMicrosoftのPowerPointというのは有名なツールです。 最近、Preziというのが若い世代を中心に(と私は思っていますが)流行りつつあります。 This Is the Moment - YouTube 動画を見ると、おしゃれ、クリエイティブという印象を受けるのではな…