2023-04-03

• 07:03. さて妻子が一足先に帰省しているので自分のフライトがある三日後まではヒマ！ガンガンやってくぞ！といいたいところだが空気の抜けた風船みたいに緊張感がなくてこんな時間。しかしまだ一時間半くらいある。単身者時間ありすぎだろ。ヤベーな。
• 子の風邪で流れてしまった podcast 録音があるので、まず復習から・・・。
• Podcast の準備は事前にやりすぎると内容を忘れてしまうが手前すぎると準備の時間がなく、あんがいタイミングが難しいのである。
• カンペを眺め直すだけで一時間くらいサーっと経ってしまう。
• 残り時間。先月なにやってたっけ・・・・というと RL の教科書をつまみ読みしようとしていた。
• Sutton & Barto Book: Reinforcement Learning: An Introduction
• Ch 13.1
• これノートとらないとわかんないやつじゃん・・・。

2023-04-04

• 07:24. さて続き・・・じゃなくて podcast 出す準備をしないといけません・・・。
• 昨日は Adobe podcast で録音してみたが、インターネットの不調で音がズレるという超基本的なバグにぶちあたってしまいもう使わね、という気分。次回からは金払って堅いサービス使います。はい。
• #111: Formal Algorithms for Transformers – Misreading Chat
• このエピソード、聞いてもまったくわからなくてすごいな我ながら・・・。というかズレが厳しいな・・・。

2023-04-06

• 過去２日は最初不在に合わせて友達と管を巻いたり荷造りしたりでろくに論文も読みませんでしたが、いまは空港でヒマなので読んでます。コーラでうっすらとカフェインもキメている。
• [2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
• Multmodal 系論文を読む準備。CLIP にも出てきたね。
• CNN のようなアーキテクチャ埋め込みの inductive bias がなくても、transformer は見るべき場所を学べるよ、という話。これ論文も読む前にアーキテクチャだけ見てるとバカじゃないのと思っていたが、いざ論文読んでみると完全に理にかなった自然なアプローチに思えてくるね。
• Classification task で supervised に "pretrain" している。ただ patch を mask して BERT 的に self-surpervised に train しても悪くはないらしい。ふーん。
• まあ、いい論文でした。ViT 改良版のなんとかいうやつの論文も印刷してくればよかったな。
• そいえば昨日 BLOOM という paper を冷やかしていて思ったが、100B+ の LLM を train できる組織って世界全体でいくつあるんだろうね。1000 はない気がする。100 はあるかな？費用がわかれば想像しやすいのだが。
• チャット様二人に聞いたところ、tens of millions らしい。100 はあるな。動機がなさそうだけど。
• はーもっとたくさん印刷してくればよかつまたな。というな Boox もってくればよかった。一人で乗る飛行機のヒマさを忘れていたぜ。
• [2212.08073] Constitutional AI: Harmlessness from AI Feedback
• SL につかうテキストの生成を、LM の校正でつくる。
• Reward / Preference Model を作るための評価を LM にやらせる。
• 人間が用意するものは意地悪プロンプトと。従来のような模範解答や一部の採点作業(helpfulness)も、まだ残している。
• なんか面白いね。Safety はそんなに興味無いけど、LM が LM を採点したり校正したりするのが面白い。Diplomacy model を彷彿とさせる。
• [2112.09332] WebGPT: Browser-assisted question-answering with human feedback
• 完全に Bing です。そもそも Bing API 使ってます。
• めちゃ面白い。状態を prompt に詰めて持ち歩くのが、なるほどという感じ。特に quote.
• 要約は集めた quote を使って最後にやるのだね。もうハルシネーションとか言ってイチャモンつける時代は終わりました。
• 検索に限らず、このLMに外界を探索させるアプローチは可能性があるね。すげーわ。WebGPT の具体的な実装が最適解という気はまったくせず、いかにもPOC という風情に無限の可能性を感じる。
• これを plugin として実装する OpenAI のセンスは評価するけれども、それ以上に plugin を公開前から MS に持っていって投資を引き出した Sam Altoman の神策士ぶりが際立つね。なんとなく Nadella スゲーと思っていたが、冷静に考えると真の黒幕はどう考えても Altoman である。
• [2203.11147] Teaching language models to support answers with verified quotes
• ウェブサーチから帰ってきたページを要約させることで、発言に引用をつけられるようになりましたという話。自分がもともと Bing はこういう感じかと想像してたのに近い。WebGPT にくらべると面白みはない。サーチにくっつけるならこんなもんでいい気もするが…。
• GooherCite は Gopher を単なる building block としてしか見ていないが、WebGPT には GPT に対する信頼というか、AGI-ness を追求する野心があるよなあ。　ビジョンがあるとも言える。
• はー印刷してきたのぜんぶよんじゃったけどまだ６時間くらいある。なんか難しさの薄い論文ばっかし選んでしまったな…。
• LLM の Fine-tuning procedure を各社が闇雲に試している 2021,2022 あたりの論文は、ConvNet とかのアーキテクチャが色々模索されていた頃のルネサンス感があるね。ただ training の仕方というのか high-level に書かれているのを読んでも、実際の難しさや再現のために必要な情報が足りているとは全く思えず、そこに物足りなさはある。みんなプレスリリース的。
• [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models
• 搭乗直前に駆け込みで電話にダウンロードしておいた。
• これは面白いな！そして表題に反して LLM 固有ではなかった。画像生成の fine tuning に関するスレで見かけた記憶があるが、そういうことだったのねー。
• ただクラウド業者が LLM 用の fine tuning option として提供するのはちょっとトリッキーそうでもある。クエリ単位で LoRA の重みを GPU にロードする必要があるし、掛け算も増えるから遅くなるよね。バッチならいいのかもしれないが。
• まあいいです。MSR いい仕事をした。
• [2103.14030] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
• Swin Transformer.
• ViT 雑すぎだろ、とブチ切れた CV の人がもう少し入り組んだバージョンを考えた、的な話。
• 普通の Attention は画像全部みえちゃうけど全部いらないですよね、解像度縮めていけば見えますよね、という、ConvNet 的な induction bias を取り戻そうとする。
• Unified modeling に使おうなと言うけれど、あまり embedding を圧縮しすぎると NLP と混ぜられないのでは？という気もする。まあ multimodal の論文を読めばわかることでしょう。ダウンロードしとけばよかった…。
• [2001.08361] Scaling Laws for Neural Language Models
• LLM はモデルの hyperparameter や training compute からだいたい誤差が予測できるよ、というような話。Sam Altoman がインタビューで言ってたな、というか GPT4 のチラシにもそんなこと書いてあったね。
• こんな実験のために GPU を燃やせる会社はなかなかなさそうである。人類の叡智、という気もする一方、なんらかの煙幕なのではと懐疑もある。追試できんじゃん。
• はーこれにて完全に手元の論文がなくなりました。あと４時間もあるのにー！
• まあ子育て Audible でも聞きます。

2023-04-25

• 日本から帰って以来家庭内が乱調だったが、ようやく復帰。三週間近く失われてしまった。海外旅行は大変。
• そして様々な都合により朝には活動できなくなったので、今日からは Night Spinach です。朝の fresh brain を使えないのは残念だが仕方なし。
• Podcast 公開作業。
• #112: SkyPilot: An Intercloud Broker for Sky Computing – Misreading Chat
• cooking video を眺めて休憩。夜は集中力がない・・。
  My Second Favorite Taco from Mexico City - YouTube
• さて自分のターンの準備をします・・・。
• 第一稿終了。前日に直して、来週できるかな・・・とおもったが土日キャンプで月曜にはできないな・・・夏の間は隔週でキャンプなので週末終了のお知らせだわ。きびしい・・・。
• LLM シリーズ、全 4-5 回文くらい話すことあるといえばあるけれど、なんか世の中みんなこの話ばっかりしてて自分が改めて話す必要あるのかな・・・という気分。
• 別にどの論文も読むのに難しさがなくて、ほんとプレスリリース的なのだよね。メディアの人とかが読んでもわかるので、そういう人たちに読ませておけば良いのではないか。
• ではどういう話なら面白いかというと、やっぱコードを読むのが良いのだろうなあ。一方で、どこまで時間を溶かすべきかというと悩ましい。CS の若く賢い知能の上澄みが 過去にないレベルでがなんかうまいことやろうと注力していて、しかも人が余りすぎていて、解説にすら優秀な頭脳が割り振られている。ここにはほんとに何もやることがない。
• LLM とか眺めてないで、なんか他にやることあんじゃないのかね、我ながら。
• まあ VLM の論文にいくつか積み残し(Flamingo, Palm-e)があるので、それは紹介するかどうかは別として読もうと思います。
• 11:45. 寝るべし。

2023-04-26

• 20:09. 68.5kg. 昨日から fast を始めております。目標 65kg. ５月いっぱいでいけるだろうか。
• 今日は雑用の日です。Sigh.