The Gift of Failure

A parenting book. The author criticizes parental over-protection and argues that parents should let children do their things and let them fail to learn. These points feel similar to the ones made in How to Raise an Adult by Julie Lythcott-Haims. It is however geared towards being more concrete, whereas Julie’s is more like an opinion piece.

Also, this can be interpreted as a variation of the “natural consequences” approach of modern parenting, introduced by books like Positive Discipline, but extending it to a non-disciplinary context which becomes more important as children grow.

The author mentions books like Grit, Mindset, and Drive – a self-help category I dubbed “Contemporary Guts Theories”. These connections are interesting, and I wonder what is special about parenting vs general self-help at this point.

Another question is how America’s obsession with self-improvement (and its reliance on influencers) affects parenting. Do we want our children to follow the self-help theories? If so, we might be projecting our desire onto children, that is, to be self-helping to achieve something, just like older generations were projecting theirs. Then, is it fair to criticize parents in different styles, like Asian Tiger Parents? We are in the same boat in the grand scheme of things.

Your Turn

This is not precisely a parenting book but is written by a popular parenting book author Julie Lythcott-Haims. The book is a set of advice for young adults in their twenties or early thirties. So it’s not really for me, but I enjoyed it regardless.

It talks about what adulthood should look like. The depiction told me how liberal American adults are supposed to live today. The author is very opinionated and I don’t necessarily agree with every point, but at least it gives a baseline and, more importantly, the anchor of what should be discussed. I don’t have that level of consciousness so it helped.

Tomorrow, and Tomorrow, and Tomorrow

I wanted some distraction and picked this from a bestseller list. The one-line summary for this book in that list is:

Two friends find their partnership challenged in the world of video game design.

Combined Print & E-Book Fiction – Best Sellers – Books

The story starts in their college lives and then enters into professional ones. The plot is dynamic and the writing style is very visual. The “video game design” part is relatively shallow but it’s good enough to make the details fancy.

I also enjoyed the depiction of Southern California. There is LA traffic, Beverly Hills, Korea Town, Venice, etc. It is very visual, although maybe a bit too stereotypical. It made me want to revisit there.

A while back TikTok Android app introduced a shady trick that requires a user to hit the “back” button (or back gesture) twice to quit the app. It slips an extra page into beneath the current one, even if the user didn’t ask for it.

It would work for sure in terms of engagement or whatever, but I was distressed by the invention of yet another dark pattern.

And recently Facebook app (the blue app) added this trick too. It’s not surprising at all since they’ve been very good at stealing. Still it is disappointing regardless. My fear is that this pattern gets infected with other consumer apps over time.

If I ask to quit, just quit. Please.

These days many software projects have replaced “non-inclusive” words like blacklist and master with more “inclusive” words like denylist and main. It was taken as a controversial move (especially outside U.S.) and I also had a mixed feeling. Then there comes a “got it” moment.

Have you heard the phrase “open the kimono“? I had not. It is a business jargon, implying “being transparent” or “opening the book”.

I found this phrase in a “non-inclusive term” list. Indeed, it sounds ridiculous. If you are Japanese, you’ll easily find it racist and sexist. There is no ambiguity. I would rather say “show the dick” or something if I really had to use this phrase. (It is still sexist, but at least not racist.)

Still, a Google search suggests that it is not so obvious to some people in English-speaking counties. It feels bewildering and frustrating to face this ignorance and insensitivity. How can it ever be “it depends”???

Then I realized how ignorant and insensitive I have been to other cultures. I think I have concealed it well enough so I haven’t offended anyone too much, but I can never consider myself as empathetic or considerate either.

In Japan, males are over-represented and females are under-represented. The degree is much more severe than it is in U.S. Non-inclusive Japanese terms from this angle are everywhere, but these are so deeply rooted in Japanese culture that it has been a bit tricky to me, a Japanese male, to feel it.

The abrupt insensitivity of Open The Kimono is, on the other hand, tangible. And it reminds me that we don’t like the world where people are speaking the words that stink.

I had my first Escape Room experience with my teammates today. Although it is a popular team building activity in the workplace, I have dodged it for years. That’s what an introvert does.

It was fun. I was relieved.

The negative sentiment against the escape room grew in me after I had a “virtual” version during the pandemic. It was a painful experience, as many online meetings are. It felt like playing a single player puzzle game, with multiple people, over video call.

Today’s “real” escape room is different. It is designed to require multiple people to solve the puzzles by, say, having multiple buttons to be pushed at the same time. In such a physical design, you can contribute a little even if you are a lesser puzzle solver like me. And doing a physical activity together feels fun anyways.

What are good “virtual” team building activities then? There must be something, but I don’t know. I’m glad I live in an old world and don’t have to worry about that.

I have probably become like one of the old people in the 20th century who enjoyed the annual company trip to a shitty resort hotel. And I accept that datedness.

家賃高すぎベイエリアのからの脱出を夢見る現実逃避活動。今回は日系人の多く住んでいる地域(county)を探してみる。日系コミュニティの存在は必ずしも住環境を決める最重要ファクターではない。とはいえ子供の日本語教育とか日本食材の調達、あと英語の不自由な我々が人間関係を構築する上でもまあまあ重要。しかし、たとえば住宅価格などの誰もが気にする要素に比べ世の中に定量的な解説が少ない。仕方ないので 2020 の US Census を眺めてみたい。

Census は API があるので、適当にみつけたサンプルを参考に EDA する。この記事には画像だけを張り付けているが、対話的につつける地図と表も作ったので興味のある人はこのノートブックをどうぞ(ロードには時間がかかります)。

なお以下に張り付けたプロットの大半からは Hawaii と Alaska を省略した。そのへんに引っ越す気はないので。Hawaii めちゃ日系人多いんだけどね。

日系人の多い Counties

• Los Angels County が圧勝。その周辺 (Orange County, San Diego County) も多い。
• Bay Area の Santa Clara County 周辺もがんばっている。
• CA 以外だと Seattle のある King County, Washington が抜きんでている。

LA + Bay Area (+ Seattle) が突出しているせいで他が色褪せ識別できないため、そのへんのメジャーどころを外すべく日系人人口が二万人以下の county に絞って彩色しなおす:

引き続き CA および WA が強いが、それ以外にも:

• Las Vegas のある Clark County, Nevada, Chicago 近辺の Lake County, Illinois といった 10K counties が頭を出し、
• 他にも Arizona, Texas, といった CA 近接州、東海岸や五大湖付近にある数千人規模のコミュニティも滲みだしてきた。

要するに CA 付近や大都市には日本人も沢山住んでいる。まあそうですね。ただし東海岸は人口の割に少ない印象。

一旦地図を離れ、 日系人人口 top 50 counties を bar chart にしてみよう. State ごとに色を変えてある。

LA County の突出ぶりがよくわかる。巨大都市。隣接する Orange County もひきづられて二位。SoCal は人がいっぱい住んでいる。

なお参考までに Hawaii を含めた top25 をプロットしてみると、LA すらもぶっちぎる圧倒的存在感がよくわかる。(赤が HI, 橙が CA.) 面積の違いを考えると桁違い。

日系密度の濃い Counties

LA など人口の多い都市では都市自体の規模に比例して日系人人口も増えるだろうから、必ずしも強いコミュニティがあるとは限らないのではないか。そこで総人口に占める日系人の割合 = 日系密度をプロットしてみる:

やや雰囲気が変わり・・・

• LA 周辺は引き続き強いが、密度ではベイエリア (特に Santa Clara County) が上回っている。Seattle も LA よりわずかに高密度。
• 内陸部にも細々と色の濃い counties がある。

内陸部にある高密度を眺めてみると、大半は county の人口が少なすぎるためのノイズだった。たとえば Fallon County, Montana は 1% を超える日系人密度を持つことになっているが、そもそも county の人口が 3000 人しかいない。日系人も 30 人。

そんな中 Putnam County, Indiana は 1.5% / 550 人とそこそこの規模がある。検索してみると自動車メーカーが居を構えているらしい。引っ越し先としての適性はさておき興味深い発見だった。

10 万人以上を擁する大きな county だけを残してフィルタしてみると:

あまり面白くない結果となった。つまり、CA と WA など西側が強くて、五大湖周辺と東海岸にもちょっとある、くらい。人口ベースで眺めてわかった以上の発見はない。

結論

• アメリカの日系人は Hawaii に一番多く住んでいる (15-20 万人)。
• それ以外では SoCal の LA 周辺 (10-15 万人), NoCal の Bay Area (五万人+)、WA の Seattle 周辺 (三万人)に多く住んでいる。
• 五大湖周辺、東海岸などの大都市、Arizona, Nevada, Texas などの CA 隣接州にも数千～一万人規模で日本人が住む counties がある。
• 密度でいうと Hawaii が桁違いで突出しており、それ以外だと Bay Area, Seattle 近辺が高い。LA 周辺も濃いが、人口の突出ぶりほど差はない。

基本的に日系人の多く住むエリアはどこも High CoL である。したがって家賃を下げようと思うなら SoCal/NoCal/Seattle のような日系人の多さは諦め、数千人から一万人規模の日系コミュニティを受け入れるのが現実的に見える。まあそのくらい住んでいれば日系食材店の一軒くらいあるでしょ。日系じゃなくて Asian Groceries でもいいよ。あるいは、日系人が多く QoL の高い county 自体ではなく、その近隣で CoL の下がるオプションがないか探すこともできるかもしれない。

もっというと、他の指標で住みよい medium CoL の地域を探したうえで、こうした日系 geo data は補助的な指標にするくらいがよさそうである。

備考

• County 境界が適切にコミュニティを切り分けていないケースがある。たとえば Portand, Oregon は都市部を複数の county が分断している。そうした地域は過少カウントされているかもしれない。このように分断されたコミュニティをあぶりだすにはクラスタリングなどの工夫が必要だろう（やってない）。
• 探索に使った Notebook では日系人だけでなく Asian 全体の人口も集計している。Asian の分布と日系人の分布は概ね一致しているが、全ての Asian 集積区に日系人が多いわけではない。たとえば Santa Clara County は日本人もまあまあ多いが Asian に至ってはおよそ人口の 1/3 を占め圧倒している。Queens County, New York は人口の 1/4 が Asian だが日本人は 0.3% 程度である。逆に日本人が突出して多い地域はあるかというと、Hawaii を別にすると見当たらない。
• 上のデータはハーフなど日系混血の人口は数えていない。Census data の都合です。ごめんね。

2023-04-03

• 07:03. さて妻子が一足先に帰省しているので自分のフライトがある三日後まではヒマ！ガンガンやってくぞ！といいたいところだが空気の抜けた風船みたいに緊張感がなくてこんな時間。しかしまだ一時間半くらいある。単身者時間ありすぎだろ。ヤベーな。
• 子の風邪で流れてしまった podcast 録音があるので、まず復習から・・・。
• Podcast の準備は事前にやりすぎると内容を忘れてしまうが手前すぎると準備の時間がなく、あんがいタイミングが難しいのである。
• カンペを眺め直すだけで一時間くらいサーっと経ってしまう。
• 残り時間。先月なにやってたっけ・・・・というと RL の教科書をつまみ読みしようとしていた。
• Sutton & Barto Book: Reinforcement Learning: An Introduction
• Ch 13.1
• これノートとらないとわかんないやつじゃん・・・。

2023-04-04

• 07:24. さて続き・・・じゃなくて podcast 出す準備をしないといけません・・・。
• 昨日は Adobe podcast で録音してみたが、インターネットの不調で音がズレるという超基本的なバグにぶちあたってしまいもう使わね、という気分。次回からは金払って堅いサービス使います。はい。
• #111: Formal Algorithms for Transformers – Misreading Chat
• このエピソード、聞いてもまったくわからなくてすごいな我ながら・・・。というかズレが厳しいな・・・。

2023-04-06

• 過去２日は最初不在に合わせて友達と管を巻いたり荷造りしたりでろくに論文も読みませんでしたが、いまは空港でヒマなので読んでます。コーラでうっすらとカフェインもキメている。
• [2010.11929] An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale
• Multmodal 系論文を読む準備。CLIP にも出てきたね。
• CNN のようなアーキテクチャ埋め込みの inductive bias がなくても、transformer は見るべき場所を学べるよ、という話。これ論文も読む前にアーキテクチャだけ見てるとバカじゃないのと思っていたが、いざ論文読んでみると完全に理にかなった自然なアプローチに思えてくるね。
• Classification task で supervised に “pretrain” している。ただ patch を mask して BERT 的に self-surpervised に train しても悪くはないらしい。ふーん。
• まあ、いい論文でした。ViT 改良版のなんとかいうやつの論文も印刷してくればよかったな。
• そいえば昨日 BLOOM という paper を冷やかしていて思ったが、100B+ の LLM を train できる組織って世界全体でいくつあるんだろうね。1000 はない気がする。100 はあるかな？費用がわかれば想像しやすいのだが。
• チャット様二人に聞いたところ、tens of millions らしい。100 はあるな。動機がなさそうだけど。
• はーもっとたくさん印刷してくればよかつまたな。というな Boox もってくればよかった。一人で乗る飛行機のヒマさを忘れていたぜ。
• [2212.08073] Constitutional AI: Harmlessness from AI Feedback
• SL につかうテキストの生成を、LM の校正でつくる。
• Reward / Preference Model を作るための評価を LM にやらせる。
• 人間が用意するものは意地悪プロンプトと。従来のような模範解答や一部の採点作業(helpfulness)も、まだ残している。
• なんか面白いね。Safety はそんなに興味無いけど、LM が LM を採点したり校正したりするのが面白い。Diplomacy model を彷彿とさせる。
• [2112.09332] WebGPT: Browser-assisted question-answering with human feedback
• 完全に Bing です。そもそも Bing API 使ってます。
• めちゃ面白い。状態を prompt に詰めて持ち歩くのが、なるほどという感じ。特に quote.
• 要約は集めた quote を使って最後にやるのだね。もうハルシネーションとか言ってイチャモンつける時代は終わりました。
• 検索に限らず、このLMに外界を探索させるアプローチは可能性があるね。すげーわ。WebGPT の具体的な実装が最適解という気はまったくせず、いかにもPOC という風情に無限の可能性を感じる。
• これを plugin として実装する OpenAI のセンスは評価するけれども、それ以上に plugin を公開前から MS に持っていって投資を引き出した Sam Altoman の神策士ぶりが際立つね。なんとなく Nadella スゲーと思っていたが、冷静に考えると真の黒幕はどう考えても Altoman である。
• [2203.11147] Teaching language models to support answers with verified quotes
• ウェブサーチから帰ってきたページを要約させることで、発言に引用をつけられるようになりましたという話。自分がもともと Bing はこういう感じかと想像してたのに近い。WebGPT にくらべると面白みはない。サーチにくっつけるならこんなもんでいい気もするが…。
• GooherCite は Gopher を単なる building block としてしか見ていないが、WebGPT には GPT に対する信頼というか、AGI-ness を追求する野心があるよなあ。　ビジョンがあるとも言える。
• はー印刷してきたのぜんぶよんじゃったけどまだ６時間くらいある。なんか難しさの薄い論文ばっかし選んでしまったな…。
• LLM の Fine-tuning procedure を各社が闇雲に試している 2021,2022 あたりの論文は、ConvNet とかのアーキテクチャが色々模索されていた頃のルネサンス感があるね。ただ training の仕方というのか high-level に書かれているのを読んでも、実際の難しさや再現のために必要な情報が足りているとは全く思えず、そこに物足りなさはある。みんなプレスリリース的。
• [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models
• 搭乗直前に駆け込みで電話にダウンロードしておいた。
• これは面白いな！そして表題に反して LLM 固有ではなかった。画像生成の fine tuning に関するスレで見かけた記憶があるが、そういうことだったのねー。
• ただクラウド業者が LLM 用の fine tuning option として提供するのはちょっとトリッキーそうでもある。クエリ単位で LoRA の重みを GPU にロードする必要があるし、掛け算も増えるから遅くなるよね。バッチならいいのかもしれないが。
• まあいいです。MSR いい仕事をした。
• [2103.14030] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
• Swin Transformer.
• ViT 雑すぎだろ、とブチ切れた CV の人がもう少し入り組んだバージョンを考えた、的な話。
• 普通の Attention は画像全部みえちゃうけど全部いらないですよね、解像度縮めていけば見えますよね、という、ConvNet 的な induction bias を取り戻そうとする。
• Unified modeling に使おうなと言うけれど、あまり embedding を圧縮しすぎると NLP と混ぜられないのでは？という気もする。まあ multimodal の論文を読めばわかることでしょう。ダウンロードしとけばよかった…。
• [2001.08361] Scaling Laws for Neural Language Models
• LLM はモデルの hyperparameter や training compute からだいたい誤差が予測できるよ、というような話。Sam Altoman がインタビューで言ってたな、というか GPT4 のチラシにもそんなこと書いてあったね。
• こんな実験のために GPU を燃やせる会社はなかなかなさそうである。人類の叡智、という気もする一方、なんらかの煙幕なのではと懐疑もある。追試できんじゃん。
• はーこれにて完全に手元の論文がなくなりました。あと４時間もあるのにー！
• まあ子育て Audible でも聞きます。

2023-04-25

• 日本から帰って以来家庭内が乱調だったが、ようやく復帰。三週間近く失われてしまった。海外旅行は大変。
• そして様々な都合により朝には活動できなくなったので、今日からは Night Spinach です。朝の fresh brain を使えないのは残念だが仕方なし。
• Podcast 公開作業。
• #112: SkyPilot: An Intercloud Broker for Sky Computing – Misreading Chat
• cooking video を眺めて休憩。夜は集中力がない・・。
  My Second Favorite Taco from Mexico City – YouTube
• さて自分のターンの準備をします・・・。
• 第一稿終了。前日に直して、来週できるかな・・・とおもったが土日キャンプで月曜にはできないな・・・夏の間は隔週でキャンプなので週末終了のお知らせだわ。きびしい・・・。
• LLM シリーズ、全 4-5 回文くらい話すことあるといえばあるけれど、なんか世の中みんなこの話ばっかりしてて自分が改めて話す必要あるのかな・・・という気分。
• 別にどの論文も読むのに難しさがなくて、ほんとプレスリリース的なのだよね。メディアの人とかが読んでもわかるので、そういう人たちに読ませておけば良いのではないか。
• ではどういう話なら面白いかというと、やっぱコードを読むのが良いのだろうなあ。一方で、どこまで時間を溶かすべきかというと悩ましい。CS の若く賢い知能の上澄みが 過去にないレベルでがなんかうまいことやろうと注力していて、しかも人が余りすぎていて、解説にすら優秀な頭脳が割り振られている。ここにはほんとに何もやることがない。
• LLM とか眺めてないで、なんか他にやることあんじゃないのかね、我ながら。
• まあ VLM の論文にいくつか積み残し(Flamingo, Palm-e)があるので、それは紹介するかどうかは別として読もうと思います。
• 11:45. 寝るべし。

2023-04-26

• 20:09. 68.5kg. 昨日から fast を始めております。目標 65kg. ５月いっぱいでいけるだろうか。
• 今日は雑用の日です。Sigh.

For the last few months, I have reduced my media consumption, mainly from the audio: I was using my running and commuting time listening to podcasts, but paused all subscriptions. The tech stuff these days made me nervous, and I couldn’t resolve that discomfort by myself.

Do I get the peace of mind I wanted after the plug-off? Not really, objectively speaking. There is a Fitbit metric called Zone minutes. When I was listening to podcasts I occasionally had it recorded. I have had none since I paused. It looks like I was distracted by my own thoughts.

So I started wondering if maybe I should start listening to something again.

That’s when my spouse and I had a parent-teacher conference with the kindergarten teacher of my daughter.

In the session, we talked about recommended reading materials related to parenting. The teacher suggested some to us. To my surprise, I already had read half of them. But I also found that all my readings happened more than a few years ago. I haven’t read that kind of book since COVID, and the balls were still on the floor.

Now I got a plan: Tune to recommended parenting books instead of tech commentaries. My literacy stopped at the ones for toddlers but my daughter is going to start at an elementary school this summer. It was long overdue.

I hope they are more actionable than, say, the news telling the employer being threatened by an uprising startup. That actionability, I hope, makes me less nervous. The Fitbit will tell.