AI とプログラマの仕事
この手の話はフーンと眺めていたが、Neeva というウェブ検索のスタートアップが思ったよりはやく LLM を直接製品に埋め込んできて感心した (スクリーンショット)。Google のサーチ部門も Code Red らしいし(※勤務先ですが他所の部門の話なのでインサイダー知識はございません) Bing もなんかやってるらしいし、こういう LLM-based な自然言語製品は思ったよりすぐ商業化されるのかもしれない。
”プログラマの仕事は AI に奪われるのか" という話題で見られる先のリンクのような議論は Remote And Vegan と同じ問題を抱えている。つまり、プログラマの既存のタスクや責務が自動化できるかどうかというミクロな問題にフォーカスしすぎ、マクロで構造的な変化を議論してない。自分はどちらかというと後者が心配。
でかいモデルの学習には巨大なメモリと速いアクセラレータを長時間専有する必要があり、めちゃ金がかかる。推論もわりかし高価であることが知られている。従って、AI を使いたい企業は直接的、間接的にハードウェア投資をしないといけない。そのための資金をどこかから調達しないといけない。
自社でデータセンターを持つでかいテック企業の支出は、大半が人件費とハードウェア費用であることが決算報告などから知られている。そして近年のハードウェア費用の増大は AI/ML 用途の計算資源需要の増大が大きな理由だとみなされている。つまり、人件費（我々の給料）とハードウェアコストは、限られた予算を奪い合っている。
だから今後 LLM を使った製品が次々に登場して成功を収め、その開発運用に必要なハードウェア費用の高騰が進み、そのぶん人件費が圧迫されるということは、ありえるんじゃないの？
一歩下がると: 相対として AI 用途のハードウェア(およびそれを直接間接に提供するサービス)に投資する方がプログラマの給料に投資するより見返りが良いなら、企業は、これまで沢山あった玉石混合のソフトウェア開発プロジェクトを切り捨て、(運用が高くつくため相対的には数の少ない) AI-based な製品開発に比重を置く・・・かもしれない。そうなったら末端で比較的どうでもいい機能とかを開発しているスマホアプリプログラマなんて失業ですよ。困るわ。
テクノロジーのイノベーションでモデルの計算効率が良くなる可能性はあるが、それがモデルサイズの増大をオフセットできるのかは、まったく自明でない。LLM 製品の力で売上が加速してコストをオフセットできるのかも、やはり自明でない。めちゃ競争がある分野なわけだし。
というわけで、プログラマは AI に目先のタスクを自動化される心配をするヒマがあったらリサーチャーが LLM のコスト問題を解決するイノベーションをしてくれるよう祈るほうが良い、が、どちらも特別 actionable ではないのでほっといて真面目に働き解雇リスクをさげるのが現実的。正常化バイアスという批判は甘受いたします。
追記 (2023-10-21)
これを書いた半月後くらいに勤務先でレイオフが起きた。レイオフの直接的の原因は米国不況への懸念だったが、間接的にはこの記事で書いたことが起きたと認識している。追認バイアスではあるけれど、その後の四半期決算での CFO の発言などを聞いていと採用については慎重といいつつハードウェアの投資を遠慮する様子は見えないので、当たらずしも遠からずではないか。
もっとわかりやすい例は Dropbox のレイオフで、レイオフと同時に AI への pivot を宣言している。半分は投資家への言い訳だろうけれど、世間の空気を捉えているとも思う。スタートアップ投資も盛り上がってるのは AI 企業ばっかりじゃん。
一方で OpenAI をはじめとする AI 企業はモデルの製品化を加速すべくリサーチャー以外も積極的に採用をはじめたようなので、ハードウェア投資が一段落する日(=NVIDIAの株価が上げ止まる日)というのも、そのうち来るのかもしれない。LLM とか世代毎に何倍も大きく膨れ上がるのかと思っていたけれど、必ずしもそういうわけではないようだし。