Hello Vertex AI

子どもに漢字の練習をさせるのに例文を考えるのが大変と妻が宣うので LLM にやらせてみた。使いたい漢字複数を渡すとそれをつかった例文を 10 個出す。あと例題に親近感が湧くよう、特定のキーワードもねじ込める。(たとえばマンガのキャラクタの名前とか、最近楽しかったイベントとか。)奇しくも良い LLM API 利用の習作となった。こんなかんじ:

ランダムな感想:

  • モデルの日本語の流暢さにはばらつきがある。Vertex AI でスッと使えるのが Gemini と Claude なのでその範囲で比べると: 1) Claude Sonnet が一番流暢で指示もよく聞く 2) Gemini Pro/Flash は大差ない (なんで?) 3) Claude Haiku は流暢だが言うことを聞かない(入れろと行った漢字を入れなかったりする。)
  • Vertex AI に Claude があるのは素晴らしいが ChatGPT がないのは不便(なのでサポートしてない)。お前ら仲良くしろ。
  • プロンプトをいじると結果は変わるが、良くなったのか悪くなったのかよくわからないことが多い。なるほど eval が大事というのはこういうことか・・・。
  • こうした用途で個人アプリが使う文には API は安いというか、コンシューマ用の Pro バージョン ($20/m) にカネ払うより得な気がするが、そういうもんなのだろうか。それとも月末にギョッとする?
  • 値段。条件をきめたテキスト生成とか LLM は超得意なはずなので小さいモデルを finetune した方が軽量なのでは・・・と思うも、ウェブ向けにホストしようと思ったら結局 GPU を借りる必要があり高く付くので素のでかいモデルを API で使う方が経済的だと気づき、なんとなく虚しい。
  • コンシューマ向けの Chat UI のかわりに専用の画面をつけただけなのでプログラミングとしてはまったく面白くないが、有用。
  • 複数ターンでなんかするとか RAG するとか、もうちょっとプログラミングとして面白い題材も試したくなった。