Jan: Open source ChatGPT-alternative that runs 100% offline - Jan

モデルがクローズドなのはいいとして、会話のログがチャット業者に閉じられていてあとから加工できないのなんとなくイヤだな・・・と試してみる。Electron で書かれたチャットクライアントで、API キーを渡すと各種モデルとチャットできる。

しかしプロプリエタリなクラウドモデルのフロントエンドとしては色々いまいちだった。

• モデルがサーチを使えない。Claude は API 経由ではサーチを公開していない。Gemini にはあるはずだが、そのフラグを立てる UI が存在しないし、会話の流れから勝手に検索することもない。
• テンションがいつもと違う。たぶん System Prompt がないためだと思われる。アレはなんらかの役割を果たしていたのだな… (ex. System Prompts - Anthropic) いちおう system instruction をセットする設定はあるので、あとで何かを埋め込む予定。
• Canvas, Artifact などの気の利いた UI もない。

など色々と足りていない。良いところとしては

• 色々なモデルが使え、会話の途中でもモデルを切り替えられる。
• llama.cpp 互換ローカルモデルを試せる。

くらいだろうか。もうすぐ MCP が来るらしいので、楽しみに待っている。Linux には Claude Desktop がないため、気軽に MCP を試せず面白くないので。

オープンソースの Model agnostic chat frontend は色々あるけれど、どれもウェブアプリでホストが若干めんどくさい。Jan は pure client side の Electron app なので、それは良い。もうちょっとがんばってくれないかなー。

ただプロプリエタリなチャットは皆かなり大量に人を突っ込んでいると思われるので、同程度の洗練は期待できない。