ブラウザ内でAIモデルを動かす
ローカルLLMをブラウザで試したいときは、別の推論サーバーを起動せず、手元の端末でチャット用モデルを動かせます。ブラウザがモデルを読み込み、応答を生成します。GGUFモデルを持っている場合や、用意されたカタログから選びたい場合は、llama.cppから始められます。
最初にモデルファイルのダウンロードが必要なことがあります。その際は配布元へ通信します。準備後の生成には、選んだブラウザ内の実行環境を使います。対応モデルや速度は、ブラウザと端末の性能によって変わります。
使い方に合うブラウザ内モデルを選ぶ
ブラウザ内のllama.cpp
候補のGGUFモデルを選ぶ、Hugging Faceのリポジトリを調べる、手元のGGUFファイルやモデルフォルダを取り込む、という方法があります。モデル管理画面には取得済みのファイルが表示され、保存先にはブラウザの保存領域や、対応する環境では端末のフォルダを選べます。
設定手順を見るTransformers.js
Transformers.jsのモデル管理画面で対応するONNXモデルをダウンロードすると、完了後にそのモデルの読み込みが自動で始まります。取得済みのモデルには読み込む、未完了のモデルには再開が表示されます。モデルファイルはブラウザのOPFSに保存されます。スタンドアロン版では、ローカルファイルから開いたときのWorkerとWebAssemblyの制約により利用できません。
設定手順を見るブラウザ提供モデル
ブラウザ提供を選び、利用状況を確認します。準備が必要なモデルが表示されたらブラウザ提供モデルを準備を選びます。モデルはブラウザが管理するため、利用可否やダウンロードの動作もブラウザによって変わります。
設定手順を見るGGUFモデルでチャットを始める
llama.cppを選ぶ
初回設定のブラウザ内AIでllama.cppを選びます。すでにNaidanを使っている場合は、設定のllama.cpp browserタブでモデルを管理し、接続タブのAPI プロバイダーでllama.cpp browser（試験的）を選びます。
モデルファイルを準備する
モデルカタログで候補の内容とサイズを確認してダウンロードするか、手元のGGUFファイルやモデルフォルダを取り込みます。Hugging Faceのリポジトリを使う場合は、取得するファイルと量子化形式を確かめてからダウンロードします。ローカルのみ版ではHugging Faceから取得できません。別途入手したGGUFを取り込むか、必要なモデル配信元への通信を許可するHosted版で取得してください。大きなモデルほど保存領域とメモリが必要です。
会話で使うモデルを選ぶ
初回設定ではデフォルトモデルから取り込んだモデルを選びます。後から変更するときは接続タブで選び、変更を保存を押します。このデフォルトを継承する既存・新規の会話にも適用され、チャットやグループでは別のモデルを選べます。
短いメッセージで試す
初回設定では始めるを押します。既存の設定を変更した場合は、変更を保存の後に設定を閉じ、新しいチャットを選びます。短いテキストを送って試してください。モデルが見つからない場合も、下書きを残したままモデルの準備に戻れます。
画像や音声を扱う前に
llama.cppのチャットに画像を添付するには、モデルと組み合わせる画像入力用の補助GGUF（mmproj）が必要です。現在のllama.cppのチャット入力は、音声と動画に対応していません。画像や音声の生成には、それぞれ別のモデル機能と設定を使います。
スタンドアロン版にもブラウザ内のllama.cppがありますが、組み込みのWebGPU実行環境だけを使い、CPUには切り替わりません。Hosted版にはほかの実行環境もあります。ブラウザと端末で使えるかは、アプリ内の案内を確認してください。Transformers.jsはHosted版だけで使えます。
取得したモデルと会話履歴では保存先の管理が異なります。ブラウザのサイトデータを削除すると、キャッシュしたモデルも失われることがあります。端末のモデルフォルダを使う場合は、ブラウザの許可とフォルダへのアクセスが必要です。