NaidanからOllamaやllama.cppのサーバーに接続する
ローカルの推論エンジンを使うと、Naidanで会話しながら、モデルの実行はブラウザの外で行えます。先にエンジンを起動し、そこでモデルを利用できるようにします。NaidanはHTTP APIを通じて接続します。エンジンは独立したプロセスで、独自の権限を持ちます。
Naidanにはローカル用のURLプリセットがあります。エンジンのAPIに合うものを選び、モデルを指定する前に接続を確認します。プリセットは接続先の候補であり、Naidanがサーバーを起動するわけではありません。
エンジンに合うAPIプロバイダーを選ぶ
Ollama
API プロバイダー：Ollama
Ollama (local) · http://localhost:11434Ollamaのサービスが通常のローカルアドレスで待ち受けている場合は、このプリセットを選びます。NaidanはOllama APIを使い、サービスから取得したモデル一覧を表示します。
設定手順を見るllama.cppのサーバー
API プロバイダー：OpenAI 互換
llama-server (local) · http://localhost:8080/v1llama-serverのプリセットはOpenAI互換APIを使うため、URL末尾の /v1 も含めます。このサーバーはブラウザ内で動くllama.cppとは別です。同じAPIプロバイダーには、http://localhost:1234/v1 を使うLM Studioのプリセットもあります。
設定手順を見る初回設定で接続する
エンジンとモデルを準備する
エンジン自身の案内に従ってHTTPサービスを起動し、少なくとも1つのモデルを利用できる状態にします。待ち受けアドレスを確認してください。ポートやベースパスを変えた場合は、プリセットではなく実際のURLをNaidanに入力します。
対応するプロバイダーとURLを選ぶ
Naidanの初回設定でOllamaまたはOpenAI 互換を選び、対応するローカルプリセットを選択します。既存サーバーのURLを直接入力することもできます。ローカルのみ版とCurated版で許可されるローカルHTTPサーバーはlocalhostまたは127.0.0.1です。LANや別端末のサーバーには、通常のHosted版など、そのアドレスを許可する版を使ってください。接続先が要求する場合だけカスタム HTTP ヘッダーを追加します。
接続を確認して始める
接続を確認を押します。接続に成功したら、サーバーが返した一覧からデフォルトモデルを選び、始めるを押します。モデルが表示されない場合は、エンジン側でモデルを利用できるか確認してからやり直します。
後から接続先を変える
設定→接続を開きます。エンドポイント設定でAPI プロバイダーとエンドポイント URLを指定し、接続を確認を押します。モデル選択でデフォルトモデルを選び、変更を保存します。保存した値は、グローバルの接続先またはモデルを継承する既存・新規の会話にも使われます。別の設定が使われる場合は、チャットやグループの上書きを確認してください。
接続を確認できないとき
アドレスやAPIが合っていない
エンジンが起動しているか、ポートが待ち受け先と一致しているかを確認します。OllamaにはOllama、llama-serverにはOpenAI 互換を選び、llama-serverのプリセットでは /v1 を残します。ベースURLに応答しても、Naidanが必要なモデル一覧APIに対応していない場合があります。
ブラウザが通信を止めている
ブラウザにはオリジン、CORS、混在コンテンツの制約があり、Hosted版の一部にはCSPの制約もあります。スタンドアロン版は file:// から開くため、リクエストの Origin が null になり、エンジン側で許可が必要な場合があります。ブラウザのエラーを確認し、自分の接続先で許可するオリジンを設定してから再試行します。
モデル一覧が空になっている
エンジンにモデルがあり、APIが一覧を返すか確認します。接続の設定画面で自動的に接続を確認するのはlocalhostのURLだけです。それ以外のアドレスでは接続を確認を手動で押します。接続先を変えた後は、新しいサーバーのモデル一覧を取得し直して選びます。
ローカルURLを選ぶと、チャットのリクエストはそのエンジンのプロセスに送られます。別の端末や外部のエンドポイントを選ぶ場合、入力した内容と送信対象の会話履歴はそのアドレスへ渡ります。モデルの動作、ファイルへのアクセス、外部通信はエンジンとその設定によって決まります。