OpenAI互換サーバーに接続する
OpenAI互換のモデル取得とチャット用APIを提供するサーバーに接続する手順です。サーバーが起動し、利用できるモデルがある状態から始めます。Naidanはブラウザから接続しますが、サーバー自体は起動しません。チャットを送ると、入力と回答に必要な会話の文脈は、選んだURLのサーバーへ送られます。
まず Naidan を開きます。初回設定が表示されたら右上の × で閉じ、手順1に進みます。
ローカル用のプリセットには、LM Studioの http://localhost:1234/v1 と llama-serverの http://localhost:8080/v1 があります。実際の接続先に合うものを選ぶか、ベースURLを入力してください。外部APIではHTTPヘッダーが必要な場合があります。認証方法、CORSの設定、利用できるモデルは接続先ごとに異なります。
1. 接続設定を開く
サイドバー下部の設定を選びます。設定画面では初期状態で接続が開きます。ほかのタブを表示している場合は接続を選んでください。
2. 接続方式とURLを選ぶ
API プロバイダーをOpenAI 互換にします。接続先が合う場合はLM Studio (local)かllama-server (local)を選びます。プリセットは方式とURLを一緒に設定します。別の互換サービスでは、必要なら /v1 などのパスを含めたベースURLを入力してください。ローカルのみ版とCurated版では任意の外部APIのURLには接続できません。その接続先を許可する通常のHosted版などを使ってください。
3. 必要な場合だけヘッダーを追加する
接続先から指定されたヘッダーがある場合は、カスタム HTTP ヘッダーのヘッダーを追加を選び、名前と値を入力します。Naidanはリクエストにそのヘッダーを付けます。不要ならこの操作は飛ばしてください。共有するURLには認証情報を含めないようにします。
4. 接続を確認する
接続を確認を選びます。Naidanがモデル一覧を取得できると、短時間接続済みと表示します。設定画面でlocalhostの接続先を変更した場合は自動確認も行われます。失敗したらURL、サーバーの状態、ブラウザのCORS・オリジン・CSPのエラーを確認します。
5. デフォルトモデルを選んで保存する
モデル選択のデフォルトモデルから、接続先が返したモデルを選び、変更を保存を押します。図のモデル名は表示例です。このデフォルトを継承する既存・新規の会話に適用され、チャットやグループではモデルを上書きできます。
モデル一覧が表示されないとき
まずサーバーのベースURLと、サーバー自身のモデル一覧を確認します。Naidanは接続確認で /models、チャットで /chat/completions をURLに付けます。file:// で開くとブラウザが Origin: null を送る場合があり、Hosted版ではCSPが接続先を制限する場合があります。サーバーはブラウザからのリクエストと必要なヘッダーを受け入れる設定が必要です。