コラム
2026年5月7日
「完全無料で、データが外部に出ないAIチャットボットを作りたい」そう思い立って、いろいろ試してみた結果、なんとか動くものは出来上がりましたが、想像以上に大変でした。
本記事は、実際にチャットボットを構築・検証した作業記録をもとに執筆しています。外部記事や調査レポートからの引用はなく、掲載している設定値・エラー内容・応答速度はすべて検証時の実測値です。
【目次】
Difyの設定を終えたら、次は業務への活用が本番です
環境構築ができたら、次のステップは実際の業務フローへの組み込み。CoopelのDify導入ガイドブックでは、設定完了後の活用パターンと自動化の進め方をまとめて解説しています。
⇒ Dify導入ガイドブックを無料でダウンロード
ChatGPT や Claude は非常に便利ですが、毎月の利用料金と「データがどこかのサーバーに送られている」という懸念が常につきまといます。特に社内情報や個人情報を扱う業務では、クラウドAIの利用に慎重にならざるを得ません。そこで今回は、自分のMacの中だけで完結するAIチャットボットの構築に挑戦しました。使用したのは Ollama（ローカルLLM実行環境）と Dify（オープンソースのAIアプリ開発プラットフォーム）の組み合わせです。
他社はAI×自動化をどう定着させた？
FAQ対応や社内規定の案内、定型業務の繰り返し削減など、中小企業がスモールスタートで成果を出した自動化事例をまとめてお届けします。
⇒ お客様導入事例集を無料でダウンロード
まずは必要なツールの準備をしていきます。
まず Docker Desktop を公式サイトからダウンロードしてインストールします。Apple Silicon（M1/M2/M3）の場合は「Mac with Apple Chip」版を選んでください。インストール後、Docker Desktop を起動しておきます。
Dify はオープンソースの LLM アプリ開発プラットフォームです。以下のコマンドを実行することで、Docker Compose で一発起動できます。
git clone <https://github.com/langgenius/dify.git> cd dify/docker cp .env.example .env docker compose up -d
初回はイメージのダウンロードに数分かかります。完了したら「 http://localhost:8080 」からアクセスできます。管理画面が表示されればセットアップ完了です。
以下のコマンドを実行します。
brew install ollama
モデル選びには意外な落とし穴がありました。最初に試した Qwen 2.5（7B） は高性能ですが、モデルの出所やガバナンスの観点から、よりオープンな選択肢として Meta 製の Llama 3.1に切り替えました。
以下のコマンドを実行します。
ollama pull llama3.1:8b
Apple M3 の Metal GPU をフル活用するため、全インターフェースで起動します。OLLAMA_HOST=0.0.0.0:11434 ollama serve
上記のコマンドを実行後、ollama ps コマンドで 100% GPU と表示されれば成功です。
ここが最初の山場でした。Dify は Docker コンテナ上で動いているため、localhost:11434 では Ollama に届きませんでした。コンテナの中から見ると localhost は「自分自身（コンテナ）」を指してしまうからです。macOS では host.docker.internal というホスト名を使うことで、コンテナからホストの Mac に接続できます。
Dify → 設定 → モデルプロバイダー → Ollama で Base URL を以下のように設定します。
http://host.docker.internal:11434
背景： Ollama を Docker コンテナ内で動かすと、macOS の GPU（Metal）にアクセスできず CPU のみの動作になるようです。処理速度が大幅に低下するため、Ollama はホストの Mac で動かすことにしました。
DifyのRAG構築、実際どう始める？
ナレッジベースの整え方からワークフロー設計まで、現場で使えるDify活用の手順をCoopelが1冊にまとめました。
⇒ Dify導入ガイドブックを無料でダウンロード
Llama 3 は 2023年12月頃までしか学習データを保持していないようでした。そこで、チャットボットにリアルタイムの情報を持たせるため、Web 検索ツールを追加しました。
最初は DuckDuckGo を選びました。しかし短時間に複数回検索するとレート制限に引っかかり、安定して使えない場面が出てきました。
そこでヨーロッパ発のオープンソース検索エンジンで、完全無料・制限なし・プライバシー保護の三拍子が揃って SearXNG の自己ホストに切り替えました。
Dify の docker-compose.yaml に以下を追加して同じ Docker ネットワークに入れる形で設定します。
searxng:
image: searxng/searxng:latest
restart: always
ports:
- "8888:8080" #※1
volumes:
- ./volumes/searxng:/etc/searxng
networks:
- default #※2
Dify からは http://searxng:8080 でアクセスできます。同じ Docker ネットワーク内ではコンテナ名でそのまま通信できるのが便利です。
設定ファイル（settings.yml）には以下の記述が必須です。
server:
secret_key: "your-custom-key" #※3
limiter: false bind_address: "0.0.0.0"
port: 8080
search:
formats:
- html
- json #※4
補足
Dify のエージェントには ReAct と Function Calling の2種類があります。
モデルに「決まった書き方で答えてください」とお願いするイメージです。ただし、これは人間に「必ずこの書式で書いて」と頼むのと同じで、約束を守ってもらえるとは限りません。実際、モデルが指定した形式を守らなかったり、途中で崩れたりすることがあります。Llama 3.1（8B）は比較的小さいモデルなので、この「書き方のルール」を守り続けるのが苦手です。
「書き方」をモデルではなくシステム側が管理します。モデルは「何を検索したいか」だけ考えればよく、フォーマットはDifyが自動的に整えてくれます。
料理に例えると以下のようなイメージです。
最初は ReAct モードを使っていましたが、Llama 3.1 が決められた JSON フォーマットを正しく出力できず、検索を何度も繰り返してループから抜け出せない事態が続きました。
結果として、Function Calling モードに切り替えることで安定しました。 モデル設定で「Function call support: Yes」を有効にすることが前提条件です。また、最大反復回数はデフォルトの10から 3に下げることをおすすめします。無駄なループを防ぎ、応答速度が改善されることが想定されるためです。
日本語で質問しても英語で返してくる問題が発生しました。その問題に対しては、以下のシステムプロンプトが効果的でした。
"You are a helpful Japanese assistant.
・Always respond in Japanese only. Never use English.
・Use search tools to find current information.
・Summarize search results clearly in Japanese.
・Be concise and accurate."
ローカルモデルへの日本語指示は、日本語よりも英語で書いた方が効きやすいという点は興味深い発見でした。英語が苦手でも、Google Translate などで英訳してシステムプロンプトに記載しておくことをおすすめします。
最終的には、日本語で質問すると SearXNG で検索し、結果を日本語でまとめて返すチャットボットが完成しました。「今日の MLB の結果を教えてください。大谷と村上の結果も」という質問に対して、検索結果を元にある程度日本語で回答できることを確認しました。
ただし、設定が不足しているのか、以下の制限がありました。
| 項目 | 実態 |
|---|---|
| 応答速度 | 1回の返答に30〜50秒かかる |
| 日本語精度 | 指示が100%守られるわけではない。回答に英語が混ざることがある |
| 情報の正確性 | 古い情報が混ざることがある |
これがローカルモデルの現状の限界なのか、設定の最適化不足によるものなのかは判断できていません。ただし、GPT-5やClaudeと同等の品質を期待するのは現実的ではないでしょう。
「完全ローカル・完全無料・データ外部送信ゼロ」これらの条件を満たすAIチャットボットを、ローカル環境(Mac)で動かすことができました。社内の機密情報を扱う用途や、クラウドAIのコストを抑えたい場面では十分に実用的だと考えれます。また、何より、AIの裏側の仕組み（モデル、エンドポイント、エージェント、ツール連携）を手を動かしながら理解できたことが大きな収穫でした。「完全無料のローカルAI」は夢ではなさそうです。ただし、設定作業にはそれなりに時間がかかることを覚悟しておく必要があります。
Difyの設定を終えたら、次は業務への活用が本番です
環境構築ができたら、次のステップは実際の業務フローへの組み込み。CoopelのDify導入ガイドブックでは、設定完了後の活用パターンと自動化の進め方をまとめて解説しています。
⇒ Dify導入ガイドブックを無料でダウンロード
