# AIエージェントとLLMの違いとは？関係・仕組み・使い分けを解説

- URL: https://www.waltsu.co.jp/magazine/ai/ai-agent-llm/
- カテゴリ: AI活用 > AIエージェント
- 執筆: 藤井 俊輔（代表取締役） / 監修: 小洞 映（システムエンジニア）
- 公開日: 2026-09-30 / 最終更新日: 2026-10-29
- 発行: waltsu株式会社（waltsu MAGAZINE）

## こんな人におすすめ

- AIエージェントとLLMの違いを自分の言葉で説明したい
- 社内でエージェント導入の話が出たが、どこから作るか迷っている
- どのLLMを使えばいいのか判断できずにいる

ChatGPTは毎日使っているのに、AIエージェントと聞くと急に別世界の話に見える。同じものの言い換えなのか、別の製品なのかが判らない。社内で導入の話が出たとき、この一点が曖昧なままでは、何をどこまで作るのかを決められません。 LLMは大量の文章から言葉のつながりを学習したモデルで、AIエージェントはそのLLMを中核に道具・記憶・計画・実行の仕組みを組み合わせたシステムです。LLMは部品であり、AIエージェントはその部品を組み込んだ仕組みです。本記事では両者の関係、LLM単体でできることとできないこと、エージェントが足すもの、選び方の軸、業務での使い分けまでを順に整理します。

**この記事のゴール（読了目安 約11分）**：LLMとAIエージェントを部品と仕組みの関係で説明でき、自社の業務を「LLMで足りるもの」と「エージェントにする価値があるもの」に仕分けられる状態を目指します。

## この記事の結論

- LLMは言葉を扱う部品、AIエージェントはそれを組み込んだ仕組み
- エージェントは、外の情報・記憶・やり切りの穴を道具と手順で埋める
- エージェント用のLLMは、道具を正しく呼べるか・何を渡せるかで選ぶ
- コンテキストは長いほど良いのではなく、1回で何を任せるかを区切る

## AIエージェントとLLMの違い

LLMは言葉を組み立てる部品で、エージェントはそのLLMを中核に道具や記憶を足した仕組みです。エージェントの内側にLLMが入る、入れ子の関係です。

### LLMは頭脳という部品

LLMは、大量の文章から言葉のつながりを学習し、入力に続く言葉を組み立てるモデルです。質問に答え、要約し、翻訳し、分類する。ここまでが守備範囲で、**LLMは呼ばれたときに一度だけ考え、答えを返して終わります**。自分から社内システムを開くことも、送信ボタンを押すこともありません。

### エージェントは動く仕組み

一方の[AIエージェント](https://www.waltsu.co.jp/magazine/ai/about-ai-agent/)は、そのLLMを中核に置き、外の道具を呼ぶ、やり取りを覚える、目標を手順に割る、結果を見て繰り返す、という仕組みを足したシステムです。両者は棚に並ぶ競合製品ではなく、**エージェントの内側にLLMが入っている入れ子の関係**にあります。

![LLMは部品でAIエージェントはそれを組み込んだ仕組みであることを示した比較図](https://www.waltsu.co.jp/wp-content/uploads/2026/09/ai-agent-llm01.png)

## 生成AIとの関係

言葉の位置関係を整理します。AIという枠の中に生成AIがあり、そのうち文章を扱うものがLLMです。ChatGPTのような対話サービスは、LLMを使いやすくした製品にあたります。AIエージェントをこの並びの続きに置くのは誤りです。エージェントは横に並ぶ別の種類ではなく、**これらの上に乗って道具と手順を束ねる層**です。ChatGPTはLLMを使ったサービスであって、それ自体がエージェントではありません。

## LLM単体でできること

LLM単体でできるのは、手元の文章で完結する言葉の仕事と、人が判断する前の材料づくりです。

### 言葉を扱う仕事

得意なのは、入力された文章を読み、別の形にして返すことです。生成、要約、翻訳、分類、抽出。いずれも外の世界に触れず、手元の文章だけで完結します。**手元の文章で完結する仕事なら、仕組みを作らなくても足ります**。

### 判断の材料をそろえる

見落とされやすいのが、人が判断する前の材料を作る使い方です。議事録から論点を抜く、企画案を10通り出す、報告書の骨組みを組む。決めるのは人でも、下ごしらえは任せられます。

## LLM単体でできないこと

外の情報を取りに行くこと、前回の続きを覚えておくこと、最後まで実行することの3つは、LLM単体ではできません。

### 外の情報を取りに行けない

答えられるのは、学習した時点までの知識と、そのとき渡された文章の範囲だけです。今日の在庫数も、昨日届いた見積書も見えません。**知らないことを知らないと言えず、それらしい答えを作ってしまう**のもここに原因があります。

### 前回の続きを覚えていない

会話の窓を閉じれば、そこまでのやり取りは残りません。同じ前提を毎回説明し直すことになり、長い作業ほど負担が増えます。

### 最後までやり切れない

メールの文面は書けますが、送信はしません。手順書は作れますが、実行して結果を確かめることはしません。**LLMの出力はあくまで提案で、行動に変えるのは人の手です**。

## エージェントが足す4つの要素

LLM単体でできない3つを、ツール・記憶・計画・ループの4つの部品で埋めます。1つ目の道具から順に見ます。

### ツールで手足を持たせる

前章の3つの穴を、別々の部品が埋めます。[Anthropic「Building effective agents」](https://www.anthropic.com/engineering/building-effective-agents)も、その基本部品を「検索・ツール・記憶で拡張したLLM」と説明しています。1つ目は道具です。検索、社内データの照会、業務システムの呼び出し、メール送信。**道具を渡せば、知っていることではなく調べたことで答えられます**。

### 記憶で文脈を持ち越す

この持ち越しは、いきなり仕組みを作らなくても、人の運用で埋められる場合があります。AIとのやり取りが増えるほど前に伝えた指示は流れていくため、修正の指示を1か所に集めて残し、最後にその一覧どおり直っているかをAIに全ページ確認させる形にしました。**記憶とは、前のやり取りをどこに残し、いつ読み直させるかを決めること**です。

外に置いた記憶を必要なときだけ読み出す仕組みは[RAG](https://www.waltsu.co.jp/magazine/ai/ai-rag/)と呼ばれ、エージェントはそれを道具の1つとして使います。

### 計画で目標を分解する

3つ目は計画です。「先月の未入金を洗い出して督促する」の一言を、照会・突き合わせ・文面作成・送信の手順に分けます。

### ループでやり直させる

4つ目は、結果を見て足りなければもう一度試す繰り返しです。**一度で正解を出すのではなく、確かめながら近づける**のがエージェントの動き方です。

【関連記事】[Agentic AIとは？生成AI・AIエージェントとの違い、仕組み・活用例をわかりやすく解説](https://www.waltsu.co.jp/magazine/ai/agentic-ai/)

## 実行ループはどう回るか

1つの仕事を片づける間、内部では同じ1周が何度も回ります。状況を見る、次に何をするか考える、道具を使う、結果を見る。この1周は、[IBM「What are AI agents?」](https://www.ibm.com/think/topics/ai-agents)がReActの「Think-Act-Observe」と呼ぶ形です。「先週の問い合わせを分類して一覧にする」なら、取得・分類・抜けの発見・取り直し・表への整理を何周かで進めます。**LLMが呼ばれるのは各周回の「考える」の位置だけ**で、ほかの段階には関わりません。手を動かすのは道具の側で、LLMはそのつど次の一手を選びます。

![観察・思考・行動・観測のループの中でLLMが担う位置を示した循環図](https://www.waltsu.co.jp/wp-content/uploads/2026/09/ai-agent-llm02.png)

## エージェント用LLMの選び方

見る軸は、ツール呼び出しの精度、コンテキスト長の扱い、コストと応答速度、クラウドかローカルか、差し替えやすさの5つです。最後に表へまとめました。

### ツール呼び出しの精度

正しい道具を選べるか、渡す値を埋められるか、存在しない道具を勝手に作らないか。**会話が上手いことと、道具を正確に呼べることは別の能力です**。ツール呼び出しの正確さは、[Berkeley Function Calling Leaderboard（ICML 2025）](https://proceedings.mlr.press/v267/patil25a.html)のような専用のベンチマークで測る評価軸になっています。自社で使う道具の形で試すのが確実です。

### コンテキスト長の扱い

コンテキスト長は、長ければ長いほど良いというものではありません。AIに画面の修正を任せていたとき、トップページと下層ページをまとめて見せたところ、AIが全体を参照しようとして反応が目に見えて鈍くなりました。いまはトップページを先に仕上げ、内容を確認できてから下層へ広げる進め方に変えています。**見るべきは受け取れる長さの上限ではなく、1回で何を任せるかを区切れるか**どうかです。

### コストと応答速度

ループは1つの仕事で何度もLLMを呼びます。1回あたりが軽く見えても、**費用を左右するのは1回の単価ではなく1タスクで何周するか**です。

### クラウドかローカルか

扱うデータの機微さで決まります。社外に出せない情報を毎回渡すなら自社内で動かす選択肢が出ますし、そうでなければ手間の少ないクラウドが早く着手できます。

【関連記事】[ローカルLLMとは？クラウドとの違いやメリット・導入方法を解説](https://www.waltsu.co.jp/magazine/ai/local-llm/)

### 差し替えやすさ

モデルの顔ぶれは短い周期で変わります。いま最良のものを選ぶことより、**交換しても業務が止まらない形にしておくこと**のほうが長く役に立ちます。

| 見る軸 | 何を確かめるか | 判断の目安 |
|---|---|---|
| ツール呼び出しの精度 | 正しい道具を選び値を埋められるか | 自社で使う道具の形で試す |
| コンテキストの扱い | 一度にどれだけ渡すか | 広く渡すほど良いわけではない |
| コストと速度 | 1タスクで何周するか | 周回数×単価で見る |
| 置き場所 | クラウドか自社内か | 扱うデータの機微さで決める |
| 差し替えやすさ | 別のモデルに交換できるか | 業務ルールを外に出せているか |

## 業務での使い分け

人が指示して人が確かめる仕事ならLLM単体で足ります。システムをまたぎ、繰り返し、結果を確かめる仕事でエージェントが価値を出します。

### LLMで足りる仕事

人が指示を出し、出てきたものを人が確認して使う。この形で回るならLLM単体で十分です。**作るのが1回きりなら、仕組みにする理由はありません**。

### エージェントが効く仕事

価値が出るのは、次の3つが重なる仕事です。

- **またぐ**: 複数のシステムやファイルを行き来する
- **繰り返す**: 同じ手順を毎日または毎週なぞる
- **確かめる**: 結果を見て、足りなければやり直す必要がある

同じ画面を何度も行き来して情報を貼り付けているなら、そこは**手順が決まっているのに人が手作業でつないでいる**状態です。

| 仕事のタイプ | LLM単体 | AIエージェント |
|---|---|---|
| 単発の文章生成・要約 | 向く | 過剰 |
| 社内データを見て答える | 足りない | 向く |
| 複数システムをまたぐ手続き | できない | 向く |
| 毎日繰り返す定型処理 | 人が都度指示 | 向く |
| 最終判断と責任 | — | 人が持つ |

## エージェントにしない判断

作らないという判断も選択肢です。話は「できるか」で進みがちですが、実際に導入が止まる原因は別にあります。費用が読めない、価値を言葉にできない、暴走したときに止める手段がない。**この3つのどれか1つでも埋まらないなら、作らないほうが安く済みます**。3つ目は後回しにされがちで、どこまで任せてどこで人が止めるかは[自律型AIエージェント](https://www.waltsu.co.jp/magazine/ai/autonomous-ai-agent/)の論点として先に決める価値があります。

## 導入の進め方

まずチャットで価値を確かめ、次に道具を1つだけ足し、最後に人が止める位置を決めます。

### まずチャットで確かめる

最初にやるのは、その仕事がLLM単体で価値を出せるかを手で確かめることです。**チャットで役に立たないものが、仕組みにして役に立つことはありません**。

### ツールを1つだけ足す

次に、毎回人が貼り付けている情報を1つだけ選び、取りに行かせます。道具を1つに絞れば、うまくいかないときの原因も特定しやすいからです。

### 承認の位置を決める

そして、どの行動の前で人が止めるかを先に決めます。送信、更新、支払い。取り返しのつかない操作の手前に人を置くのが基本です。実装手段は[AIエージェントフレームワーク](https://www.waltsu.co.jp/magazine/ai/ai-agent-frameworks/)の比較が参考になりますが、選ぶのは3つが決まってからで間に合います。

## よくある失敗

つまずき方には型があります。

- **モデルを上位に替えれば直ると考える**: 原因は道具の設計と渡す情報の切り方にあることが多い
- **権限を先に広く渡す**: 何でもできる状態から絞るより、必要な分だけ足すほうが安全
- **評価の型を作らず本番に出す**: 物差しがないと、直ったかどうかも判らない

## 【プロの視点】性能より差し替えやすさ

エージェントの出来は、どのLLMを使うかで決まる。この見方は広く共有されていますが、長く動いている仕組みを見ると、決め手はそこではありません。決めるのは、**LLMを差し替えられる形になっているか**です。

モデルは半年で顔ぶれが変わります。いま最良のものに合わせて作り込むほど、次の入れ替えが重くなる。見るべきはモデル名ではなく、仕組みが3つの層に切れているかです。上から、業務ルール（判断基準と承認の位置）、道具と記憶（どこから取り、どこに残すか）、モデル。この順に分かれていれば、モデルの層だけを外して挿し替えられます。

業務ルールをプロンプトの中に書き込むのは危険です。「この場合は課長承認」「この金額以上は保留」といった判断が指示文に散らばっていると、モデルを替えるたびに全部を書き直すことになります。ルールは仕組みの側に、外から読める形で置いておく。

先の章で触れた、広い範囲をまとめて渡して反応が鈍くなった一件も、元をたどれば同じところに行き着きます。結果を左右していたのはモデルの側ではなく、何を渡し、何を渡さないかという設計の側でした。

進め方も同じです。まず性能の高いモデルで「これができれば合格」という基準を作り、そのうえで軽いモデルに置き換えて同じ基準を満たすか確かめる。**先に基準があれば、モデルの入れ替えは検証作業になります**。

![業務ルール・ツールと記憶・モデルの3層に分け、モデルだけを差し替える設計を示した図](https://www.waltsu.co.jp/wp-content/uploads/2026/09/ai-agent-llm03.png)

## 【waltsu視点】試せる範囲を広げる

エージェント化の価値を、人の作業時間が何時間減ったかで測る場面をよく見ます。ただ、それだけでは投資の理由として弱くなります。waltsuが見ているのは別の数字で、**同じ人数で月に何回試せるようになったか**です。

LLM単体は1回の出力を速くします。けれど回すのは人なので、人が疲れた時点で止まります。エージェントが引き受けるのは「回し続ける」ほうです。作って、確かめて、直して、もう一度出す。この繰り返しを人の集中力から切り離せると、試す回数そのものが増えます。

回数が増えて変わるのは、当たりを引く確率ではなく、外れを早く捨てられることです。月に1回しか試せない体制では、1回の失敗が1か月の遅れになる。だから慎重になり、確実そうな案しか出せなくなる。**試行回数が少ない組織ほど、無難な案しか通らなくなります**。ここは時間削減の数字には表れません。

最初に見るべきは、削減できる工数ではなく、いま月に何回試せているかです。その数を数えてから、どこを仕組みに任せれば増えるかを考える。順番が逆になると、速くなっただけで回数は変わらない仕組みができます。

明日やる最初の一歩として、**毎日LLMに貼り付けている情報を1つだけ、取りに行かせる形に変えてみてください**。消えるのは手間ではなく、試す前のためらいのほうです。

![チャットから段階的にエージェント化し、試行回数を増やす3ステップの図](https://www.waltsu.co.jp/wp-content/uploads/2026/09/ai-agent-llm04.png)

## まとめ

AIエージェントとLLMは、比べるものではなく重なるものです。LLMは言葉を扱う部品で、エージェントはそこに道具・記憶・計画・ループを足した仕組み。「LLMが賢くなればエージェントになる」のではなく、足りないところを設計で埋めた分だけ近づきます。

自社の業務は、人が指示して人が確認する範囲で終わるならLLM単体、複数のシステムをまたいで繰り返すならエージェント、と線を引いてみてください。モデルは、性能の高さより、道具を正しく呼べるか、渡す範囲を区切れるか、あとから差し替えられるかで選びます。

まずは毎日貼り付けている情報を1つ、取りに行かせるところから試してみてください。そこから先の、どこまで任せるか、どこで人が承認するかといった設計に迷う場面が出てきたら、waltsuがAI活用の進め方から仕組みづくりまでご支援します。

## よくある質問

**Q. ChatGPTはエージェントですか**  
A. ChatGPTはLLMを使った対話サービスで、標準ではエージェントではありません。ただし外部の道具を呼び出す機能を持たせた形も登場しており、境目は提供側の仕様で変わります。

**Q. LLMなしでも作れますか**  
A. 作れます。手順が完全に決まっているならルールベースの自動化で十分です。LLMの出番は、自然言語の指示を解釈し、状況を見て次の手順を選ぶ部分にあります。

**Q. RAGとは何が違いますか**  
A. RAGは、外にある知識を検索して答えに反映させる仕組みです。エージェントはその上位にあり、RAGを道具の1つとして持ちます。対立しません。

**Q. 高性能なLLMほど良いですか**  
A. 用途によります。ループの中で何度も呼ばれる工程では速度と費用の差が大きく出るため、軽いモデルが総合で勝つこともあります。難しい判断だけを高性能なモデルに任せる組み合わせも一般的です。

**Q. 途中でLLMを変えられますか**  
A. 変えられる形に設計してあれば可能です。逆に業務の判断基準を指示文に埋め込んでいると、入れ替えのたびに書き直しが発生します。

## 執筆者

**藤井 俊輔**（代表取締役）ベンチャー企業の外部CMOや水族館のマーケティング担当などに従事。オンライン/オフライン問わず集客を中心としたマーケティング施策に強み。

プロフィール: https://www.waltsu.co.jp/magazine/supervisor/shunsuke-fujii/

この記事は waltsu 公式ブログの記事（https://www.waltsu.co.jp/blog/ai-agent-llm/）をもとに再編集したものです。