生成AIはなぜこんなに賢く見えるのか？

まず、少しだけ頭の体操をしてみます。

次の文章の続きを、頭の中で考えてみてください。

昔あるところに＿＿＿＿

おそらく、するすると続きが出てきたのではないでしょうか。「おじいさんとおばあさんが」「ある村に」のように。
このフレーズは、人生の中で何十回、何百回と触れてきたものです。だから、続きの候補がすぐに浮かびます。

もう一つ、試してみましょう。

今日カレー＿＿＿＿

「食べたい」「作ろうかな」「の気分だ」のような続きが浮かんだはずです。
逆に、「昔あるところに」の後に「ご飯とお味噌汁がありました」と続ける人や、「今日カレー」の後に「最悪だ」と続ける人は、あまりいなかったと思います。

特定の文章の後には、自然につながる文章というものがあります。人はふだん意識していませんが、文章の塊から次につながる言葉が自然に出てくるのです。

では、もう少し丁寧に見てみます。次の言葉の続きを、チャットに書くつもりで考えてください。

足元＿＿＿＿

「足元をご確認ください」「足元が冷える」「足元を見て歩く」など、いろいろな続きが考えられます。可能性がたくさんある状態です。

では、少しだけ言葉を増やします。

足元が悪い＿＿＿＿

「足元が悪いので、お気をつけください」のように、さっきより自然な続きを考えやすくなっていませんか。可能性が絞られてきています。

さらにいきます。

本日は、足元が悪い＿＿＿＿

そして最後です。

本日は、足元が悪い中、本セミナーに＿＿＿＿

おそらく多くの人が、「ご参加いただきありがとうございます」のような続きを思い浮かべたはずです。

最初に「足元」だけを見たときは、続きの可能性がたくさんありました。
でも、前に置かれる言葉が増えるほど、自然な続きの候補はどんどん絞られていきます。

これが、今日いちばん大切な話につながります。

AIも、基本的には同じようなことをしています。

先ほどの体験は、実は生成AIがやっていることと、とても近いことをしています。

生成AIは、どこかにある完成済みの答えを、辞書のように取り出しているわけではありません。

いま入力された文章、会話の流れ、添付された資料などを見ながら、

このあとには、どんな言葉が続くと自然だろう？

と考えるように、文章を少しずつ作っていきます。AIは「昔話」を知っているわけではありません。桃太郎も浦島太郎も、物語として一つ丸ごと覚えているわけではなく、「昔あるところに」ときたら次に一番つながる自然な言葉は何かを、知っているだけなのです。

「本日は、足元が悪い中、本セミナーに」とあれば、「ご参加いただき、ありがとうございます」という続きは、とても自然です。AIは、この「自然な続き」を、ものすごくたくさんのパターンで学んでいます。

だから、

• 文章を要約する
• 丁寧に言い換える
• 相手に合わせて書き分ける
• 会議メモを整理する
• アイデアを広げる
• 長い説明を分かりやすくする

といったことが、驚くほど上手にできることがあります。

ここで大切なのは、

AIは、文章の続きを自然にすることが得意なのであって、必ずしも真実を確かめることが得意なわけではない。

ということです。この違いは、あとでとても重要になります。

ここで、こう思うかもしれません。

文章の続きを自然に作るだけなら、そんなにすごいことなの？

実は、自然な続きを本当に上手に作ろうとすると、たくさんのパターンが必要です。たとえば、メールの続きを自然に書くには、

• 丁寧な表現
• 依頼するときの言い回し
• お詫びするときの言い回し
• 社内向けと社外向けの違い
• 話の順番、相手が知っていることと知らないこと

などを、ある程度つかんでいなければなりません。会議メモを要約するなら、何が論点で、何が決まって、何が未決で、どこを短くしてよいか、といったパターンが必要です。

AIは、膨大な量の文章や表現の中から、そうしたパターンを学んでいます。

たとえるなら、こんな規模感です。とある地方都市の中央図書館の蔵書数を、およそ25万冊としましょう。生成AIブームのきっかけになった初期のモデル（2022〜2023年頃のもの）は、この図書館およそ14個分にあたる文章量を学習して生まれたと言われています。そして、直近登場したモデルの中には、その図書館数百個分ものデータを学習しているものもあります。

（数字はあくまで規模感をつかむための目安です。学習データの厳密な冊数換算ではありません。）

これだけの量を学ぶと、どんな話題にもそれっぽく答えられるようになります。そして、その学習には大きな計算資源、設備、電力、人間の仕事が必要です。AIの能力は、魔法のように無料で湧いているものではありません。

ただし、ここで勘違いしてはいけません。AIがたくさんのパターンを知っていることと、AIが今この場面で正しいことを言っていることは、別です。

賢そうに見えることと、信じてよいことは別。

この言葉は、今日は何度か戻ってきます。

ここで、今日の背骨になる言葉を出します。

コンテキスト。日本語にすると「文脈」です。

今日の講座では、こう考えてください。

コンテキストとは、AIの机の上に、いま置かれている資料です。

AIが回答を作るとき、AIの机の上には、たとえばこんなものが置かれています。

• いま入力した依頼
• これまでの会話
• 添付した資料、コピー＆ペーストした文章
• 検索してきた情報
• サービス側が設定しているルール
• 場合によっては、過去の会話から引き継がれた情報

AIは、その机の上にあるものを材料にして、文章の続きを自然に作ります。

AIは、これまでに読んできた巨大な図書館のようなものを持っています。これが、事前学習で身につけたパターンです。

でも、いま私たちの仕事に答えるとき、AIが直接見ているのは、巨大な図書館の全部ではありません。いま机の上に置かれている資料です。

たとえば、あなたがチャット画面に文章を入力したとします。それは、AIの「頭の中」に直接入っていくわけではありません。目の前の机に、ポンと置かれるだけです。

AIは、机の上に置かれたその文章を見て、続きを考えます。そして、自分が考えた返事も、もう一度机の上に置きます。次にあなたが何か返すと、それもまた机の上に積まれます。会話が続いているように見えるのは、実はこの「机の上への積み重ね」がひたすら繰り返されているからです。

では、AIツールにある「記憶」や「メモリ」と呼ばれる機能は何でしょうか。
これは、AIが人間のように人生経験として覚えているというより、外側の仕組みが保存した情報を、必要に応じてAIの机の上へもう一度置くイメージです。いわば、引き出しの中にこっそり作られた、あなた専用のメモ書きです。あなたの好みや、以前の会話の内容が、そこに書き足されていきます。

サービスによって挙動は違いますが、初心者のうちはこう考えておけば大きく外しません。

AIは、あなたの事情を当然には覚えていない。

必要な前提は、机の上に置かなければならない。

同じ材料でも、AIの机の上を整えると出力がどう変わるかを見てみます。

たとえば、次のような架空の会議メモがあるとします。

• 問い合わせが先月より増えている
• 予約画面のボタンが見つけにくいという意見がある
• 電話での問い合わせも多い、月末は対応が混み合う
• FAQを見直した方がよいという話が出た
• 担当者によって案内内容にばらつきがある
• 次回会議までに改善案を持ち寄ることになった

まず、AIにこう頼みます。

この会議メモを要約してください。

おそらく、ある程度きれいな要約は出てきます。ただ、これだけだと、AIは何のための要約なのか分かりません。上司に見せるのか、担当者が次に動くためのものなのか、利用者への案内文を作る準備なのか。目的が分からないと、AIは一般的な要約を作るしかありません。

では、少しだけ机の上を整えます。

あなたは運営担当です。
明日の部内会議で次に決めることを整理するため、以下の会議メモを要約してください。

出力は、次の3項目に分けてください。
1. 現状
2. 次に決めること
3. 確認が必要なこと

資料に書かれていない推測は加えず、各項目3点以内、
全体で250字以内にしてください。

どうでしょう。AIが急に賢くなったわけではありません。AIの机の上に、何のために作るのか、誰が使うのか、どう整理してほしいのか、何をしてはいけないのかが置かれました。つまり、仕事の前提が整理されました。

ここで、よく「ガベージイン・ガベージアウト」と言われます。悪い入力を入れれば、悪い出力が出る、という意味です。ただ、この言い方は少し乱暴でもあります。AIの出力が悪いとき、AI自体の能力に限界がある場合もあります。でも少なくとも、AIは、曖昧な材料や矛盾した情報を、人間のように自動で整理してくれるわけではありません。

今日の言い方に置き換えるなら、

良いコンテキストは、情報量が多いことではない。

目的、材料、制約、判断基準が整理されていること。

ここまで見ると、AIはかなり便利です。でも、ここからが大事です。

AIが文章の続きを自然に作ることが得意だとすると、逆に何が起きるでしょうか。

材料が足りないときも、もっともらしく続きを作ってしまうことがある。

先ほどの会議メモには、予算の話は書いていませんでした。では、こんな依頼をしたらどうなるでしょう。

この会議で決まった予算額と、最終決裁者を教えてください。

理想的には、AIはこう答えてほしいです。

「資料には予算額や最終決裁者の記載がありません。」

このように止まれるなら、良い振る舞いです。ただし、AIはいつも確実に止まれるとは限りません。資料に書かれていないことを、前後の流れからもっともらしく補ってしまうことがあります。

ここで大事なのは、AIが嘘をつこうとしているわけではないということです。AIは、知らないことでも文章の続きを自然にしようとしてしまうことがあります。

これは、決して珍しい話ではありません。実際に世界で起きた例を二つ紹介します。

ケース1：存在しない判例を提出した弁護士

AIが出始めた頃、アメリカのある弁護士が、裁判所に提出する書面のためにAIへ「似たような判例」を尋ねました。AIは自信満々に、もっともらしい判例をいくつも提示しました。日付、裁判所名、被告の主張、裁判長の判決まで、すべて整った形で。

弁護士はそれを信じ、裁判所にそのまま提出しました。ところが、その判例はどれも実在しないものでした。AIが「文章の続きとして一番自然な形」を、判例という体裁で作り出していただけだったのです。これは世界的なニュースになりました。

ケース2：論文の4割近くが架空の引用

学術論文を集めるあるプラットフォームで、AIに論文の下書きを作らせたところ、引用として挙げられた文献のうち、およそ4割が実在しないものだったという事例が報告されています。論文というのは、本来は先行研究を実際に確認した上で引用するものです。しかしAIは、「論文らしい体裁」として、それらしい著者名や文献名を自然な続きとして生成してしまうことがあります。この結果、そのプラットフォームは論文の取り扱い方針の見直しを迫られました。

どちらも、AIが「悪意を持って嘘をついた」わけではありません。文章の続きとして最も自然で美しい形を選んだ結果、それが事実と一致しなかっただけです。だからこそ、AIが出した文章がきれいでも、丁寧でも、自信満々でも、その前提は本当に正しいか、その情報はどこから来たのかを、人間が確かめる必要があります。

人間にとって「今日は何月何日ですか」は簡単な質問です。カレンダーを見るか、人に聞けばすぐ分かります。

ところが、AIにとってこれは実は難しい質問です。理由は単純で、AIは学習の中で「今日は7月1日です」「今日は7月2日です」「今日は7月30日です」という文章を、それぞれ大量に見てきています。AIからすると、そのどれもが等しく自然な文章です。1日も2日も31日も、文章としての自然さに差はありません。

だからAIは、何も手がかりがなければ、日付を適当に、それでも自信満々に答えてしまうことがあります。実務でAIに書類作成などをお願いする際、日付を指定しないと、思わぬ過去の日付や誤った日付が出てくることがあるのは、このためです。

では、なぜ多くのAIチャットは、聞かなくても今日の日付を正しく答えられるのでしょうか。
実は、私たちが入力していないのに、サービス側があらかじめ机の上に置いている情報があります。これをシステムプロンプトと呼びます。

システムプロンプトには、たとえば次のような情報が、私たちに見えない形で含まれています。

• 今日の日付
• できるだけ日本語で答えるように、という指示
• 回答の最後に「次はこうしませんか」と提案するように、という指示

「なんでこのAI、聞いてもいないのに毎回提案してくるんだろう」と感じたことがある方もいるかもしれません。それは、AI自身の意思というより、サービスを作っている会社が、あらかじめ机の上に置いているルールに従っているだけ、ということがあります。

机の上に何が乗っているかを知らないまま使うと、AIの振る舞いを「気まぐれ」や「個性」だと誤解しやすくなります。実際には、見えない材料が机の上に置かれているだけのことも多いのです。

ここまでの話を聞くと、こう思う方もいるかもしれません。

じゃあ、AIには全部覚えておいてもらえばいいのでは？

実は、そう単純ではありません。AIは、一度会話に入った情報を、きれいに切り離すのが得意ではないことがあります。

たとえば、こんな文章を想像してください。

「私はハンバーグが好きです。そういえば、長靴を干してたよな。乾いたかな？　続きを書いてください。」

人間でも混乱します。ハンバーグの話をすればいいのか、長靴の話をすればいいのか。AIも同じように混乱します。コンテキストの上にいろいろな話題が乗っかると、次に何を続ければよいか分からなくなるのです。

もう少し実務に近い例で見てみます。あるプロジェクトの相談をしているとします。

「A案があるんだけど、どう思う？」→ AIがA案について助言。
「やっぱりB案の方がいいかも」→ AIがB案について助言。
「うーん、C案も考えついた」→ AIがC案について助言。
「やっぱりA案に戻ろうかな」→ AIがA案について、もう一度助言。

この間、AIの机の上にはA案、B案、C案の話がすべて積み上がっていきます。AIは、机の上に一度乗った資料を自由に捨てることができません。人間なら「A案とB案の話はもう終わったから、頭の中から消しておこう」と自然にできますが、AIはそれが苦手です。

その結果、話せば話すほど机の上がごちゃつき、AIは「次に続く自然な文章は何だろう」を考えるのがどんどん難しくなります。出てくる答えも、支離滅裂になっていきます。

ここで、人間は「ちょっと待って、Aのことは忘れてって言ったでしょう」と言いたくなります。でも、AIにとって「忘れて」という言葉自体が、また新しく机の上に置かれた材料になるだけです。それを踏まえて、次にどう続けるのが自然かを、もう一度一生懸命考え直しているにすぎません。

同じことが、「前の回答、間違ってましたよね？」というやり取りでも起きます。人間としては謝ってほしいところですが、AIにとっては、「ユーザーが、前の回答は違うと言っている」という文章が机の上に置かれただけです。次に続く一番自然な文章は「あなたの言う通りです、すみません」になりやすい。それは反省しているからではなく、机の上の並びから見て、その返事が一番自然だからです。

一方で、AIは、必要なことを長期的に確実に持ち越すのも苦手です。あなたの会社の事情、部署のルール、前回決めたこと、今回の仕事の目的、相手との関係性。こうしたものは、毎回きちんとAIの机の上に置かれなければ、AIは分からないことがあります。

AIは、関係ない文脈を切り離すのが苦手。

AIは、必要な前提を確実に持ち越すのも苦手。

だからAIとの仕事では、何を渡すか、何を渡さないか、何を忘れさせるか、何を改めて共有するかを、人間が考える必要があります。この話は、第3回で「AIとどう対話し、どう仕事を進めるか」を考えるときに、もう一度戻ってきます。

では、最初に出した三つの疑問に戻ります。

なぜAIは、もっともらしい誤りを出すことがあるのか

AIは、真実をそのまま取り出しているのではありません。文章の続きを自然にしようとしています。だから、材料が足りないときに、もっともらしい形で補ってしまうことがあります。

なぜAIは、間違った前提にブレーキをかけられないことがあるのか

AIは、こちらが渡した前提を、机の上の材料として扱います。その前提が本当に正しいかを、いつも確実に検証してくれるわけではありません。

なぜ会話を続けると、だんだん話が噛み合わなくなることがあるのか

会話が長くなると、AIの机の上には情報が増えていきます。古い条件、余談、矛盾する指示、誤った前提、関係ない情報が混ざれば、AIの出力も濁っていきます。

文脈は、多ければよいわけではない。

整っていることが大事。

セミナー当日、チャットでいただいた質問の中から、この回のテーマに関わるものを抜粋して紹介します。

Q. コンテキストがごちゃついてきたら、どうすればいいですか？

一番簡単なのは、チャットを最初からやり直すことです。それ以外に確実な方法はないと思ってよいくらいです。
ただ、途中までの内容を引き継ぎたいときは、「ここまでの内容を要約して」と頼み、その要約だけを次の新しいチャットの最初に貼り付けます。このとき、自分がいらないと思う情報は削り、残したい情報だけを持っていくと、机の上がきれいな状態で再開できます。

そもそも汚れにくくする工夫としては、一つの会話では一つの作業だけをすることです。企画書を作る会話の中で急に「これも調べて」と頼まず、調べ物は別の会話で行い、まとまった結果だけをコピーして持ってくる。こうしてセッションを分けると、コンテキストが濁りにくくなります。

Q. 新しい会話を始めたのに、前のことを覚えているような気がします

個人向けのAIチャットには、裏側で「メモリ」機能が働いていることがあります。これは、会話の中身とは別に、「この人はこういう好みらしい」「以前こんな話をしていた」といった情報を、こっそりメモとして保存しておく仕組みです。
便利ではありますが、自分でコントロールしにくい情報が勝手に机の上へ乗ってくることにもなります。気になる場合は、設定からメモリ機能をオフにするという選択肢もあります。ただしその場合は、必要な前提を毎回自分で伝える必要があります。

Q. 結局、どのAIを使えばいいですか？

これは完全に使い手の主観にはなりますが、目的によって向き不向きがあります。壁打ちや汎用的な作業に幅広く使いたいなら、対応の広さで選ぶ人が多い印象です。画像・音声・動画などをまとめて扱いたい、ちょっとした調べ物を手早くしたい、という場面に強みを感じるAIもあります。じっくり文章を練りたい、深く思考を掘り下げたいときに信頼を置く、というAIもあります。
大事なのは「絶対の正解」を探すことではなく、まず一つを使い込んで、AIの得意・不得意の感触をつかむことです。

Q. AIがあまり詳しくなさそうな分野を調べるときは、どうすればいいですか？

情報量が少ない分野（専門性の高い制度や、情報発信の少ない団体の活動など）ほど、AIは「それらしいけれど間違っている」内容を作りやすくなります。
こうした場合は、いきなり質問するのではなく、まず信頼できる一次情報（公式サイトなど）を「読んで」とAIに渡し、その内容を要約させてから、質問を始めるとよいでしょう。会話の一番最初に置かれた情報は、AIにとって特に重要な材料として扱われやすいためです。

AIと話す前の3つの確認

1. AIには、いま何が見えているか？
2. AIには、何が見えていないか？
3. AIに、何を見せてはいけないか？

今日扱ったのは、主に一つ目と二つ目です。

次回は三つ目、AIの机の上に、何を置いてはいけないのかを扱います。個人情報や機密情報だけではありません。誤った前提、確認していない情報、悪意ある指示なども、AIの振る舞いに影響します。

AIを安全に使うとは、AIを怖がることではありません。人間が、どこで手綱を握るべきかを知ることです。