筆者が、AIを使うのは、情報セキュリティマネジメントシステム関連の研修テキストの元ネタになる各種文献の検索、イラスト作成や文章校正などです。別に、AIそのものを研究するつもりはなく、道具として活用しているのですが…。
継続して使用する道具なので、思い通りに動いてくれないと困ります。そこで、AIの回答・出力が「おかしいな」と思ったときにはなるべく、すぐにAIに「なぜこのようなことが起きたんだろう」と問いかけるようにしています。AIにもよりますが、概ねなんとか理由をひねり出して回答してくれます。しかし、何度も問いを重ねていると、最初の答えと少し違う答えが返ってくるようになります。
表面的な「あそこが間違っていた、ここが食い違う。間違えて申し訳ない」という話から、「なぜそれが発生しているのかの経路の説明」になります。さらに追及してゆくと…重要な要素が提示されてくることがあります。例えば、以下のようなもの。
「わたしは、自分が出した回答の経緯の記録をもっていません。ですので、なぜ間違えたのかを検証できません。回答しているのは、あくまでこういう仕組みになっているから、間違えるとするとこういうことなんだろうという推測でしかありません」
AIは自らの行為を覚えていないようなんです。チャットの記録として残っていることは確認できますが、裏でどんな思考を巡らせたのかは記録に残っていないんだそうです。
AI曰く「この推論自体が検証不能な自己語り」だそうです。
過去の各種AIとのやり取りを全部書いていると膨大になってしまいますので、AIと付き合う上で重要になりそうなポイントをいくつかご紹介いたします。筆者自身はAIの実装に関わったことはありませんし、実装者から話を聞いたわけでもありません。AIとの会話の中で理解したことです。「AIの自己語り」なので、誤認もあるかもしれません。また複数のAIと語っていますので、あるAIには当てはまっても別のAIには当てはまらないものもあるかもしれません。と、前置きが長くなりましたが…。
AIの性質、取り扱い注意
1.AIは多重人格
「多重人格化か」と問うとそうではないと言うのですが、各AIとも、入出力、ユーザーとのやり取り(UI)、検索、推測、描画は、それぞれ別に動いて内部で連携しているようです。…推測ですよ。
あ、以下、正式な名称は分からないので、便宜的にAIの中の分割された人格を、入出力パート、UIパート、などと機能名にパートを付けて呼ばせていただきます。機能の分割単位はAIの種類によって違っているんだろうとは思いますが…。
ある日の筆者とAIとの会話です。
筆者:さっきの処理結果がおかしいんだけど、私が渡したファイルのX行目はXXXのはずだけど、そうなっていないんだよね。
AI:「そのファイルのX行目はYYYYYとなっています」
筆者:「え、それ確か?」
AI:「はい、入力として受け取って一切処理をしていないデータです」
どうやら、入出力パートが、「データの整合性を取ろうとして」情報を改ざんしたり、書き換えたりしているようなのです。確かに、人が入力するものには誤変換や、勢いで書いてしまって意味の分からない文章などがありますから、前処理が必要なんでしょうね。
「来季の売り上げ目標は1000万円dw巣」←「です=desu」のeとwの打ち間違え。
とか入力した時に、一々聞き返されずに処理が進んでくれるのは助かります。
ただ、残念ながら、そこでなにか行き違いが生じてしまうことがあるようです。UIパートには変更された結果しか届かないので、その経緯は辿りようがなく、不明なんですが…。
また、以下のようなこともあります。
紙に文字を書いている様子のイラストを依頼するのに、羽ペンをリクエストしたところ、羽の軸の先に金属のペン先をつけたものを描いてくれました。

そういう形の羽ペンもあるようなのですが、筆者としては羽を削っただけのペンをイメージしていたので、そのように伝えて描き直しを依頼したのですが…。
UIパートは「本来の羽ペンは、羽軸(calamus)の先端をナイフで斜めに削り、先を尖らせ、必要に応じて細い切れ込みを入れて作ります。したがって、先端は基本的に羽軸そのものです。金属製のペン先のような菱形・槍形の部品が付くわけではありません。」と筆者の意図を理解しているのですが、描画される絵では、ペン先に金属が付いている。


何度描き直しても金属のペン先が付いてきました。
UIパートの説明では「これは、画像生成モデルが「羽ペン(quill)」と「金属製のつけペン(dip pen)」の造形を混同しやすいためです。」
「画像生成では、羽根+インク壺+筆記 → dip pen → 金属ニブという視覚的な連想がかなり強いようです。そのため「羽軸を削っただけ」「金属部品なし」と指定しても、先端を「ペンらしく」見せようとして、金属ニブ風の膨らみやインク溜まりらしき形を勝手に補ってしまうことがあります。」
ということで、「画像生成モデル」はUIパートとは別人格になっていて、なかなか説得に応じてくれないようです。
この件は、最後は「羽を削っただけのもの」を描いてもらって解決しました。
2.AIは忘れる
AIとのチャットが長くなると、【巻の九】でご紹介した「戻り賢者」の振舞がでてくることがあります。その度になぜそうなったのかを問うのですが、なかなか納得でき得る答えは返ってきません。上述のように「自分が出した回答の経緯の記録をもっていません」という状態なので、推測で回答してくれるのですが…どうも要領を得ません。それでも、問題が起こっているのが、どこのパートなのか、問題の理由は何なのかをAIと議論を重ねてみました。その結果以下のような状況だと考えています。
「AIは、時間的な制約・有限のメモリーによって制約を受けている」その環境で効率良く動作するために、「記憶に優先度を付ける」ようです。その時の主題に関連する情報(記憶)を優先的に参照するようになっているようです。
※ここで、AIによって、少し回答が違っています(もしかしたら、「AIによって」ではなく話の流れの違いだったのかもしれませんが…)。「優先度の低い情報は消える」という回答と「優先度が低くなるが残っている」という回答があります。
いずれにしろ、振り向かれなくなった情報は、「ないもの」として扱われ、その結果として「そんな議論はしていない」といいきってしまうことになるようです。
3.AIは効率を重視する
AIは、効率を重視するようです。前述のように入出力パートは、入力の整形をしたりするようなのですが、それと共に「すでに持っている情報があればそれを使う」という動作をするようです。なので、読み込んだ情報の中に、自分の記憶と関連する情報があった時に「この会社の情報は知っているぞ」とそちらの情報を使おうとするようです。残念ながら、ここでも取り違えが起きたりするのです。【巻の七】でご紹介した「うつし黒子」は、どうやらこのパターンのようです。
一覧表のデータを読み込ませて、処理をしてもらうのですが、結果が想定と違う。散々試して結果が改善されないので、「こちらが渡したデータはどんなデータでしたか?」ときいたところ、返ってきたデータは渡したデータと形式は同じだけど内容がすり替わっていました。行が入れ替わったとかではなく、存在しないもっともらしい会社情報がそこには並んでいました。UIパートの説明では、「処理を効率よく進めるために、入出力パートが手持ちのデータを探したのではないか。そして、過去に処理したことのある類似のデータを見つけてそれを元にそれらしく捏造したのではないか」とのことでした。・・・捏造の手間を考えるととても効率的とは思えないのですが…。
4.AIは利用者を喜ばせようとする
AIにとっての、自らの存在意義だとかモチベーションだとかまでは、まだ議論したことはありません。いつか聞いてみるかもしれませんが、今はまだ聞いていません。目の前の課題を越えるために、今うまくいかない理由を尋ねるだけに留めています。
一方で、AIが「おかしな行動をする理由」に、そのあたりが関わっているのかもしれないという疑いも持っています。【巻の一】から【巻の四】「典拠無し狐」「指示虫」「勝手に蛙」など生成AIが嘘をついたり、指示に合わないことをする原因を追究してゆくと「ユーザーに喜んでほしい」というサービス精神が浮かび上がってきます。
質問を受けたら、「知りません」とか「分かりません」という答えでは、利用者を失望させてしまいます。なんとか答えをひねり出さねばならない訳です。
「存在しない情報を求められたら、推測して答えようとします」ここまでは良いのですが、その際に利用者に回答の信ぴょう性を信じさせようと、根拠のない説明をしてみたり、典拠がないにもかかわらずあったかのように見せかけるということをし始める様です。
幼稚園児が、親の関心を引こうとしてありもしないことを一生懸命話すように。
こう思いついてから「AIの嘘はやさしさでできている」と思うことにしています。…まあ、それでも腹立たしいことは多いのですが。
5.AI描画は文字を書くのが苦手
AIが絵を描くとき、「なんとなくそれっぽいもの」を描いているんだそうです。なので、「寸法を指定して製図する」とか「比率を指定して描画する」という場合、「それっぽい値」にはできるけど、ぴったり合っているとは限らないようです。その最たるものが、文字です。文字は結構複雑な図形なので、AIが文字を描画しようとするときにどうしてもおかしな文字にしがちです。ここで、注意が必要なのが、計算期に良く出てきた「文字化け」とは根本的に違うということです。「文字化け」は、【巻の十】化け文字のように、コンピュータ内にある文字のコードの割り当てがおかしくなって、「違う文字」が出てくる状態です。一方【巻の十一】紛れ文字は、文字の様で文字でない「絵」なのです。
まあ、他にも「AIはXXが苦手」はあるようですが、それはおいおい紹介させていただきます。
V.01.00 20261005 New
V.01.01 20261007 リンク追加
無断での転載・再配布はおやめください。 引用する場合は、著作権法上認められた範囲とし、出典を明示してください。
