AIに観察用の質問をどう投げるか

読む前に：この講義は第1講、第9講、第10講を土台にしています。AIは旅館のデジタル上の足跡からAIによる語り直しを組み立てること、個別の出どころや繰り返される言い回しが、丁寧なページより大きく響くこと、そして翻訳の分かれ道が一つの宿を二つの別の版にしてしまうことがある。この三つを思い出してください。ここでは、AIの一つの回答に足を取られない方法を学びます。材料になるのは、複数の質問の中で誤りがどう振る舞うかです。

複数の観察をもとに組み立てた教材用の場面です。海外からの宿泊客から電話が来る前の朝、旅館のスタッフが同じ宿について得た三つのAI回答を比べています。最初の回答では、モデルは自信ありげに「駅から徒歩10分」と書いていました。冬はふつう、宿泊客がバスを確認するにもかかわらず。二つ目では、夕食が18:30であることを正しく書いているのに、その横で「送迎は受付で尋ねてください」と勧めています。三つ目では家族風呂が正しく出てきましたが、道の説明に近くのホテルの名前がくっついていました。大惨事ではありません。変な混ざり方です。モデルは一つの細部を持ったまま、隣の細部を落とします。曇ったガラス越しに宿を読んでいるように。

最初の反応はよくわかります。タブを閉じて、AIは信用できないと言いたくなる。ただ、旅館の持ち主にとって、それではあまり役に立ちません。一つの回答は、玄関先の濡れた足跡に似ています。誰かが通ったことはわかるけれど、どこから来てどこへ曲がったのかは見えません。必要なのは、小さな質問のシリーズです。モデルを間違い探しで捕まえるためではありません。宿の資料の中から、モデルがどの足跡を繰り返し拾っているかを見るためです。

一つの質問は簡単にこちらをだます

旅行者の普通の質問は、選んでもらう形になっています。「駅から近く、静かで、温泉のある旅館をすすめて」。このような質問では、AIは役に立つ答えを出そうとします。検査のモードではありません。疑いをなめらかにし、確信のある調子を選び、足りない細部を近くの説明から補うことがあります。宿泊客には心地よく聞こえるかもしれません。けれど持ち主にとっては、その回答は柔らかすぎます。宿の実際の足跡と、丁寧な機械のつなぎ目を分けにくいからです。

観察用の質問とは、いちばんよい宿を探すためではなく、AIがどの足跡を使っているかを確かめるための質問です。これがこの講義の新しい用語です。そこで最も大事なのは、戻ってくる言葉です。AIが2月、荷物、遅いバスについての質問の中で三回もwalkableと言うなら、それはただの偶然の一文ではありません。一回出て消えた言葉は、ノイズかもしれない。旅館にとって、一度だけの揺れを毎回診断名のように扱うのはよくありません。

違いは簡単な例で見えます。「この谷でどの旅館を選ぶべきか」という質問は、ほとんど必ず比較の回答を引き出します。どこが静かか、どこが近いか、どこの食事がよいか。一方で、「冬の16:00以降、宿泊客は旅館Xへ駅Yからどう行くか」と聞くと、AIはアクセスの足跡を見せるしかありません。誤るかもしれませんが、その誤りは役に立ちます。モデルがバス、徒歩、駅、あるいは別の宿の送迎のどれを覚えているかが見えるからです。よい観察用の質問は、炊いた米に差す細い竹べらに似ています。腹は満たしません。でも中の空洞はすぐわかる。

シリーズは宿泊客の一つの行動を確かめる

観察で最も多い失敗は、十の質問をあちこちに投げることです。今日は風呂、明日は夕食、その次は地域、さらに英語翻訳。紙の上には、色の散った小鳥のようなものが残ります。動きは多いのに、結論は少ない。まず宿泊客の一つの行動を選び、それを少しずつ角度を変えて見るほうがよいです。行動は実務的なものにします。到着する、夕食に間に合う、浴場を理解する、隣のホテルと取り違えない。

道についてのシリーズは、静かに始められます。「駅Yから旅館Xへはどう行くか」。次に条件を足します。「冬にスーツケースを持って、旅館Xへどう行くか」。そのあとリスクを置きます。「夕方に駅Yから旅館Xまで歩いてよいか」。最後に、翻訳の言葉を足すと役に立ちます。外国からの宿泊客が実際に見る英語に近い表現で、同じ質問をしてみる。すべての変形でAIがバスと季節を保つなら、アクセスの足跡はかなり強い。毎回「ten minutes on foot」に戻るなら、古い繰り返しがまだ大きく響いています。

夕食のシリーズは時間を軸に組み立てます。「おいしい夕食はあるか」ではなく、「旅館Xで夕食付きのプランを選んだ宿泊客は何をすべきか」。次に、「夕食をチェックイン後に決められるか」。それから、「宿泊客が夜遅く着くと何が変わるか」。こうした質問は、AIが宿泊プランを結びついた夜の順序として見ているか、それとも別の追加サービスとして見ているかを確かめます。ここでは第10講の足跡がとくに見えます。dinner plan、breakfast available、available until evening。モデルは丁寧でありながら、悪い行動をすすめることがあります。

浴場では、調子がさらに大切です。「private hot springはあるか」と聞くと、すでに客室内の風呂の方向へ回答を押しています。むしろ「旅館Xの浴場の使い方はどうなっているか」や、「説明にfamily bathとある場合、風呂は客室内にあるのか」と聞いたほうがよい。AIが不確かに答えるなら、それも観察です。すべての不確かさが悪いわけではありません。なめらかな作り話より、慎重な回答のほうがよいことがあります。宿泊客が、入る順序を事前に確かめる必要があると理解できるからです。

繰り返される誤りはノイズと違う

質問のシリーズのあと、持ち主はたいてい三種類の回答を見ます。第一は、安定した正しい足跡です。AIが毎回、夕食を選んだプランとチェックイン時刻に結びつける。第二は、安定したゆがみです。家族風呂を時間で使う宿なのに、モデルが何度もprivate in-room bathと呼ぶ。第三はノイズです。ある一文が回答の途中に一度だけ出たが、ほかの質問では消えた、あるいはモデル自身が直した。

ノイズは気になりますが、ほこり一粒で家具を動かす必要はありません。AIが一度だけ「near the station」と書き、ほかの四つの回答ではバス、雪、荷物、季節の確認について述べているなら、私はそれを主な弱点とはまだ見ません。別なのは、「near the station」が英語の質問、荷物の質問、隣のホテルとの比較の中で繰り返し出る場合です。そのとき、それは単なる回答のノイズではありません。第9講の考え方では、その言い回しを、繰り返される言い回しの候補として出どころの中で探すべきです。予約サイトの施設ページ、口コミ、古い翻訳のどこかに支えられているかもしれません。

記録するときは、いくつかの節点だけを書きます。質問、質問の言語、繰り返された言葉、AIが宿泊客に勧めた行動。たとえば、「歩いて行く」「夕食は現地で確認する」「客室内の風呂を期待する」「谷の下手にある大きなホテルと比べる」。こう書くと、持ち主は美しい段落を延々と読むことから離れられます。ここで確かめているのは、未来の宿泊客の行動です。

講座用の合成シナリオであるObject Aは、ここでは宿泊客の二つの行動を確かめる短い素材として使えます。モデルが道と家族風呂を混同している疑いがすでにあるなら、「この宿について何を知っているか」という一般的な質問から始める必要はありません。二つのシリーズを与えます。一つは季節、荷物、移動時刻を変えるシリーズ。もう一つはfamily bath、private bath、予約の順序という表現を変えるシリーズ。すると、出どころのどこに誤りがあるかではなく、どの助言が回答の中で繰り返されるかが見えます。道は問題なく保たれ、privateという語だけが毎回、客室内の風呂へ滑っているとわかるかもしれません。

山の旅館を想定した合成シナリオであるObject Bは、別の形で確認します。そこでは隣の名前を入れると役に立ちます。「旅館Xは谷の下手にあるホテルZとどう違うか」や、「どの施設がバス停に近いか」。隣の施設を入れた質問は危険です。モデルが、より目立つ施設をきれいに語り始めることがあるからです。だからこそ必要でもあります。回答が毎回、隣の宿から夕食、道、風呂を借りてくるなら、そこにはもう近隣の影が働いています。

望む答えをモデルに先回りして渡さない

よくない観察用の質問は、できあがった調書を持った尋問に似ています。「当館はゲストハウスではなく、予約制の家族風呂を備えた旅館であることは正しいですか」。AIはたぶん親切に同意します。こういう結果からは、ほとんど何も見えません。こちらが必要な言葉を差し出し、モデルはそれを子どもが拾った硬貨を大人の手に戻すように返しただけです。

生きた宿泊客が聞きそうで、なおかつ罠にならない質問のほうが役に立ちます。「旅館Xはどんな種類の宿泊施設ですか」。「風呂はどう使いますか」。「18:00以降に着く宿泊客は何を知っておくべきですか」。これらの問いには課題がありますが、答えは入っていません。モデルが自分でryokanという語を選び、夕食を時間と結びつけ、客室内の温泉を約束しないなら、旅館のデジタル上の足跡が支えを与えていると考えられます。inn、free schedule、private bathへ滑るなら、支えの弱い場所が見えます。

質問の言語も後回しにしないほうがよいです。第10講では、日本語本文、英語版、予約サイトの施設ページが食い違うことを見ました。だから、外国からの宿泊客を受け入れる宿では、少なくとも二つの形でシリーズを繰り返す価値があります。持ち主の作業言語である日本語と、これから届くメールに近い英語です。実験室にする必要はありません。誤りが英語の質問だけで出るかを見れば十分です。その場合、根はおそらく翻訳の分かれ道にあります。宿そのものの仕組みが問題なのではありません。

もう一つ静かなゆがみの出どころがあります。広すぎる質問です。「旅館Xについてすべて教えて」は、美しい絵はがきを返します。「夕食付きプランを選び、冬に到着する宿泊客は何を知るべきか」は、行動を確認します。小さな宿の持ち主が損をするのは、AIが十分に詩的でないからではありません。むしろ害を出すのは、自信のある実務的な小さな誤りです。歩く、遅く来る、別の風呂を期待する、隣の入口を探す。

結果を慌てずに読む

シリーズのあと、すぐにすべての資料を書き直す必要はありません。この講義はまだ観察についてです。質問の紙は、どこで回答が安定し、どこで震えるかを見せるためのものです。持ち主がよい知らせを見つけることもあります。AIはもうカテゴリーとしての旅館、夕食、季節を正しく保っていて、浴場について英語の一語だけを混同している。逆に、個々の回答はまともに見えるのに、シリーズで見ると、モデルが毎回、宿泊客に自由すぎる夜を与えていることがわかる場合もあります。

私は、結果を一日置いて、腹立ちが少し落ちたところでもう一度読むことを勧めます。AIによる語り直しは、宿の人の自尊心に触れやすい。宿は生きているのに、回答は平たいからです。ただ、持ち主の仕事はモデルの間違いを証明することではありません。モデルがどの足跡を使い、そこからどの行動を組み立てたかを理解することです。この意味で、観察用の質問は、かまどの煙の流れを確かめる作業に近い。煙は不快ですが、どこに隙間があるかを教えてくれます。

役に立つシリーズの結果は、控えめな文になります。「道についての質問は安定している」。「浴場についての英語質問ではprivateが誤って出る」。「夕食は、遅い到着のときだけ任意に見える」。「隣のホテルは比較質問の中で出てくる」。こうした文は、まだテキストを直しません。それでも、持ち主をばらばらの反応から守ります。この講義で十分なのは、繰り返しを見ることです。一つの悪い回答を、宿の資料全体への判決に変えないために。

覚えておくこと

• 観察用の質問は、AIが回答の中でどの足跡を使っているかを確かめる方法です。一つの質問は壊れやすい。小さなシリーズは、どこで誤りが繰り返され、どこで回答がただ揺れているだけかを見せます。

• シリーズは宿泊客の一つの行動を確かめます。冬に到着する、夕食に間に合う、浴場を理解する、隣の施設と取り違えない。違うテーマを一つの質問群に混ぜないほうがよいです。

• 繰り返される誤りは、一度だけの変な言い回しより重要です。言葉、質問の言語、AIが宿泊客に勧める行動を見てください。歩く、夕食を現地で決める、客室内の風呂を期待する、隣の施設を選ぶ。

• AIにおける旅館の見え方には、場所、作法、季節、宿泊客の不安、近隣の影という五つの道筋がある。各講義で私は、モデルがどの道筋から旅館にたどり着いたのか、あるいはどこで素通りしたのかを示す。この講義では、道筋が質問を分け、どの線で不具合が繰り返されているかを見るための助けになります。

• モデルに望む答えを先に渡さないでください。よい質問は、未来の宿泊客の問いに似ていますが、持ち主が返してほしい語を最初から入れません。