ChatGPTの話をあまりしないことで（自分の中で）定評のあるChatGPT Meetupに参加・登壇してきました。
RAGの開発方法や精度を高める方法について登壇
セッション自体は、WordCamp向けに作っていたRAGの話をベースにおこないました。
「RAGがなんとなく難しそう。よくわからない」と感じている方は、「質問時に追加の情報を渡すのを、仕組み化したもの」と思ってもらうのが第一歩としては良いかなと思います。
「この形になればいいんだな」ということがなんとなくでもわかれば、「検索側では、こういう情報が取れる設計にすればいいんだな」「テキスト生成側では、こういう情報をちゃんと理解して回答してるか見ればいいのか」などの肌感が湧いてくるかなと思います。
LLMを「トレーニー」として使う
RAGの評価や生成結果のレビューなどのセッションもすごく面白かったのですが、懇親会でも話題になったのは最後の吉田さんによるセッションのトピックでした。
教育やトレーニング方面の手法で、「教える側にまわることで、自身の理解をより深める方法」が紹介されることがあります。興味本位で論文を検索してみたところ、「他の学習者に教えることによる学習はなぜ効果的なのか？」というそのままのテーマのものが出てくるくらいでした。これはこれですごく興味があるので、後ほど読んでみようと思います。
とはいえ、「教える側をやる」場合に出てくるのが「誰に教えるか」問題です。教育やトレーニングの場面であれば、ワークや講座の参加者同士で交代制で取り組み、それに対してファシリテーターやメンターがフィードバックすることができます。しかしこれにはある程度のスキルセットを持つ人間と、同じ目的を持つ人間がそれぞれ必要です。そこでこのLLMのユースケースが役立つのではと感じました。
教わる -> 教える -> フィードバックをもらう
LLMをそのまま使うことで、「トレーニーとして振る舞ってもらう」ことはそこまで難しくないように思います。そして個人的に興味を持ったのは、「ここにRAGを組み込むことで、「教わるステップ」と「教えてみたことへのフィードバックステップ」も自動化できるのではないかという点です。
知りたいトピックについて投稿すると、それに関連するリソースを検索して教えてくれるRAGベースのエージェントが動きます。その後、トレーニーロールのエージェントが立ち上がって「教える側のロールプレイ」を開始します。そして最後にやり取りを元に、「理解度の評価や追加の情報提供」をメンターエージェントが行います。ここまでの流れ・仕組みができれば、個人での学習がとても捗るのではないかと思います。
あとは、アクティブラーニングの別パターンの可能性についても検討できるのではと思いました。例えばケースメソッドなどは、人数が必要な部分でもありますので、やり方を模索してみるのによいかなと思います。
個人的にRAGのインデックス部分を手をつけてはいたので、このデータをベースにエージェントを組み込みしてみるのに挑戦してみたいと思います。できるかどうかは定かではないのですが、挑戦してみることでみえることもあるかなと思いますので、何かあればまた共有します。