最初に作った自動化は、見事に失敗した

正直に書きます。最初に組んだ論文収集の自動化は、失敗でした。

欲張って、全部任せた

最初の私は調子に乗っていました。「AIにテーマを渡せば、関連論文を集めて要約まで全部やってくれるはずだ」と。検索も、選定も、出典の確認も、まとめてAIに丸投げするプロンプトを書きました。

数秒で、きれいな論文リストが出てきました。タイトルも著者も要約もそれっぽい。感動しました——その日までは。

存在しない論文を引用していた

引用しようと一本の論文を探したら、見つかりません。著者名で検索しても、タイトルで検索しても出てこない。AIが生成した、もっともらしいだけの架空の論文だったのです。

しかも一本ではありませんでした。リストの何割かが、実在しない、あるいは著者やタイトルが微妙に間違ったものでした。気づかずに使っていたら、と思うと冷や汗が出ます。

どこで間違えたか

原因ははっきりしています。確認という判断まで、AIに手放したこと。

AIは「それらしい文章を作る」のは得意ですが、「それが実在するか」を保証はしません。出典の真偽は、一次情報にあたる人間が握るべき判断でした。そこを丸投げした時点で、仕組みは破綻していたのです。

作り直して学んだ線引き

そこで設計を変えました。

• 検索は、実際の論文APIから取る。AIに「探させる」のではなく、実在するメタデータだけを土台にする。
• AIには、取得済みの実在データの絞り込みと要約だけをさせる。ゼロから生成させない。
• 最終的に読む・引用する判断は、必ず自分でする。

つまり、雑務（整理・要約）は渡し、判断（何が本物で、何を読むか）は握る。この線引きにたどり着いたのは、派手に失敗したおかげでした。

失敗は、共有する価値がある

うまくいった話より、こうしてつまずいた話のほうが役に立つことがあります。同じ罠にはまる人は、きっと私だけではないからです。

AIと創るとき、楽をしていいのは雑務だけ。判断を手放した瞬間に、足をすくわれます。これは、身をもって覚えました。