生成AIに操作手順のテキスト化をまとめて依頼したら、Claudeがこれを返してきました。

42.新規フォルダ(2)を

43.フォルダ名を変更を

44.「新規フォルダ」入力エリアにと

45.「変更」ボタンを

(原文ママ)


Claudeが動詞をまるごと落としています。前半には残っていて、落とし始めたのは40番台から。しかも、省略していいかとは一度も聞かれませんでした。

こんにちは。CoopelでQAを担当しています。AIを業務に使い始めてまだ日が浅く、今回は、いかにも初心者らしい失敗です。まず1件試してうまくいったので全件まとめて依頼したら、使えないものが返ってきた。同じ症状に心当たりがあるなら、たぶん役に立ちます。

【目次】

  1. 検証内容:Claudeでテストケースを手順書化
  2. 症状:後半だけ崩れる、入力値が抜ける、形式が変わる
  3. AIが勝手に省略する原因2つ:指示不足と出力量
  4. 実際に試してみた対処法4つ
  5. かかった時間:AIは10倍、私の作業は10分の1

自社の業務に合わせたシステムを。
既製のツールでは足りない部分は、独自システムで解決。要件の整理から開発まで一貫して支援します。
⇒無理な営業は行いません。まずはお話し聞かせてください。

生成AIを、業務の仕組みに組み込む
日々の業務に生成AIを取り入れる仕組みづくりから、独自の業務システム開発まで。自社に合った形をCoopelが一緒に設計します。
⇒AI活用方法について相談する

「漠然とした不安」を、具体的な打ち手に。リスクの把握から安全な構築・運用体制づくりまで、AIエージェント活用の進め方を専門チームがご相談に応じます。
⇒AIエージェント活動について相談する

AIエージェントか?RPAか?両方の選択肢を正直にお伝えします
重要なのは流行に乗ることではなく、自社の業務に合った仕組みを整えること。
⇒要件が整っていなくても、何でも相談できる窓口があります

業務システムの効率化を一緒に始めませんか?
複雑な業務フロー構築のご支援をしています。
無料相談はこちらから

業務に合わせた「ちょうどいい」システムを開発します。市販システムでは解決できないお悩みをぜひ聞かせてください。
⇒要件が整ってなくても大丈夫です。こちらからお問い合わせください。

「漠然とした不安」を、具体的な打ち手に。リスクの把握から安全な構築・運用体制づくりまで、AIエージェント活用の進め方を専門チームがご相談に応じます。
AIエージェント活用について相談する

検証内容:Claudeでテストケースを手順書化


作業内容は、ブラウザ上のテストケース管理ツールの画面を読み取らせて、登録されている操作手順をテキストの手順書に書き出すもの。1つのフォルダに50件のテストケースが入っている状態から始めました。ツールの名前は本題ではないので伏せますが、画面に手順が一覧で並ぶタイプなら同じことが起きると思います。

今回試したAIはClaudeだけです。ChatGPTやGeminiは試していないので分かりません。ただ、同じ症状が出ているなら以下の対処は効くと思います。

結論:生成AIの省略と精度低下に効いた対処4つ

一度に出力させる量を増やすと、Claudeが手を抜きます。私はこの4つで直しました。

  1. 出力の形式を先に固定する、雛形を渡して埋めさせる。
  2. やってほしくないことを明記する。「省略しない」「要約しない」を先に書く。
  3. 1回に渡す量を絞る。数件ずつ渡して、出てきたものを確認して次へ
  4. 固まった指示を保存して再利用する。毎回組み立て直さない

ただし、スピードは速くはなりません。かかった時間は記事後半に記載します。

使いこなせば、業務効率は大きく変わる
AIを「どの業務に、どう活かすか」。効率化の第一歩を、ダウンロード資料でわかりやすく解説します。
資料を無料でダウンロード

AI活用の遠回りを防いで、最短ルートで効率化を支援します
やみくもに始めて手戻りする前に。自社に合った進め方の考え方を、無料資料にまとめました。
無料で資料を見る

自社の業務をAIで変えられるか確かめる
判断やイレギュラーを含む業務にも対応できる時代に。始め方のヒントを一本にまとめました。
資料をダウンロード

大きなDXの前に、まず一つの業務から
「何から手をつけるか」を考えるための実践的なヒントを資料に凝縮しました。
無料ダウンロードはこちら

標準化しづらい業務こそ、AIの始めどき
パッケージやRPAでは合わなかった自社ならではの業務。AIで始めるヒントを資料にまとめました。
資料を無料で受け取る

「どの業務から効率化を始めるか」が分かる資料
AI活用がまだ進んでいなくても大丈夫です。自社の業務から始める最初の一歩をまとめました。
無料で資料をダウンロードする

AI活用、最初の一歩の見つけ方
AIで何か始めたいけれど、どう活かすか迷っている方へ。自社に合った始め方の考え方をご紹介します。
無料で資料をダウンロードする

症状:後半だけ崩れる、入力値が抜ける、形式が変わる

1件だけ依頼したときは、読める手順書ができました。手順が順番に並んで、概要も整っている。そこで、フォルダに入っている50件をまとめて依頼しました。出来上がったのは、冒頭に貼ったような、何をするのか書かれていない手順書でした。手順書としては使えません。Claudeの崩し方には特徴がありました。

  • 前半は形を保っている:崩し始めたのは40番台から
  • 後半でまとめて手を抜く:全部を均等に崩すわけではない
  • 動詞を落とす:元は『新規フォルダ(2)をクリック』。Claudeは『新規フォルダ(2)を』で止めた
  • 入力する値も一緒に落とす:元は『「新規フォルダ」入力エリアに「フォルダ1」と入力』。返ってきたのは『「新規フォルダ」入力エリアにと』
  • 途中で形式を変える:1件のときは章立てだったものを、番号付きの一覧にした

そして一番参ったのは、何も聞かれなかったことです。省略してよいかと確認されていれば、その場で判断できました。何も言われないまま50件分が崩されていたので、全部出揃ったあとでようやく気づきました。

AIが勝手に省略する原因2つ:指示不足と出力量

はじめは自分の指示が雑だったせいだと考えていました。半分は当たっていました。ただ、それだけでは後半の崩れが説明できませんでした。

原因1:プロンプト(指示)に書いていない前提が多すぎた

改めて自分の指示を読み返すと、書いてあるのはこれだけでした。

この画面はテストケースです。

画面の操作手順のようになっています。

各手順を抽出してテキストにまとめてください。

(原文ママ)


出力の形式も、簡略化の可否も、何ひとつ指定していません。1件目がうまくいったのは、指示が良かったからではありません。対象が1件だけで、Claudeが細部まで処理しきれていただけです。私はそれを指示が固まったと勘違いして、いきなり50倍にしました。1件なら勝手に揃っていたものを、量が増えたらClaudeが揃えなくなった、というだけの話です。Claudeが形式を変えたことは、これで説明がつきます。章立てにするか一覧にするかを私が決めていなかったので、Claudeがその都度判断して形を決め、量が増えたら判断がぶれました。

原因2:一度に出させる出力量が多すぎた(LLMは長文になるほど指示への追従が落ちる)

一方、後半だけ崩れたことは、これでは説明できません。指示が足りないなら、1番目から崩れているはずです。実際には40番台まで形を保っていて、そのあとから崩れました。しかもClaudeは、動詞と入力値という削ってはいけない要素から先に落としています。Claudeは長く出力するほど指示から外れて、内容を勝手に削ります。少なくとも自分が見た50件ではそうでした。

そう考える根拠がもうひとつあります。あとから件数を50件から3件まで落として試したのですが、1件あたりの分量が大きいものでは、3件でもClaudeから「簡略化していいですか」と聞かれました。一度に出させる総量が効いてきます。件数を絞るのは、そのための手段でしかありません。

原因が2つあるので、対処も分かれます。原因1に効くのが対処1と2(指示を厚くする)、原因2に効くのが対処3(1回の量を減らす)。自分がどちらで詰まっているかは、崩れ方を見れば分かります。最初から崩れているなら指示不足、後半だけ崩れているなら量です。

実際に試してみた対処法4つ

対処1:出力形式を雛形(テンプレート)で先に固定する

Claudeにはこの雛形を渡しています。

# <タイトル>

1. <手順内容>

   補足: <補足情報>

2. <手順内容>

文章で「こういう形式で」と説明するのをやめて、埋めるだけにしました。形式を先に決めておけば、量が増えてもClaudeは形を変えません。決めずに「まとめてください」と渡すと、Claudeが1件ごとに形を決めます。そして量が増えると、Claudeは形を決めきれなくなります。

対処2:「省略しない・要約しない」をプロンプトに明記する

量の多いテストケースにあたるたびに、Claudeが「時間がかかりますが、前と同じ品質で進めますか、それとも省略していいですか」と聞いてきました。それで、指示にこう書きました。

手順が100を超える場合がある。この場合も、簡略化するかどうかをユーザーに確認する必要はない。常に全手順を同じ精度で処理する。

明記してからは聞いてきません。先に「何も聞かれなかったのが参った」と書いたのに、今度は聞かれないようにしている。矛盾して見えるかもしれません。問題は、省略の可否を私が決めていなかったことです。決めてあればClaudeは聞く必要がなく、決めていないと、聞かれるか、黙って省略されるかのどちらかになります。後者は気がつけません。言わなくても分かるはず、と思っていたのが間違いでした。

もうひとつ、Claudeの判断が分かれやすい箇所も先に潰しておきます。私の場合はこれでした。同じ名前の要素が再登場する場合は、初回のみ詳細を書き、以降は「手順Nと同一」と書く。ただし名前が同じでも実体が違うことがあるので、必ず実測して一致を確認する。名前が同じなら中身も同じだろう、とClaudeが確認を省いても、こちらは気がつけません。

対処3:1回に渡す量を絞る

50件から始めて、いったん3件まで落としました。そこで安定したので、いまは5件に増やして様子を見ているところです。

  1. 数件分を渡す
  2. 出てきたものを、元のデータと突き合わせて確認する
  3. 抜けや崩れがあれば、その原因を指示側に反映する
  4. また次を渡す

3を飛ばさないことが重要です。出てきたものを自分で直すと、その回は片付きますが、次の回で同じことが起きます。指示のほうを直します。ここを省くと、量を絞っただけで毎回同じ確認をすることになります。ただし、原因2で書いたとおり、総量が効きます。1件あたりが重いものを扱うときは、5件でも足りません。件数を目安にしつつ、崩れたら減らす、安定したら少し増やす。それ以上のやり方は、自分にはまだ分かっていません。

対処4:固まったプロンプトをClaudeのSkills(カスタム指示)に保存して再利用する

ClaudeのSkillsには、対処1で作った出力形式の雛形と、対処2で書いたやってほしくないことを入れてあります。迷いやすい箇所の扱いも、あわせて書いてあります。他のツールでも、カスタム指示やテンプレートとして残せるはずです。

さらに、作業中につまずいた点も書き残しておくと楽になります。私の場合は「特定の操作は1回では情報が更新されないので2回繰り返す」「行を選択すると座標がずれるので数行ごとに確認する」といった、環境固有の落とし穴です。私は何度も踏みました。書いておけば毎回説明しなくて済みます。

4つのなかで一番効いたのがこれでした。指示を組み立て直す時間がなくなり、呼び出せば、Claudeがそのまま同じ品質のものを出します。

自社の業務に合わせたシステムを。
既製のツールでは足りない部分は、独自システムで解決。要件の整理から開発まで一貫して支援します。
⇒無理な営業は行いません。まずはお話し聞かせてください。

生成AIを、業務の仕組みに組み込む
日々の業務に生成AIを取り入れる仕組みづくりから、独自の業務システム開発まで。自社に合った形をCoopelが一緒に設計します。
⇒AI活用方法について相談する

「漠然とした不安」を、具体的な打ち手に。リスクの把握から安全な構築・運用体制づくりまで、AIエージェント活用の進め方を専門チームがご相談に応じます。
⇒AIエージェント活動について相談する

AIエージェントか?RPAか?両方の選択肢を正直にお伝えします
重要なのは流行に乗ることではなく、自社の業務に合った仕組みを整えること。
⇒要件が整っていなくても、何でも相談できる窓口があります

業務システムの効率化を一緒に始めませんか?
複雑な業務フロー構築のご支援をしています。
無料相談はこちらから

業務に合わせた「ちょうどいい」システムを開発します。市販システムでは解決できないお悩みをぜひ聞かせてください。
⇒要件が整ってなくても大丈夫です。こちらからお問い合わせください。

「漠然とした不安」を、具体的な打ち手に。リスクの把握から安全な構築・運用体制づくりまで、AIエージェント活用の進め方を専門チームがご相談に応じます。
AIエージェント活用について相談する

かかった時間:AIは10倍、私の作業は10分の1

この進め方にすると、Claudeが動く時間は延びます。

項目

まとめて依頼したとき

指示を固めたあと

1回に渡す件数

50件

3〜5件

1件あたりの所要時間

約2.4分

20〜25分

出てくるもの

動詞のない手順書

元データどおりの手順書

1件あたりの人間の作業

約30分(全面的な書き直し)

約3分(突き合わせ確認)

AIが動いている時間だけ見ると、10倍近くかかっています。この数字が出たときは少し困りました。ただ、この2つは並べて比べられません。左は完成していないものを出すのにかかった時間で、右は完成したものを出すのにかかった時間です。左を使える状態にするには私が50件を書き直す必要があります。そこまで含めて、50件分に換算してみます。書き直しは1件あたり平均60手順を元データと突き合わせるので、実際に測って30分前後かかります。まとめて依頼した場合は、Claudeが2時間、私が50件を書き直すのに25時間。合わせて27時間です。1件30分、50件で25時間。効率化のつもりで始めて、3営業日ぶんの手作業を自分で増やしました。落ち着くためにいったん休憩を入れました。

指示を固めた場合は、Claudeが17〜20時間、私の確認が2〜3時間です。

総工数は27時間から19〜23時間に減りました。しかも指示を固めたほうは、私が50件分を書き直さずに済んでいます。10倍の後退に見えたのは、比べる対象を私が間違えていただけでした。1件3分は、出てきた手順書を元データと突き合わせて見るだけの時間です。それでも50件で2〜3時間かかるので、ここを削りたくなります。ただ、黙って省略されたときに気づけるのはこの工程だけなので、残しています。

自分と同じところで詰まっている人がいたら、まず件数を3件まで落とすところから試すのが早いと思います。

自社の業務に合わせたシステムを。
既製のツールでは足りない部分は、独自システムで解決。要件の整理から開発まで一貫して支援します。
⇒無理な営業は行いません。まずはお話し聞かせてください。

生成AIを、業務の仕組みに組み込む
日々の業務に生成AIを取り入れる仕組みづくりから、独自の業務システム開発まで。自社に合った形をCoopelが一緒に設計します。
⇒AI活用方法について相談する

「漠然とした不安」を、具体的な打ち手に。リスクの把握から安全な構築・運用体制づくりまで、AIエージェント活用の進め方を専門チームがご相談に応じます。
⇒AIエージェント活動について相談する

AIエージェントか?RPAか?両方の選択肢を正直にお伝えします
重要なのは流行に乗ることではなく、自社の業務に合った仕組みを整えること。
⇒要件が整っていなくても、何でも相談できる窓口があります

業務システムの効率化を一緒に始めませんか?
複雑な業務フロー構築のご支援をしています。
無料相談はこちらから

業務に合わせた「ちょうどいい」システムを開発します。市販システムでは解決できないお悩みをぜひ聞かせてください。
⇒要件が整ってなくても大丈夫です。こちらからお問い合わせください。

「漠然とした不安」を、具体的な打ち手に。リスクの把握から安全な構築・運用体制づくりまで、AIエージェント活用の進め方を専門チームがご相談に応じます。
AIエージェント活用について相談する