実行結果リファレンス
実行 1 件の結果の語と、KPI の数え方の一覧です。項目の名前は画面の表示に合わせています。結果の読み方は記録ガイド、数字の考え方は記録と指標にあります。
結果の語
実行 1 件の終わり方は、次の 7 つのどれかで表示されます。
| 表示 | 意味 | 決めるのは | Agentの完遂率 |
|---|---|---|---|
| 完了 | Agent が「完遂できなかった」と報告せず、最後の結果でもそう示さずに終わった。報告が無いまま終わったものも、最後の結果でそう示していなければ入る | Agent | 成功に数える(変化なしで終わったものは数えない) |
| 失敗 (Agent の報告) | Agent が自分で「完遂できなかった」と報告したか、最後の結果でそう示して終えた。報告が無いときの分類は「その他」。実行時間の上限でまとめに入ったあとに完遂できなかったものは、ここではなく「時間切れ」 | Agent | 失敗に数える(接続の確認で止めたものは数えない) |
| 失敗 | 例外や実行環境の異常で終わった | 基盤 | 失敗に数える |
| 時間切れ | 制限時間に達して、打ち切られた。または、実行時間の上限でまとめに入り、完遂できなかった(Agent が「完遂できなかった」と報告したものを含む) | 基盤 | 失敗に数える |
| 失敗 (停止) | 人が止めた、または基盤が取り消した | 人か基盤 | 失敗に数える |
| ルールにより実行不可 | 依頼の内容が基盤の入力の検査(ガードレール)で止められ、実行されなかった | 基盤 | 失敗に数える |
| 対象なし | 実行が起動しなかった | 基盤 | 数えない |
- 「完了」は、業務がうまくいったことの保証ではありません。 何をしたかは、実行記録の「実行したこと」で確かめます。
- 変化なしで終わった実行も、結果は「完了」です。 見に行った対象に変化が無く、何もしなかったと Agent が報告して終わった実行で、理由が「変化なし」になります(実行履歴では、続いたものが「変化なし(3回)」のように 1 行にまとまります)。Agentの完遂率には数えません。
- 実行ルールで個々の操作が止められても、結果は変わりません。 止められた操作は「実行したこと」に拒否として並びます。
- 「ルールにより実行不可」の検査は、Agent に書くガードレール(指示)とは別の仕組みです。 実行記録の理由には「ガードレールにより停止」と出ます。
- 接続の確認で止めた実行も、結果は「失敗 (Agent の報告)」です。 「接続時の確認」を設定した連携先を使う前に止めたもので、理由が「接続の確認のため停止」になります。人の確認を待っているだけなので、失敗には数えず、集計外の「接続の確認で停止」に数えます。実行記録に「失敗の要点」と見直す箇所は出ません(連携ガイド)。
失敗 (Agent の報告) の理由
Agent が「完遂できなかった」と報告するときは、見直す箇所と、読む人に向けたコメント(できなかったこと・その理由・次にすべきこと)を添えます。分類は次のどれかで、Agent が選ばなかったときは見直す箇所から決まります。実行記録では、分類は結果の横と、「失敗の要点」の「原因」に出ます。コメントは「失敗の要点」の「Agent の終了時の報告」に出ます。「失敗の要点」の最初の確認先は、見直す箇所が絞れていればそれに合わせて(下の 2 つ目の表)、絞れていなければ分類に合わせて(下の表)決まります。
| 分類 | 失敗の要点の最初の確認先 |
|---|---|
| 接続先へのアクセスに失敗 (認証・権限) | 連携先の設定を表示 |
| 連携先の応答なし | 連携先の設定を表示 |
| 実行ルールによる制限 | 実行ルールを表示 |
| 必要な入力の不足 | 工程の設定と入力を表示 |
| その他 | 実行したことを表示 |
見直す箇所が絞れているときの最初の確認先は、次のとおりです。
| 見直す箇所 | 失敗の要点の最初の確認先 |
|---|---|
| 指示(プロンプト) | 工程の設定と入力を表示 |
| 設定・連携(ハーネス) | 連携先の設定を表示、実行ルールを表示、または工程の設定と入力を表示(どれが出るかは原因による。原因は、見直す箇所の下の説明か、Agent の終了時の報告に書かれる) |
| 管理者・システムによる制限 | 実行したことを表示 |
| 外部サービス | 実行したことを表示 |
| 予期せぬエラー | 実行したことを表示 |
ワークフローで、結果のあとに起きること
| 結果 | 次に起きること |
|---|---|
| 完了 | 同じ工程の次の Agent へ、いなければ次の工程へ進む(「同時に実行」の工程では、全員の結果がそろってから次の工程へ)。次の工程が確認工程なら、そこで確認を待つ |
| 失敗 (Agent の報告) | 既定では確認依頼を作って止まる。工程の「Agent の報告による失敗のとき」を「そのまま進める」にすると、完了と同じく進む。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む |
| ルールにより実行不可 | 既定では確認依頼を作って止まる。工程の「ルールにより実行できない場合」を「失敗として閉じる」にすると、ワークフローの実行は失敗で終わる。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む |
| 失敗・時間切れ | 同じ工程をやり直す。やり直しを「工程ごとの再試行回数」まで使い切ったあとで、また失敗や時間切れになると、ワークフローの実行は失敗で終わる |
| 失敗 (停止) | やり直さず、ワークフローの実行は失敗で終わる |
| 対象なし | 次へ進む(「同時に実行」の工程では、ほかの Agent の結果がそろってから次の工程へ) |
接続の確認で止めた実行は、この表によらず、接続の確認の確認依頼を作って待ちます。承認すると同じ工程を起動し直し、却下されたとき・待ちの上限を過ぎたときは、上の「失敗 (Agent の報告)」の行のとおりに進みます。
ワークフローの実行そのものを中断したときは、その実行は「中断」で終わります(「失敗」にはなりません)。
サイクルでは、結果によって巡回が止まることはありません。巡回は、決めた周期で続きます。接続の確認で止めた巡回は、承認すると同じ配置の巡回を 1 回だけ起動し直します。
実行中と、結果が記録されていない実行
| 状態 | 意味 | 集計での扱い |
|---|---|---|
| 実行中 | まだ終わっていない | 数えない(「集計外」の実行中) |
| 記録不足 | 終わったのに、結果が記録されていない。実行記録には「結果が記録されていません」と出る | 成功にも失敗にも数えない(「集計外」の記録不足)。1 件でもあると、Agentの完遂率は暫定値になる。概要の「この業務の実行結果」では、完遂率は値を出さず「—」にして、下に「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る |
| 対象なし | 結果の「対象なし」 | 数えない(「集計外」の対象なし) |
| 接続の確認で停止 | 「接続時の確認」を設定した連携先を使う前に止めた実行(結果は「失敗 (Agent の報告)」、理由は「接続の確認のため停止」) | 成功にも失敗にも数えない(「集計外」の接続の確認で停止) |
Agentの完遂率
Agentの完遂率 = 正常完了 ÷ 終了
| 項目 | 内容 |
|---|---|
| 正常完了 | 結果が「完了」の実行の数(変化なしで終わったものを除く) |
| 終了 | 正常完了と「失敗・要対応」の合計。「失敗・要対応」は、失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計(接続の確認で止めた実行を除く) |
| 数える単位 | Agent の実行 1 回。ワークフローの工程の実行も、サイクルの巡回も数える。やり直しも 1 回と数える |
| 期間 | 選んだ期間に始まった実行 |
| 入らないもの | 対象なし・実行中・記録不足・変化なしで終わった実行・接続の確認で止めた実行 |
| 終了が 0 件で、記録不足も無いとき | 概要の「この業務の実行結果」では、完遂率が「—」で、下に「終了した実行がまだありません(正常完了 N / 終了 N 件)」と出る。全体の集計とプロジェクト一覧のカード(英語の画面では「No data」)では「対象なし」と出る(数える実行が無い、という意味。結果の「対象なし」とは別) |
| 記録不足があるとき | 「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る(終了が 0 件でも同じ) |
KPI の項目
概要の「この業務の実行結果」に出る項目です。工程ごとの値は「ワークフローの形」の「数値」に出ます(下の「工程ごとの数値」)。期間は選べます(値は設定値リファレンス)。
実行結果
| 項目 | 数え方 |
|---|---|
| Agentの完遂率 | 上の式 |
| 正常完了 | 結果が「完了」の実行の数(変化なしで終わったものを除く) |
| 失敗・要対応 | 失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計(接続の確認で止めた実行を除く) |
| 処理時間の目安(p95) | 期間に始まって終わった実行の、始まってから終わるまでの時間。短い順に並べて 95% の位置の値で、終わった実行の約 95% がこの時間以内に終わっている。接続の確認で止めた実行は入らない |
| 日ごとの実行 | 期間に始まった実行を、始まった日ごとに「完了」「失敗・要対応」「実行中」に分けて積む。対象なし・記録不足・接続の確認で止めた実行は数えない。期間の実行が 1,000 件を超えると棒は出さない |
| 失敗・要対応の内訳 | 失敗・要対応の種類(失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可など)ごとの件数と、割合を出す。件数のある物だけが多い順に並び、対象なしと、接続の確認で止めた実行は入らない |
| 集計外 | 対象なし・実行中・記録不足・接続の確認で停止の件数 |
業務のステップ
選んだ期間に終わった Agent の実行から数えます。ワークフローの工程の実行も、サイクルの巡回も入ります。
| 項目 | 数え方 |
|---|---|
| カウントした実行 | 結果が「完了」「失敗 (Agent の報告)」「失敗 (停止)」「ルールにより実行不可」の実行の数。「失敗」「時間切れ」「対象なし」と、結果の記録が無い実行は数えない(その数は「カウントしなかった実行」) |
| ツールの呼び出し | カウントした実行の、記録されたツールの呼び出しの合計 |
| ステップ | カウントした実行の、業務のステップの合計。1 回の実行のステップは、その実行と記録されたツールの呼び出しから決まり、失敗した連携先の呼び出し・外部への変更は数えず、1 回ごとに上限がある。件数の記録が無い実行は合計に入らず、その件数が添えられる |
テナント全体の今月(UTC で区切る)の合計は、システム管理者が管理コンソールの「ライセンス」の「今月の業務のステップ」で見られます。
確認の指標(ワークフローだけ)
選んだ期間に作られた確認依頼を数えます。
人が承認した割合と差し戻し率(確認工程ごと。「ワークフローの形」の「数値」に出ます)
| 項目 | 数え方 | 期限による自動処理 |
|---|---|---|
| 人が承認した割合 | 人が承認した数 ÷ 決まった数。決まった数は、人が承認した数と、差し戻し・却下の数の合計 | 自動で進んだものは、分子にも分母にも入らない。自動の差し戻し・却下は、分母に入る |
| 差し戻し率 | 差し戻しの数 ÷ 決まった数(上と同じ) | 自動で進んだものは分母に入らない。自動の差し戻し・却下は入る |
確認対応の状況
| 項目 | 数え方 | 期限による自動処理 |
|---|---|---|
| 確認回数(ワークフロー実行1回あたり) | 人が決めた確認依頼の数 ÷ 期間に始まったワークフローの実行の数 | 入らない |
| 待ち時間の目安 | 確認依頼が作られてから決まるまでの時間の中央値。短い順に並べて真ん中の値で、件数が偶数なら真ん中の 2 つのうち短いほう。まだ決まっていないものは入らない | 入る |
| 差し戻し・却下・中断 | 差し戻しと却下の数と、期間に始まって中断されたワークフローの実行の数の合計 | 入る |
| 期限内の回答 | 期限のある確認依頼のうち、回答済みか期限を過ぎたものについて、担当者が期限までに答えた割合。期限による自動処理で決まったものは期限内に数えない | 分母に入る(期限内には数えない) |
確認対応の状況には、接続の確認の確認依頼も入ります(承認・却下と待ち時間。待ちの上限を過ぎて却下として決まったものは、期限による自動処理と同じ扱いです)。
工程ごとの数値
概要の「ワークフローの形」で「数値」を選ぶと、工程ごとの値が工程の説明の箱に出ます。期間は「この業務の実行結果」と同じです。
| 工程 | 出る値 |
|---|---|
| Agent の工程 | 完遂率(その工程の実行だけで、上の式)・失敗・要対応・処理時間の目安(p95) |
| 確認の工程(ワークフローだけ) | 確認(「人の確認」か「手作業」)・確認方法・人が承認した割合(下に確認依頼の数)・差し戻し率・待ち時間の目安・期限内の回答。数え方は上の確認の指標と同じで、その工程の確認依頼だけを数えます。組織の運用の役割だけで開いた人のほかは、箱の「設定を開く」で「実行ルール」へ移れます(確認方法を変えられるのはオーナーだけです) |
| 外部の自動化の工程(ワークフローだけ) | 送信・送信の失敗の件数。送信の結果が付いたものだけを数え、Agent の完遂率には入りません |
| 条件分岐の工程 | 測定対象外 |
全体集計
「全体集計」は、参加しているプロジェクトの実行を合わせて出します。
| 項目 | 数え方 |
|---|---|
| Agentの完遂率・正常完了・失敗・要対応・記録不足・処理時間の目安(p95) | プロジェクトの KPI と同じ |
| 確認の指標 | 出ない |
KPI の CSV
概要の「この業務の実行結果」の「CSV出力」で、選んでいる期間の数字を出力します。1 行に 1 項目で、列は metric と value です。
| metric | 内容 |
|---|---|
days | 期間(日) |
success_rate | Agentの完遂率(0〜1)。終了が 0 件なら空欄 |
success_rate_status | ok(確定)/incomplete(記録不足があり暫定値。終了が 0 件でも同じ)/none(記録不足が無く、終了が 0 件) |
succeeded | 正常完了 |
denominator | 終了 |
outcome_completed など 7 行 | 結果ごとの数。completed=完了、incomplete=失敗 (Agent の報告)、failed=失敗、timeout=時間切れ、stopped=失敗 (停止)、denied=ルールにより実行不可、skipped=対象なし。outcome_completed には、変化なしで終わった実行も入る。どの行にも、接続の確認で止めた実行は入らない |
excluded_skipped/excluded_running/excluded_missing/excluded_unmeasured/excluded_connectionConfirm | 集計外の数(対象なし/実行中/記録不足/常に 0/接続の確認で停止) |
duration_p95_minutes | 処理時間の目安(p95)。分 |
runs_total | 期間に始まったワークフローの実行の数 |
runs_closed_done/runs_closed_failed/runs_closed_rejected/runs_cancelled | そのうち、完了/失敗/却下/中断で終わった数 |
p95_minutes | ワークフローの実行 1 件の、始まってから終わるまでの時間の p95。分 |
reviews_per_run | 確認回数(ワークフロー実行1回あたり) |
gate_wait_median_minutes | 待ち時間の目安(確認依頼が作られてから決まるまでの時間の中央値)。分 |
interventions | 差し戻し・却下・中断の件数 |
gate_ で始まる行 | 確認工程ごとに 5 行。gate_<工程の番号>_name(工程名)・gate_<番号>_mode(確認方法。blocking〈担当者の判断を待つ〉または notify_only〈期限後に自動で進める〉)・gate_<番号>_total(期間にその工程で作られた確認依頼の数。まだ決まっていないものも入る)・gate_<番号>_approval_rate(人が承認した割合)・gate_<番号>_send_back_rate(差し戻し率)。2 つの割合は 0〜1 で、決まった数が 0 件なら空欄。番号は工程の並びの番号で、無効にした工程も数えます。概要の「ワークフローの形」の工程の番号(有効な工程で 1 から)とずれることがあります |
step_ で始まる行 | 有効な工程ごとに、step_<工程の番号>_name(工程名)・step_<番号>_zone(ai〈Agent〉・gate〈確認〉・automation〈外部の自動化〉・branch〈条件分岐〉)と、Agent の工程は _executions・_succeeded・_denominator・_success_rate・_success_rate_status・_duration_p95_minutes、確認の工程は _gate_wait_median_minutes・_deadline_decisions_total・_deadline_decisions_on_time・_deadline_decision_rate(人が承認した割合と差し戻し率は gate_ の行)、外部の自動化の工程は _automation_total・_automation_sent・_automation_failed。番号は gate_ の行と同じで、無効にした工程も数えます。概要の「ワークフローの形」の工程の番号(有効な工程で 1 から)とずれることがあります |
deadline_decisions_total・deadline_decisions_on_time・deadline_decision_rate | 確認の期限内の回答。期限のある確認依頼のうち決まったか期限を過ぎた数・期限内に人が答えた数・その割合。決まったか期限を過ぎた数が 0 件なら割合は空欄 |
terminated_executions/billable_executions/excluded_executions/tool_calls/steps/steps_unknown_executions/steps_formula_version | 業務のステップ。終わった実行/カウントした実行/カウントしなかった実行/ツールの呼び出し/ステップ/件数の記録が無い実行/数え方の版 |