メインコンテンツまでスキップ

実行結果リファレンス

実行 1 件の結果の語と、KPI の数え方の一覧です。項目の名前は画面の表示に合わせています。結果の読み方は記録ガイド、数字の考え方は記録と指標にあります。

結果の語​

実行 1 件の終わり方は、次の 7 つのどれかで表示されます。

表示意味決めるのはAgentの完遂率
完了Agent が「完遂できなかった」と報告せず、最後の結果でもそう示さずに終わった。報告が無いまま終わったものも、最後の結果でそう示していなければ入るAgent成功に数える(変化なしで終わったものは数えない)
失敗 (Agent の報告)Agent が自分で「完遂できなかった」と報告したか、最後の結果でそう示して終えた。報告が無いときの分類は「その他」。実行時間の上限でまとめに入ったあとに完遂できなかったものは、ここではなく「時間切れ」Agent失敗に数える(接続の確認で止めたものは数えない)
失敗例外や実行環境の異常で終わった基盤失敗に数える
時間切れ制限時間に達して、打ち切られた。または、実行時間の上限でまとめに入り、完遂できなかった(Agent が「完遂できなかった」と報告したものを含む)基盤失敗に数える
失敗 (停止)人が止めた、または基盤が取り消した人か基盤失敗に数える
ルールにより実行不可依頼の内容が基盤の入力の検査(ガードレール)で止められ、実行されなかった基盤失敗に数える
対象なし実行が起動しなかった基盤数えない
  • 「完了」は、業務がうまくいったことの保証ではありません。 何をしたかは、実行記録の「実行したこと」で確かめます。
  • 変化なしで終わった実行も、結果は「完了」です。 見に行った対象に変化が無く、何もしなかったと Agent が報告して終わった実行で、理由が「変化なし」になります(実行履歴では、続いたものが「変化なし(3回)」のように 1 行にまとまります)。Agentの完遂率には数えません。
  • 実行ルールで個々の操作が止められても、結果は変わりません。 止められた操作は「実行したこと」に拒否として並びます。
  • 「ルールにより実行不可」の検査は、Agent に書くガードレール(指示)とは別の仕組みです。 実行記録の理由には「ガードレールにより停止」と出ます。
  • 接続の確認で止めた実行も、結果は「失敗 (Agent の報告)」です。 「接続時の確認」を設定した連携先を使う前に止めたもので、理由が「接続の確認のため停止」になります。人の確認を待っているだけなので、失敗には数えず、集計外の「接続の確認で停止」に数えます。実行記録に「失敗の要点」と見直す箇所は出ません(連携ガイド)。

失敗 (Agent の報告) の理由​

Agent が「完遂できなかった」と報告するときは、見直す箇所と、読む人に向けたコメント(できなかったこと・その理由・次にすべきこと)を添えます。分類は次のどれかで、Agent が選ばなかったときは見直す箇所から決まります。実行記録では、分類は結果の横と、「失敗の要点」の「原因」に出ます。コメントは「失敗の要点」の「Agent の終了時の報告」に出ます。「失敗の要点」の最初の確認先は、見直す箇所が絞れていればそれに合わせて(下の 2 つ目の表)、絞れていなければ分類に合わせて(下の表)決まります。

分類失敗の要点の最初の確認先
接続先へのアクセスに失敗 (認証・権限)連携先の設定を表示
連携先の応答なし連携先の設定を表示
実行ルールによる制限実行ルールを表示
必要な入力の不足工程の設定と入力を表示
その他実行したことを表示

見直す箇所が絞れているときの最初の確認先は、次のとおりです。

見直す箇所失敗の要点の最初の確認先
指示(プロンプト)工程の設定と入力を表示
設定・連携(ハーネス)連携先の設定を表示、実行ルールを表示、または工程の設定と入力を表示(どれが出るかは原因による。原因は、見直す箇所の下の説明か、Agent の終了時の報告に書かれる)
管理者・システムによる制限実行したことを表示
外部サービス実行したことを表示
予期せぬエラー実行したことを表示

ワークフローで、結果のあとに起きること​

結果次に起きること
完了同じ工程の次の Agent へ、いなければ次の工程へ進む(「同時に実行」の工程では、全員の結果がそろってから次の工程へ)。次の工程が確認工程なら、そこで確認を待つ
失敗 (Agent の報告)既定では確認依頼を作って止まる。工程の「Agent の報告による失敗のとき」を「そのまま進める」にすると、完了と同じく進む。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む
ルールにより実行不可既定では確認依頼を作って止まる。工程の「ルールにより実行できない場合」を「失敗として閉じる」にすると、ワークフローの実行は失敗で終わる。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む
失敗・時間切れ同じ工程をやり直す。やり直しを「工程ごとの再試行回数」まで使い切ったあとで、また失敗や時間切れになると、ワークフローの実行は失敗で終わる
失敗 (停止)やり直さず、ワークフローの実行は失敗で終わる
対象なし次へ進む(「同時に実行」の工程では、ほかの Agent の結果がそろってから次の工程へ)

接続の確認で止めた実行は、この表によらず、接続の確認の確認依頼を作って待ちます。承認すると同じ工程を起動し直し、却下されたとき・待ちの上限を過ぎたときは、上の「失敗 (Agent の報告)」の行のとおりに進みます。

ワークフローの実行そのものを中断したときは、その実行は「中断」で終わります(「失敗」にはなりません)。

サイクルでは、結果によって巡回が止まることはありません。巡回は、決めた周期で続きます。接続の確認で止めた巡回は、承認すると同じ配置の巡回を 1 回だけ起動し直します。

実行中と、結果が記録されていない実行​

状態意味集計での扱い
実行中まだ終わっていない数えない(「集計外」の実行中)
記録不足終わったのに、結果が記録されていない。実行記録には「結果が記録されていません」と出る成功にも失敗にも数えない(「集計外」の記録不足)。1 件でもあると、Agentの完遂率は暫定値になる。概要の「この業務の実行結果」では、完遂率は値を出さず「—」にして、下に「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る
対象なし結果の「対象なし」数えない(「集計外」の対象なし)
接続の確認で停止「接続時の確認」を設定した連携先を使う前に止めた実行(結果は「失敗 (Agent の報告)」、理由は「接続の確認のため停止」)成功にも失敗にも数えない(「集計外」の接続の確認で停止)

Agentの完遂率​

Agentの完遂率 = 正常完了 ÷ 終了

項目内容
正常完了結果が「完了」の実行の数(変化なしで終わったものを除く)
終了正常完了と「失敗・要対応」の合計。「失敗・要対応」は、失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計(接続の確認で止めた実行を除く)
数える単位Agent の実行 1 回。ワークフローの工程の実行も、サイクルの巡回も数える。やり直しも 1 回と数える
期間選んだ期間に始まった実行
入らないもの対象なし・実行中・記録不足・変化なしで終わった実行・接続の確認で止めた実行
終了が 0 件で、記録不足も無いとき概要の「この業務の実行結果」では、完遂率が「—」で、下に「終了した実行がまだありません(正常完了 N / 終了 N 件)」と出る。全体の集計とプロジェクト一覧のカード(英語の画面では「No data」)では「対象なし」と出る(数える実行が無い、という意味。結果の「対象なし」とは別)
記録不足があるとき「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る(終了が 0 件でも同じ)

KPI の項目​

概要の「この業務の実行結果」に出る項目です。工程ごとの値は「ワークフローの形」の「数値」に出ます(下の「工程ごとの数値」)。期間は選べます(値は設定値リファレンス)。

実行結果​

項目数え方
Agentの完遂率上の式
正常完了結果が「完了」の実行の数(変化なしで終わったものを除く)
失敗・要対応失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計(接続の確認で止めた実行を除く)
処理時間の目安(p95)期間に始まって終わった実行の、始まってから終わるまでの時間。短い順に並べて 95% の位置の値で、終わった実行の約 95% がこの時間以内に終わっている。接続の確認で止めた実行は入らない
日ごとの実行期間に始まった実行を、始まった日ごとに「完了」「失敗・要対応」「実行中」に分けて積む。対象なし・記録不足・接続の確認で止めた実行は数えない。期間の実行が 1,000 件を超えると棒は出さない
失敗・要対応の内訳失敗・要対応の種類(失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可など)ごとの件数と、割合を出す。件数のある物だけが多い順に並び、対象なしと、接続の確認で止めた実行は入らない
集計外対象なし・実行中・記録不足・接続の確認で停止の件数

業務のステップ​

選んだ期間に終わった Agent の実行から数えます。ワークフローの工程の実行も、サイクルの巡回も入ります。

項目数え方
カウントした実行結果が「完了」「失敗 (Agent の報告)」「失敗 (停止)」「ルールにより実行不可」の実行の数。「失敗」「時間切れ」「対象なし」と、結果の記録が無い実行は数えない(その数は「カウントしなかった実行」)
ツールの呼び出しカウントした実行の、記録されたツールの呼び出しの合計
ステップカウントした実行の、業務のステップの合計。1 回の実行のステップは、その実行と記録されたツールの呼び出しから決まり、失敗した連携先の呼び出し・外部への変更は数えず、1 回ごとに上限がある。件数の記録が無い実行は合計に入らず、その件数が添えられる

テナント全体の今月(UTC で区切る)の合計は、システム管理者が管理コンソールの「ライセンス」の「今月の業務のステップ」で見られます。

確認の指標(ワークフローだけ)​

選んだ期間に作られた確認依頼を数えます。

人が承認した割合と差し戻し率(確認工程ごと。「ワークフローの形」の「数値」に出ます)

項目数え方期限による自動処理
人が承認した割合人が承認した数 ÷ 決まった数。決まった数は、人が承認した数と、差し戻し・却下の数の合計自動で進んだものは、分子にも分母にも入らない。自動の差し戻し・却下は、分母に入る
差し戻し率差し戻しの数 ÷ 決まった数(上と同じ)自動で進んだものは分母に入らない。自動の差し戻し・却下は入る

確認対応の状況

項目数え方期限による自動処理
確認回数(ワークフロー実行1回あたり)人が決めた確認依頼の数 ÷ 期間に始まったワークフローの実行の数入らない
待ち時間の目安確認依頼が作られてから決まるまでの時間の中央値。短い順に並べて真ん中の値で、件数が偶数なら真ん中の 2 つのうち短いほう。まだ決まっていないものは入らない入る
差し戻し・却下・中断差し戻しと却下の数と、期間に始まって中断されたワークフローの実行の数の合計入る
期限内の回答期限のある確認依頼のうち、回答済みか期限を過ぎたものについて、担当者が期限までに答えた割合。期限による自動処理で決まったものは期限内に数えない分母に入る(期限内には数えない)

確認対応の状況には、接続の確認の確認依頼も入ります(承認・却下と待ち時間。待ちの上限を過ぎて却下として決まったものは、期限による自動処理と同じ扱いです)。

工程ごとの数値​

概要の「ワークフローの形」で「数値」を選ぶと、工程ごとの値が工程の説明の箱に出ます。期間は「この業務の実行結果」と同じです。

工程出る値
Agent の工程完遂率(その工程の実行だけで、上の式)・失敗・要対応・処理時間の目安(p95)
確認の工程(ワークフローだけ)確認(「人の確認」か「手作業」)・確認方法・人が承認した割合(下に確認依頼の数)・差し戻し率・待ち時間の目安・期限内の回答。数え方は上の確認の指標と同じで、その工程の確認依頼だけを数えます。組織の運用の役割だけで開いた人のほかは、箱の「設定を開く」で「実行ルール」へ移れます(確認方法を変えられるのはオーナーだけです)
外部の自動化の工程(ワークフローだけ)送信・送信の失敗の件数。送信の結果が付いたものだけを数え、Agent の完遂率には入りません
条件分岐の工程測定対象外

全体集計​

「全体集計」は、参加しているプロジェクトの実行を合わせて出します。

項目数え方
Agentの完遂率・正常完了・失敗・要対応・記録不足・処理時間の目安(p95)プロジェクトの KPI と同じ
確認の指標出ない

KPI の CSV​

概要の「この業務の実行結果」の「CSV出力」で、選んでいる期間の数字を出力します。1 行に 1 項目で、列は metric と value です。

metric内容
days期間(日)
success_rateAgentの完遂率(0〜1)。終了が 0 件なら空欄
success_rate_statusok(確定)/incomplete(記録不足があり暫定値。終了が 0 件でも同じ)/none(記録不足が無く、終了が 0 件)
succeeded正常完了
denominator終了
outcome_completed など 7 行結果ごとの数。completed=完了、incomplete=失敗 (Agent の報告)、failed=失敗、timeout=時間切れ、stopped=失敗 (停止)、denied=ルールにより実行不可、skipped=対象なし。outcome_completed には、変化なしで終わった実行も入る。どの行にも、接続の確認で止めた実行は入らない
excluded_skipped/excluded_running/excluded_missing/excluded_unmeasured/excluded_connectionConfirm集計外の数(対象なし/実行中/記録不足/常に 0/接続の確認で停止)
duration_p95_minutes処理時間の目安(p95)。分
runs_total期間に始まったワークフローの実行の数
runs_closed_done/runs_closed_failed/runs_closed_rejected/runs_cancelledそのうち、完了/失敗/却下/中断で終わった数
p95_minutesワークフローの実行 1 件の、始まってから終わるまでの時間の p95。分
reviews_per_run確認回数(ワークフロー実行1回あたり)
gate_wait_median_minutes待ち時間の目安(確認依頼が作られてから決まるまでの時間の中央値)。分
interventions差し戻し・却下・中断の件数
gate_ で始まる行確認工程ごとに 5 行。gate_<工程の番号>_name(工程名)・gate_<番号>_mode(確認方法。blocking〈担当者の判断を待つ〉または notify_only〈期限後に自動で進める〉)・gate_<番号>_total(期間にその工程で作られた確認依頼の数。まだ決まっていないものも入る)・gate_<番号>_approval_rate(人が承認した割合)・gate_<番号>_send_back_rate(差し戻し率)。2 つの割合は 0〜1 で、決まった数が 0 件なら空欄。番号は工程の並びの番号で、無効にした工程も数えます。概要の「ワークフローの形」の工程の番号(有効な工程で 1 から)とずれることがあります
step_ で始まる行有効な工程ごとに、step_<工程の番号>_name(工程名)・step_<番号>_zone(ai〈Agent〉・gate〈確認〉・automation〈外部の自動化〉・branch〈条件分岐〉)と、Agent の工程は _executions・_succeeded・_denominator・_success_rate・_success_rate_status・_duration_p95_minutes、確認の工程は _gate_wait_median_minutes・_deadline_decisions_total・_deadline_decisions_on_time・_deadline_decision_rate(人が承認した割合と差し戻し率は gate_ の行)、外部の自動化の工程は _automation_total・_automation_sent・_automation_failed。番号は gate_ の行と同じで、無効にした工程も数えます。概要の「ワークフローの形」の工程の番号(有効な工程で 1 から)とずれることがあります
deadline_decisions_total・deadline_decisions_on_time・deadline_decision_rate確認の期限内の回答。期限のある確認依頼のうち決まったか期限を過ぎた数・期限内に人が答えた数・その割合。決まったか期限を過ぎた数が 0 件なら割合は空欄
terminated_executions/billable_executions/excluded_executions/tool_calls/steps/steps_unknown_executions/steps_formula_version業務のステップ。終わった実行/カウントした実行/カウントしなかった実行/ツールの呼び出し/ステップ/件数の記録が無い実行/数え方の版