実行結果リファレンス
実行記録と実行履歴に表示される結果の意味と、指標の数え方の一覧です。SaaS 版と同じ語は、意味の要点だけを載せています。 読み方は記録と指標にあります。
結果の語
実行 1 件の終わり方は、次のどれかで表示されます。
| 表示 | 意味 | 決めるのは | Agentの完遂率 |
|---|---|---|---|
| 完了 | Agent が完遂として終えた(「完遂できなかった」という宣言も、実行ルールによる拒否・実行上限の超過・異常終了も無かった) | Agent | 成功に数える(対象が無く何も変えなかった巡回として報告された「完了」を除く) |
| 失敗 (Agent の報告) | Agent が自分で「完遂できなかった」と報告した | Agent | 失敗に数える |
| 失敗 | Agent のプロセスが異常に終わった、Pod が消えた、など | 基盤 | 失敗に数える |
| 時間切れ | 実行上限を過ぎて、打ち切られた | 基盤 | 失敗に数える |
| 失敗 (停止) | 人が止めた(案件の中断・サイクルの実行の停止)、または基盤が取り消した | 人か基盤 | 失敗に数える |
| ルールにより実行不可 | 起動の前の照合で、プロジェクトの基本ルールが Agent の「使える実行ルール」に入っていなかった。Agent が自分で報告することもある | 基盤か Agent | 失敗に数える |
| 対象なし | 実行が起動しなかった。または、Agent が「対象なし」と報告して工程を飛ばした | 基盤か Agent | 数えない |
| 実行終了 (完遂は未計測) | サイクルの登録 Agent が正常に終了したが、完遂したかを報告しなかった | 基盤 | 数えない(母数に入らない) |
- 「完了」は、業務がうまくいったことの保証ではありません。 成果物の中身で確かめます
- 「実行終了 (完遂は未計測)」は、サイクルにだけあります。 概要の指標には、この件数が別に出ます(記録ガイド)
- 登録 Agent が起動できなかったときの理由と直すところは、記録ガイドにあります
ワークフローで、結果のあとに起きること
終わり方ごとに決まった扱いで動きます(完了は次の工程へ。未完遂・停止・ルールにより実行不可は確認依頼(ルールにより実行不可は、外部の API で工程に「失敗として閉じる」を設定してあれば、案件が失敗で閉じる)。何が起きたかが分かっている失敗は、外部への効果が読み取りのみか再送しても同じ結果なら自動でやり直し、回数を使い切ると案件は失敗で閉じる。実行上限による時間切れを含む、何が起きたか分からない終わり方は、自動ではやり直さず確認依頼)。一覧は起動ガイドにあります。
Agentの完遂率
Agentの完遂率 = 正常完了 ÷ 終了
| 項目 | 内容 |
|---|---|
| 正常完了 | 結果が「完了」の実行の数(対象が無く何も変えなかった巡回として報告されたものを除く) |
| 終了 | 正常完了と、失敗・要対応(失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可)の合計 |
| 数える単位 | Agent の実行 1 回。ワークフローでは工程に置いた登録 Agent の実行(確認工程や通過した工程は除く)、サイクルでは登録 Agent の実行(周期の巡回と、Webhook での起動の両方) |
| 入らないもの | 対象なし・実行中・実行終了 (完遂は未計測)・対象が無く何も変えなかった巡回として報告された「完了」(分子にも母数にも入れません。巡回の数には数えます) |
| 終了した実行に結果が無いもの | 「記録不足」として数え、完遂率は暫定値になります |
| 終了が 0 件のとき | 完遂率は出ません |
| 処理時間 | 実行の開始から終了までの時間の、95 パーセンタイルが出ます |
完遂率が高くても、業務がうまくいったとは言えません。 「完了」は、Agent が完遂として終えたという意味にとどまります。
概要の指標
概要には、選んだ期間の指標が出ます。Agent の 1 回の処理を単位に集計します。 完遂率は Agent の報告に基づく値で、業務の成果ではありません。
実行結果
| 項目 | 内容 |
|---|---|
| Agent の完遂率 | 正常完了 ÷ 終了(上の式) |
| 正常完了 | Agent が完遂した実行 |
| 失敗・要対応 | 失敗・時間切れ・Agent の報告・停止・ルールにより実行不可の合計 |
| 処理時間の目安(p95) | 終了した実行の約 95% がこの時間以内 |
確認の指標(ワークフローだけ)
| 項目 | 内容 |
|---|---|
| 期限内の回答 | 選択期間に作成された期限のある確認依頼のうち、回答済みか期限を過ぎたものについて、担当者が期限までに回答した割合(外部条件が成立して基盤が進めた確認は、母数に入り、分子には入りません) |
| 待ち時間の目安 | 選択期間に作成され回答済みの確認依頼について、依頼から回答までの時間の中央値(外部条件が成立して基盤が進めた確認も含みます) |
| 差し戻し・却下・中断 | 選択期間に作成された確認依頼のうち差し戻し・却下になった件数と、同じ期間に開始して中断された案件の数の合計 |
| 確認回数 | 選択期間に作成された確認依頼に対する担当者の回答数を、同じ期間に開始した案件の数で割った値 |
確認の指標は、作業時間や担当者の負担を表す指標ではありません。
工程ごとの数値
概要の「ワークフローの形」で「数値」を選ぶと、工程ごとの値が工程の説明の箱に出ます。期間は上の指標と同じです。
| 工程 | 出る値 |
|---|---|
| Agent の工程 | 完遂率(その工程の実行だけで、上の式)・失敗・要対応・処理時間の目安(p95) |
| 確認の工程(ワークフローだけ) | 確認の種類・確認方法・人が承認した割合(下に確認依頼の数)・差し戻し率・待ち時間の目安・期限内の回答。数え方は上の確認の指標と同じで、その工程の確認依頼だけを数えます。組織の運用の役割だけで開いた人のほかは、箱の「設定を開く」で「実行ルール」へ移れます(確認方法を変えられるのはオーナーだけです) |
| 条件分岐の工程 | 測定対象外 |
KPI の CSV
概要の「CSV出力」で、選んでいる期間の数字を出力します。1 行に 1 項目で、列は metric と value です。
| metric | 内容 |
|---|---|
days | 期間(日) |
success_rate | Agentの完遂率(0〜1)。終了が 0 件なら空欄 |
success_rate_status | ok(確定)/incomplete(記録不足があり暫定値)/none(記録不足が無く、終了が 0 件) |
succeeded | 正常完了 |
denominator | 終了 |
outcome_ で始まる行 | 結果ごとの数 |
excluded_skipped/excluded_running/excluded_missing/excluded_unmeasured | 集計外の数(対象なし/実行中/記録不足/実行終了 (完遂は未計測)) |
duration_p95_minutes | 処理時間の目安(p95)。分 |
runs_total | 期間に始まった案件の数 |
runs_closed_done/runs_closed_failed/runs_closed_rejected/runs_cancelled | そのうち、完了/失敗/却下/中断で終わった数 |
p95_minutes | 案件 1 件の、始まってから終わるまでの時間の p95。分 |
reviews_per_run | 確認回数(案件 1 件あたり) |
gate_wait_median_minutes | 待ち時間の目安。分 |
interventions | 差し戻し・却下・中断の件数 |
deadline_decisions_total・deadline_decisions_on_time・deadline_decision_rate | 確認の期限内の回答(期限のある確認依頼のうち、決まったか期限を過ぎた数・人が期限内に答えた数・その割合) |
gate_ で始まる行 | 確認工程ごとに 5 行(gate_<工程の番号>_name・_mode・_total・_approval_rate・_send_back_rate) |
step_ で始まる行 | 有効な工程ごとに、step_<工程の番号>_name(工程名)・step_<番号>_zone(ai〈Agent〉・gate〈確認〉・branch〈条件分岐〉)と、Agent の工程は _executions・_succeeded・_denominator・_success_rate・_success_rate_status・_duration_p95_minutes、確認の工程は _gate_wait_median_minutes・_deadline_decisions_total・_deadline_decisions_on_time・_deadline_decision_rate(人が承認した割合と差し戻し率は gate_ の行)。番号は gate_ の行と同じで、無効にした工程も数えます。概要の「ワークフローの形」の工程の番号(有効な工程で 1 から)とずれることがあります |