# 実行結果リファレンス

実行 1 件の結果の語と、KPI の数え方の一覧です。項目の名前は画面の表示に合わせています。結果の読み方は[記録ガイド](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/project/guide/record-guide.md)、数字の考え方は[記録と指標](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/project/concepts/records-and-metrics.md)にあります。

## 結果の語

実行 1 件の終わり方は、次の 7 つのどれかで表示されます。

| 表示             | 意味                                                                                                    | 決めるのは | Agentの完遂率                |
| -------------- | ----------------------------------------------------------------------------------------------------- | ----- | ------------------------ |
| 完了             | Agent が「完遂できなかった」と報告せず、最後の結果でもそう示さずに終わった。報告が無いまま終わったものも、最後の結果でそう示していなければ入る                            | Agent | 成功に数える（変化なしで終わったものは数えない） |
| 失敗 (Agent の報告) | Agent が自分で「完遂できなかった」と報告したか、最後の結果でそう示して終えた。報告が無いときの分類は「その他」。実行時間の上限でまとめに入ったあとに完遂できなかったものは、ここではなく「時間切れ」 | Agent | 失敗に数える（接続の確認で止めたものは数えない） |
| 失敗             | 例外や実行環境の異常で終わった                                                                                       | 基盤    | 失敗に数える                   |
| 時間切れ           | 制限時間に達して、打ち切られた。または、実行時間の上限でまとめに入り、完遂できなかった（Agent が「完遂できなかった」と報告したものを含む）                              | 基盤    | 失敗に数える                   |
| 失敗 (停止)        | 人が止めた、または基盤が取り消した                                                                                     | 人か基盤  | 失敗に数える                   |
| ルールにより実行不可     | 依頼の内容が基盤の入力の検査（ガードレール）で止められ、実行されなかった                                                                  | 基盤    | 失敗に数える                   |
| 対象なし           | 実行が起動しなかった                                                                                            | 基盤    | 数えない                     |

- **「完了」は、業務がうまくいったことの保証ではありません。** 何をしたかは、実行記録の「実行したこと」で確かめます。
- **変化なしで終わった実行も、結果は「完了」です。** 見に行った対象に変化が無く、何もしなかったと Agent が報告して終わった実行で、理由が「変化なし」になります（実行履歴では、続いたものが「変化なし（3回）」のように 1 行にまとまります）。Agentの完遂率には数えません。
- **実行ルールで個々の操作が止められても、結果は変わりません。** 止められた操作は「実行したこと」に拒否として並びます。
- **「ルールにより実行不可」の検査は、Agent に書くガードレール（指示）とは別の仕組みです。** 実行記録の理由には「ガードレールにより停止」と出ます。
- **接続の確認で止めた実行も、結果は「失敗 (Agent の報告)」です。** 「接続時の確認」を設定した連携先を使う前に止めたもので、理由が「接続の確認のため停止」になります。人の確認を待っているだけなので、**失敗には数えず**、集計外の「接続の確認で停止」に数えます。実行記録に「失敗の要点」と見直す箇所は出ません（[連携ガイド](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/project/guide/connection-guide.md#%E4%BD%BF%E3%81%86%E5%89%8D%E3%81%AB%E4%BA%BA%E3%81%AB%E7%A2%BA%E3%81%8B%E3%82%81%E3%81%95%E3%81%9B%E3%82%8B%E6%8E%A5%E7%B6%9A%E3%81%AE%E7%A2%BA%E8%AA%8D)）。

### 失敗 (Agent の報告) の理由

Agent が「完遂できなかった」と報告するときは、見直す箇所と、読む人に向けたコメント（できなかったこと・その理由・次にすべきこと）を添えます。分類は次のどれかで、Agent が選ばなかったときは見直す箇所から決まります。実行記録では、分類は結果の横と、「失敗の要点」の「原因」に出ます。コメントは「失敗の要点」の「Agent の終了時の報告」に出ます。「失敗の要点」の最初の確認先は、見直す箇所が絞れていればそれに合わせて（下の 2 つ目の表）、絞れていなければ分類に合わせて（下の表）決まります。

| 分類                   | 失敗の要点の最初の確認先 |
| -------------------- | ------------ |
| 接続先へのアクセスに失敗 (認証・権限) | 連携先の設定を表示    |
| 連携先の応答なし             | 連携先の設定を表示    |
| 実行ルールによる制限           | 実行ルールを表示     |
| 必要な入力の不足             | 工程の設定と入力を表示  |
| その他                  | 実行したことを表示    |

見直す箇所が絞れているときの最初の確認先は、次のとおりです。

| 見直す箇所         | 失敗の要点の最初の確認先                                                                       |
| ------------- | ---------------------------------------------------------------------------------- |
| 指示（プロンプト）     | 工程の設定と入力を表示                                                                        |
| 設定・連携（ハーネス）   | 連携先の設定を表示、実行ルールを表示、または工程の設定と入力を表示（どれが出るかは原因による。原因は、見直す箇所の下の説明か、Agent の終了時の報告に書かれる） |
| 管理者・システムによる制限 | 実行したことを表示                                                                          |
| 外部サービス        | 実行したことを表示                                                                          |
| 予期せぬエラー       | 実行したことを表示                                                                          |

## ワークフローで、結果のあとに起きること

| 結果             | 次に起きること                                                                                         |
| -------------- | ----------------------------------------------------------------------------------------------- |
| 完了             | 同じ工程の次の Agent へ、いなければ次の工程へ進む（「同時に実行」の工程では、全員の結果がそろってから次の工程へ）。次の工程が確認工程なら、そこで確認を待つ               |
| 失敗 (Agent の報告) | 既定では確認依頼を作って止まる。工程の「Agent の報告による失敗のとき」を「そのまま進める」にすると、完了と同じく進む。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む       |
| ルールにより実行不可     | 既定では確認依頼を作って止まる。工程の「ルールにより実行できない場合」を「失敗として閉じる」にすると、ワークフローの実行は失敗で終わる。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む |
| 失敗・時間切れ        | 同じ工程をやり直す。やり直しを「工程ごとの再試行回数」まで使い切ったあとで、また失敗や時間切れになると、ワークフローの実行は失敗で終わる                            |
| 失敗 (停止)        | やり直さず、ワークフローの実行は失敗で終わる                                                                          |
| 対象なし           | 次へ進む（「同時に実行」の工程では、ほかの Agent の結果がそろってから次の工程へ）                                                    |

接続の確認で止めた実行は、この表によらず、接続の確認の確認依頼を作って待ちます。承認すると同じ工程を起動し直し、却下されたとき・待ちの上限を過ぎたときは、上の「失敗 (Agent の報告)」の行のとおりに進みます。

ワークフローの実行そのものを中断したときは、その実行は「中断」で終わります（「失敗」にはなりません）。

サイクルでは、結果によって巡回が止まることはありません。巡回は、決めた周期で続きます。接続の確認で止めた巡回は、承認すると同じ配置の巡回を 1 回だけ起動し直します。

## 実行中と、結果が記録されていない実行

| 状態       | 意味                                                              | 集計での扱い                                                                                                                        |
| -------- | --------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------- |
| 実行中      | まだ終わっていない                                                       | 数えない（「集計外」の実行中）                                                                                                               |
| 記録不足     | 終わったのに、結果が記録されていない。実行記録には「結果が記録されていません」と出る                      | 成功にも失敗にも数えない（「集計外」の記録不足）。1 件でもあると、Agentの完遂率は暫定値になる。概要の「この業務の実行結果」では、完遂率は値を出さず「—」にして、下に「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る |
| 対象なし     | 結果の「対象なし」                                                       | 数えない（「集計外」の対象なし）                                                                                                              |
| 接続の確認で停止 | 「接続時の確認」を設定した連携先を使う前に止めた実行（結果は「失敗 (Agent の報告)」、理由は「接続の確認のため停止」） | 成功にも失敗にも数えない（「集計外」の接続の確認で停止）                                                                                                  |

## Agentの完遂率

**Agentの完遂率 ＝ 正常完了 ÷ 終了**

| 項目                 | 内容                                                                                                                                            |
| ------------------ | --------------------------------------------------------------------------------------------------------------------------------------------- |
| 正常完了               | 結果が「完了」の実行の数（変化なしで終わったものを除く）                                                                                                                  |
| 終了                 | 正常完了と「失敗・要対応」の合計。「失敗・要対応」は、失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計（接続の確認で止めた実行を除く）                                                      |
| 数える単位              | Agent の実行 1 回。ワークフローの工程の実行も、サイクルの巡回も数える。やり直しも 1 回と数える                                                                                         |
| 期間                 | 選んだ期間に始まった実行                                                                                                                                  |
| 入らないもの             | 対象なし・実行中・記録不足・変化なしで終わった実行・接続の確認で止めた実行                                                                                                         |
| 終了が 0 件で、記録不足も無いとき | 概要の「この業務の実行結果」では、完遂率が「—」で、下に「終了した実行がまだありません（正常完了 N / 終了 N 件）」と出る。全体の集計とプロジェクト一覧のカード（英語の画面では「No data」）では「対象なし」と出る（数える実行が無い、という意味。結果の「対象なし」とは別） |
| 記録不足があるとき          | 「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る（終了が 0 件でも同じ）                                                                                          |

## KPI の項目

概要の「この業務の実行結果」に出る項目です。工程ごとの値は「ワークフローの形」の「数値」に出ます（下の「[工程ごとの数値](#%E5%B7%A5%E7%A8%8B%E3%81%94%E3%81%A8%E3%81%AE%E6%95%B0%E5%80%A4)」）。期間は選べます（値は[設定値リファレンス](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/project/reference/settings-ref.md)）。

### 実行結果

| 項目           | 数え方                                                                                                       |
| ------------ | --------------------------------------------------------------------------------------------------------- |
| Agentの完遂率    | 上の式                                                                                                       |
| 正常完了         | 結果が「完了」の実行の数（変化なしで終わったものを除く）                                                                              |
| 失敗・要対応       | 失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計（接続の確認で止めた実行を除く）                                             |
| 処理時間の目安（p95） | 期間に始まって終わった実行の、始まってから終わるまでの時間。短い順に並べて 95% の位置の値で、終わった実行の約 95% がこの時間以内に終わっている。接続の確認で止めた実行は入らない             |
| 日ごとの実行       | 期間に始まった実行を、始まった日ごとに「完了」「失敗・要対応」「実行中」に分けて積む。対象なし・記録不足・接続の確認で止めた実行は数えない。期間の実行が 1,000 件を超えると棒は出さない           |
| 失敗・要対応の内訳    | 失敗・要対応の種類（失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可など）ごとの件数と、割合を出す。件数のある物だけが多い順に並び、対象なしと、接続の確認で止めた実行は入らない |
| 集計外          | 対象なし・実行中・記録不足・接続の確認で停止の件数                                                                                 |

### 業務のステップ

選んだ期間に終わった Agent の実行から数えます。ワークフローの工程の実行も、サイクルの巡回も入ります。

| 項目       | 数え方                                                                                                                        |
| -------- | -------------------------------------------------------------------------------------------------------------------------- |
| カウントした実行 | 結果が「完了」「失敗 (Agent の報告)」「失敗 (停止)」「ルールにより実行不可」の実行の数。「失敗」「時間切れ」「対象なし」と、結果の記録が無い実行は数えない（その数は「カウントしなかった実行」）                     |
| ツールの呼び出し | カウントした実行の、記録されたツールの呼び出しの合計                                                                                                 |
| ステップ     | カウントした実行の、業務のステップの合計。1 回の実行のステップは、その実行と記録されたツールの呼び出しから決まり、失敗した連携先の呼び出し・外部への変更は数えず、1 回ごとに上限がある。件数の記録が無い実行は合計に入らず、その件数が添えられる |

テナント全体の今月（UTC で区切る）の合計は、システム管理者が管理コンソールの「ライセンス」の「**今月の業務のステップ**」で見られます。

### 確認の指標（ワークフローだけ）

選んだ期間に作られた確認依頼を数えます。

**人が承認した割合と差し戻し率**（確認工程ごと。「ワークフローの形」の「数値」に出ます）

| 項目       | 数え方                                          | 期限による自動処理                                |
| -------- | -------------------------------------------- | ---------------------------------------- |
| 人が承認した割合 | 人が承認した数 ÷ 決まった数。決まった数は、人が承認した数と、差し戻し・却下の数の合計 | 自動で進んだものは、分子にも分母にも入らない。自動の差し戻し・却下は、分母に入る |
| 差し戻し率    | 差し戻しの数 ÷ 決まった数（上と同じ）                         | 自動で進んだものは分母に入らない。自動の差し戻し・却下は入る           |

**確認対応の状況**

| 項目                  | 数え方                                                                           | 期限による自動処理        |
| ------------------- | ----------------------------------------------------------------------------- | ---------------- |
| 確認回数（ワークフロー実行1回あたり） | 人が決めた確認依頼の数 ÷ 期間に始まったワークフローの実行の数                                              | 入らない             |
| 待ち時間の目安             | 確認依頼が作られてから決まるまでの時間の中央値。短い順に並べて真ん中の値で、件数が偶数なら真ん中の 2 つのうち短いほう。まだ決まっていないものは入らない | 入る               |
| 差し戻し・却下・中断          | 差し戻しと却下の数と、期間に始まって中断されたワークフローの実行の数の合計                                         | 入る               |
| 期限内の回答              | 期限のある確認依頼のうち、回答済みか期限を過ぎたものについて、担当者が期限までに答えた割合。期限による自動処理で決まったものは期限内に数えない       | 分母に入る（期限内には数えない） |

確認対応の状況には、接続の確認の確認依頼も入ります（承認・却下と待ち時間。待ちの上限を過ぎて却下として決まったものは、期限による自動処理と同じ扱いです）。

### 工程ごとの数値

概要の「ワークフローの形」で「**数値**」を選ぶと、工程ごとの値が工程の説明の箱に出ます。期間は「この業務の実行結果」と同じです。

| 工程                  | 出る値                                                                                                                                                             |
| ------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| Agent の工程           | 完遂率（その工程の実行だけで、上の式）・失敗・要対応・処理時間の目安（p95）                                                                                                                         |
| 確認の工程（ワークフローだけ）     | 確認（「人の確認」か「手作業」）・確認方法・人が承認した割合（下に確認依頼の数）・差し戻し率・待ち時間の目安・期限内の回答。数え方は上の確認の指標と同じで、その工程の確認依頼だけを数えます。組織の運用の役割だけで開いた人のほかは、箱の「設定を開く」で「実行ルール」へ移れます（確認方法を変えられるのはオーナーだけです） |
| 外部の自動化の工程（ワークフローだけ） | 送信・送信の失敗の件数。送信の結果が付いたものだけを数え、Agent の完遂率には入りません                                                                                                                  |
| 条件分岐の工程             | 測定対象外                                                                                                                                                           |

### 全体集計

「全体集計」は、参加しているプロジェクトの実行を合わせて出します。

| 項目                                      | 数え方             |
| --------------------------------------- | --------------- |
| Agentの完遂率・正常完了・失敗・要対応・記録不足・処理時間の目安（p95） | プロジェクトの KPI と同じ |
| 確認の指標                                   | 出ない             |

## KPI の CSV

概要の「この業務の実行結果」の「CSV出力」で、選んでいる期間の数字を出力します。1 行に 1 項目で、列は `metric` と `value` です。

| metric                                                                                                                                      | 内容                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| ------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `days`                                                                                                                                      | 期間（日）                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| `success_rate`                                                                                                                              | Agentの完遂率（0〜1）。終了が 0 件なら空欄                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| `success_rate_status`                                                                                                                       | `ok`（確定）／`incomplete`（記録不足があり暫定値。終了が 0 件でも同じ）／`none`（記録不足が無く、終了が 0 件）                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| `succeeded`                                                                                                                                 | 正常完了                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
| `denominator`                                                                                                                               | 終了                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| `outcome_completed` など 7 行                                                                                                                  | 結果ごとの数。`completed`＝完了、`incomplete`＝失敗 (Agent の報告)、`failed`＝失敗、`timeout`＝時間切れ、`stopped`＝失敗 (停止)、`denied`＝ルールにより実行不可、`skipped`＝対象なし。`outcome_completed` には、変化なしで終わった実行も入る。どの行にも、接続の確認で止めた実行は入らない                                                                                                                                                                                                                                                                                                                                            |
| `excluded_skipped`／`excluded_running`／`excluded_missing`／`excluded_unmeasured`／`excluded_connectionConfirm`                                 | 集計外の数（対象なし／実行中／記録不足／常に 0／接続の確認で停止）                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| `duration_p95_minutes`                                                                                                                      | 処理時間の目安（p95）。分                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
| `runs_total`                                                                                                                                | 期間に始まったワークフローの実行の数                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| `runs_closed_done`／`runs_closed_failed`／`runs_closed_rejected`／`runs_cancelled`                                                             | そのうち、完了／失敗／却下／中断で終わった数                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
| `p95_minutes`                                                                                                                               | ワークフローの実行 1 件の、始まってから終わるまでの時間の p95。分                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
| `reviews_per_run`                                                                                                                           | 確認回数（ワークフロー実行1回あたり）                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| `gate_wait_median_minutes`                                                                                                                  | 待ち時間の目安（確認依頼が作られてから決まるまでの時間の中央値）。分                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| `interventions`                                                                                                                             | 差し戻し・却下・中断の件数                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
| `gate_` で始まる行                                                                                                                               | 確認工程ごとに 5 行。`gate_<工程の番号>_name`（工程名）・`gate_<番号>_mode`（確認方法。`blocking`〈担当者の判断を待つ〉または `notify_only`〈期限後に自動で進める〉）・`gate_<番号>_total`（期間にその工程で作られた確認依頼の数。まだ決まっていないものも入る）・`gate_<番号>_approval_rate`（人が承認した割合）・`gate_<番号>_send_back_rate`（差し戻し率）。2 つの割合は 0〜1 で、決まった数が 0 件なら空欄。番号は工程の並びの番号で、無効にした工程も数えます。概要の「ワークフローの形」の工程の番号（有効な工程で 1 から）とずれることがあります                                                                                                                                                                                              |
| `step_` で始まる行                                                                                                                               | 有効な工程ごとに、`step_<工程の番号>_name`（工程名）・`step_<番号>_zone`（`ai`〈Agent〉・`gate`〈確認〉・`automation`〈外部の自動化〉・`branch`〈条件分岐〉）と、Agent の工程は `_executions`・`_succeeded`・`_denominator`・`_success_rate`・`_success_rate_status`・`_duration_p95_minutes`、確認の工程は `_gate_wait_median_minutes`・`_deadline_decisions_total`・`_deadline_decisions_on_time`・`_deadline_decision_rate`（人が承認した割合と差し戻し率は `gate_` の行）、外部の自動化の工程は `_automation_total`・`_automation_sent`・`_automation_failed`。番号は `gate_` の行と同じで、無効にした工程も数えます。概要の「ワークフローの形」の工程の番号（有効な工程で 1 から）とずれることがあります |
| `deadline_decisions_total`・`deadline_decisions_on_time`・`deadline_decision_rate`                                                            | 確認の期限内の回答。期限のある確認依頼のうち決まったか期限を過ぎた数・期限内に人が答えた数・その割合。決まったか期限を過ぎた数が 0 件なら割合は空欄                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| `terminated_executions`／`billable_executions`／`excluded_executions`／`tool_calls`／`steps`／`steps_unknown_executions`／`steps_formula_version` | 業務のステップ。終わった実行／カウントした実行／カウントしなかった実行／ツールの呼び出し／ステップ／件数の記録が無い実行／数え方の版                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
