簡而言之： ServiceNow CoreAI 的 AutoSynthData 功能可以將代理失敗和教師成功轉化為經過驗證的合成 SFT 任務，從而滿足企業對環境能力而非僅僅寬泛基準分數的需求。它將差距轉化為能力規範卡片，倍增可驗證的工作量，並在微調前進行品質把關。作者指出，如果教師能力、驗證者品質和環境保真度相匹配，企業營運訓練計畫 (EnterpriseOps Gym) 的提升就能持續有效。
重點總結：
能力卡：將故障訊息清除到卡片中，以便產生器永遠不會看到原始 ID。
驗證器可審計性：優先選擇拒絕修改後的錯誤結果的 SQL 最終狀態檢查。
難易度：只訓練目標很少能解決，但老師通常能解決的任務。
人工審核：在重新訓練之前，對高風險保單和不可逆轉的行動進行人工審核。
移動前沿：在 SFT 之後，重新評估並將目標階段轉移到剩餘差距。
企業級人工智慧代理很少因為缺乏通用知識而失敗，而是因為環境的特殊性：工單策略、模式怪癖、工具契約、預置資料庫、知識庫文章以及與教科書演示截然不同的跨系統工作流程。即使在公開基準測試中得分很高，當下一步必須遵守變更視窗、組態管理資料庫 (CMDB) 關係或驗證器檢查最終狀態而非流暢的對話時，模型仍然可能停滯不前。.
ServiceNow CoreAI / ServiceNow-AI 發布了 AutoSynthData ，旨在直接解決這一難題。署名作者 Esakkivel Esakkiraja 描述了一個流程，將目標智能體的失敗案例（以及更強大的教師模型的成功案例）轉化為針對企業環境量身定制的、經過驗證的合成訓練任務。其目的並非收集更多聊天記錄，而是倍增在新的條件下鍛鍊相同能力的、難度高且可驗證的工作，從而使監督式微調能夠彌補特定環境的缺陷。
本文詳細闡述了EnterpriseOps Gym的核心理念、任務抽象化、產生和品質控制循環、共享架構，以及作者在混合部署和IT服務管理（ITSM）環境下使用該平台所取得的成果。文章始終圍繞著研究描述：建構一個動態的合成任務課程，而非聲稱能夠瞬間解決所有企業問題。.
為什麼環境能力勝過廣泛的能力
企業需要能夠在自身環境中運作的代理程式－包括其係統、規則和資料狀態。廣泛的功能並不等於環境勝任力。代理程式可能了解 IT 服務管理的常規運作方式，但仍可能忽略禁止某些轉換的本機策略，或只有在存在先決條件記錄後才會更新相關表的工具。.
個別失敗案例雖然能提供有價值的訊息，但作為訓練數據而言卻略顯單薄。一次失敗的軌跡只能揭示模型的弱點，卻無法提供數十個類似的場景來訓練模型在變化中恢復的能力。團隊需要設計大量新任務，這些任務以不同的方式鍛鍊相同的能力，能夠在既定環境中完成，符合使用者的實際需求，並且能夠透過結果驗證。.
這就是 AutoSynthData 背後的設計理念。失敗會轉化為能力卡的訊號。卡片會產生新的任務。更優秀的教師會展現成功的訓練軌跡。過濾器和驗證器決定哪些資料可以進入監督式微調集。訓練完成後，評估會將訓練邊界轉移到剩餘的差距。整個循環是課程式的，而不是一次性的數據傾倒。.
對實踐者而言，框架至關重要。如果只儲存失敗的提示，則可能過度擬合這些特定的實體和措詞。如果只產生不受約束的合成請求，則可能產生不可能、不切實際或無法驗證的任務。 AutoSynthData 介於這兩種極端之間：將失敗的提示提煉成能力規範，然後重新產生任務，保留其核心功能，同時改變其表面形式和可控維度。.
實際任務形式：系統、提示、驗證器
智能體工作的可行抽像模型是：任務等於 系統規格、使用者提示和驗證器。每個部分都包含約束條件，以確保合成資料的可靠性和可信度。
系統規格涵蓋限制、策略和初始狀態—例如資料庫種子和知識庫文章。它必須與現有工具和狀態保持相容。忽略工具契約或種子真實性的任意難度限制往往會造成脆弱的任務，進而導致錯誤的教學效果。.
使用者提示品質包含三個維度。可行性考察是否存在有效的路徑。真實性考察用戶是否會提出這樣的請求。難度考察任務是否暴露了智能體目前的弱點，而不是目標智能體已經能夠可靠解決的問題。對目標智能體而言過於簡單的提示會浪費訓練資源；而對目標智能體而言不可能完成的提示則會損害評估的可信度。.
驗證器的品質取決於一致性、可靠性和完整性。過於寬鬆、薄弱的路徑會被通過。過於限制於單一路徑，有效的替代方案則會失敗。企業環境通常更傾向於基於 SQL 或基於狀態的結果檢查，因為它們評估的是代理執行操作後的世界，而不是代理執行的特定路徑。.
AutoSynthData 正是基於這三者原則，確保產生的任務始終具有現實意義。生成器不會隨意建立測試題，而是產生可在環境適配器中執行的任務，並由專注於最終狀態屬性的驗證器進行評判。.
從診斷評估到能力規格卡
此流程首先對目標智能體和環境中較優秀的教師進行診斷評估。並排運作可以揭示目標智能體在哪些方面表現不佳，以及教師在哪些方面表現良好。這些對比案例是課程設計的原始素材。.
接下來是將資料提煉成經過 清理的能力規格卡片。每張卡片記錄了待測能力、相關工具或工作流程、目標失敗和目標成功之處、所需的最終狀態屬性，以及在建立新任務時可能發生變化的維度。關鍵在於，生成器不會接收到原始提示、實體、軌跡或驗證者詳細資訊——只會接收到卡片本身。
這種清理是為了防止過度擬合而刻意採取的措施。如果生成器看到具體的失敗案例編號、知識文章 ID 或教師記錄，它很可能會照搬相同的案例。卡片式教學強調抽象：教授的是可控變化條件下的能力，而不是記憶的例子。.
卡片生成後，系統會根據卡片產生新的任務。然後，教師會示範成功的學習路徑，讓學生在指導下進行微調。這些演示並非隨意給予的建議，而是基於實際學習環境的成功案例，符合課程所重視的驗證標準。.
兩階段結構規模。 目標階段 專注於圍繞差距的核心驗證樣本——即弱智能體失效附近的高訊號任務。 倍增階段 創建已接受目標的新變體。倍增樣本不能作為後續倍增輪次的種子，從而限制了漂移。這條規則雖小卻至關重要：無限制的遞歸變異可能會偏離卡片上指定的預期能力。
共享控制器、環境適配器和不斷變化的前沿
在架構方面，AutoSynthData 使用 共用控制器和環境適配器。控制器負責協調診斷、卡片生成、教師演示、品質門控和批量審核等步驟。適配器將這些步驟連接到一個特定的企業沙箱環境（包括工具、狀態、策略和驗證器），從而使同一個控制迴路能夠應用於不同的領域，而無需從頭開始重寫課程邏輯。
經過監督式微調後，流程會重新評估。課程隨後會著手解決剩餘的差距：這是一個動態的前沿領域，而非靜態的資料集。本文所描述的實驗著重於監督式微調。同樣的循環流程未來也可能支持強化學習；該方向目前 僅為計畫之中，尚未完成。
對企業團隊而言，架構的關鍵在於模組化。控制器不應硬編碼單一的工單模式。適配器應暴露足夠的狀態和工具保真度，以便驗證人員能夠有效地進行驗證。課程應將評估結果視為下一個輸入，而不是一次性的記分板。.
EnterpriseOps Gym 是展示這種方法的環境。它是一個大規模的企業代理測試平台，包含 約 1150 個專家精心策劃的任務，涵蓋 8 個領域， 使用約 512 個工具、約 164 個資料庫表， 支援容器化執行、基於 SQL 的結果驗證、策略控制的操作、混合跨域場景、不可行性和拒絕測試，以及長期有狀態軌跡。 AutoSynthData 並非該平台的創建者；該平台是合成循環的壓力測試平台。
樣品級品質控制確保合成任務的可靠性
生成過程中若不進行門控，合成代理資料就會出錯。 AutoSynthData 透過多種互補的檢查方法，實現了樣本層級的品質控制。.
解題難度過濾器會將題目集引導至目標模型難以解決但教師模型能夠解決的題目。這種配置 傾向於選擇目標模型最多三次嘗試中能解決一次，而教師模型至少三次嘗試中能解決兩次的題目。在這個難度區間內，監督演示可以教導一些弱模型尚未掌握的知識。
正向驗證要求參考軌跡通過驗證器的檢查。負向驗證要求變異後的錯誤結果失敗。兩者共同對驗證器的接受與拒絕機制進行壓力測試。如果只檢查正向驗證，寬鬆的驗證器可能會接受垃圾結果。如果只檢查負向驗證，過於嚴格的驗證器可能會拒絕有效的工作。.
帶有重試次數限制的批判性修復循環，旨在修復未能通過檢查的任務，而不是立即丟棄所有接近失敗的任務。重試次數限制至關重要：無休止的修復可能會為了透過檢查清單而人為地製造越來越多的限制條件。.
批次級元審查隨後會檢查整個資料集的覆蓋率、多樣性、冗餘度和不合格目標。樣本篩選確保單一條目的可靠性；批次審查則防止課程集中在單一的缺陷模式上，或重複編寫高度相似的內容。.
這些控制措施解釋了為什麼該流程可以花費數小時產生數千個樣本，而無需將樣本量視為適合度的替代指標。速度因領域和教師規模而異，但品質控制流程保持一致：難度分級、正反驗證、帶限值的修復，然後進行元審查。.
原始故障與卡片與已驗證的SFT集
比較每種工件的用途很有幫助。原始故障日誌用於診斷。能力卡是生成性契約。經過驗證的監督式微調資料集才是你在實作中訓練所用的。.
| 人工製品 | 它包含什麼 | 力量 | 單獨使用有風險 |
|---|---|---|---|
| 原始故障日誌 | 提示、狀態、斷裂的軌跡、與教師成功的對比 | 準確指出即時環境中的真實差距 | 樣本量太少；容易過度擬合實體和短語 |
| 功能規格卡 | 能力、工具或工作流程、成敗比較、最終狀態需求、變動維度 | 為生成器提供經過淨化處理的抽象，同時不洩漏原始數據 | 未經品質控制的卡片仍然可能產生不可能完成或微不足道的任務。 |
| AutoSynthData 驗證的 SFT 集 | 新增任務以及通過難度、驗證和審核的教師演示 | 規模應符合實際情況、可行性和結果檢查要求 | 仍取決於教師實力、審核人員素質和環境真實性。 |
在 EnterpriseOps Gym 的混合模型和 ITSM 快照中，作者報告的運行使用了 Gemma-4-26B-A4B-it 作為目標模型。混合模型將此目標模型與 Qwen3.8-27B 作為教師模型配對，並 在大約 18 小時內產生了約 2000 個混合樣本，最佳檢查點位於第 5 個 epoch。 平均 Pass@1 率提高了 7.2 個百分點（相對提升約 35%），驗證者成功率從 63.01% 提高到 68.55%，與參考模型之間的 Pass@1 差距縮小了約 59% 。
ITSM 使用 DeepSeek-V4.1-Flash 作為教師模型，對同一目標進行了訓練， 在大約 66 小時內產生了約 1994 個樣本。耗時較長的部分原因是教師模型較大，以及一些管線優化尚未到位。 平均單次通過率從 18.77% 提升至 27.18%。
| 領域 | 目標 | 老師 | 範例和運行時 | 作者報告的結果 |
|---|---|---|---|---|
| 雜交種 | Gemma-4-26B-A4B-it | Qwen3.8-27B | 約 2000 個樣本，耗時約 18 小時；最佳檢查點位於第 5 個週期。 | 平均Pass@1提升7.2個百分點（相對提升約35%）；驗證者成功率從63.01%提升至68.55%；Pass@1與參考值之間的差距縮小約59%。 |
| ITSM | Gemma-4-26B-A4B-it | DeepSeek-V4.1-快閃記憶體 | 約66小時內採集了約1994個樣本 | 平均通過率（1）為 18.77% 至 27.18% |
請將這些數據視為該公司針對特定領域對該健身房進行的研究結果，而非獨立第三方機構的複現結果，也並非企業普遍認可的保證。訓練效果取決於教練等級、評量品質和環境真實性是否一致。.
從業者應該從循環中藉鏡什麼
即使你的技術堆疊並非 ServiceNow 的研究流程，其模式也同樣適用。首先，在一個高度還原生產環境的沙箱中，對一個類似生產環境的目標模型和一個更強大的模型進行配對評估。將對比失敗案例轉換為能力卡片，卡片中移除識別符和軌跡資訊。產生在保持最終狀態屬性不變的情況下，允許不同維度的任務。讓模型示範成功案例。設定難度等級、正反驗證、有限修復和批量多樣性審查等限制條件。不斷微調、重新評估並拓展評估邊界。.
務必特別注意驗證器的設計。 EnterpriseOps Gym 式的 SQL 結果檢查和策略控制的操作說明了為什麼僅靠聊天規則不足以應付有狀態的工作。如果你的驗證器無法區分變異的錯誤結果和正確的最終結果，那麼合成規模化測試將會放大雜訊。.
此外，也要遵循「倍增規則」的精神：已接受目標的變體不應無休止地衍生出更多變體，而不回歸到經過驗證的核心。這種「漂移」悄無聲息。一套緩慢建構更多奇特約束的課程體係或許仍能通過淺層篩選，但卻會導致原有能力訓練不足。.
最後，務必將混合跨領域工作視為首要壓力測試案例。日常用戶不會局限於單一工具。混合任務、長期專案以及拒絕或不可行性測試，正是環境勝任力得以展現——或慘遭失敗——的關鍵所在。.
注意、限制以及對收益的仔細解讀
作者在 EnterpriseOps Gym 上報告的結果僅供參考，並非絕對保證。已發布的混合模型和 ITSM 效能提升僅適用於所述設定下的特定領域和模型組合。其他領域、較弱的教師模型、雜訊較大的驗證模型或較低的環境保真度都可能降低甚至消除這些優勢。.
品質取決於三大支柱，任何行銷宣傳都無法忽略它們。教師的實力決定了演示的上限。驗證者的素質決定了標籤和過濾器的可信度。環境的真實性決定了學習到的行為是否能在與生產系統、規則和資料狀態接觸後仍然有效。.
AutoSynthData 的實驗重點在於監督式微調。強化學習被提及為同一循環的後續潛在應用，但目前僅處於計畫階段，並未在報告的工作中實際實現。讀者不應將可用於課程的資料引擎與已完成的密集學習訓練混為一談。.
讀者也不應將合成流程與測試環境本身混為一談。 EnterpriseOps Gym 提供精心策劃的任務、工具、表格、容器化和驗證架構。 AutoSynthData 利用這種環境將失敗轉化為寶貴的訓練資源。兩者應相輔相成：測試環境用於測試智能體；流程則根據已診斷出的差距產生可訓練的任務。.
在沙盒環境中，計算時間和日曆時間並非免費。混合合成大約需要幾個小時才能完成兩千個樣本；ITSM 耗時更長，因為教師資源更豐富，流程也更早。團隊應預留預算用於教師推斷、重試（用於評論或修復）以及在每個課程步驟之後進行重新評估。.
企業代理商團隊的課程思維
AutoSynthData 的核心理念是課程式的，而非純粹的生成式。故障診斷；卡片式抽象；產生倍增；品質控制驗證；SFT 更新目標；重新評估推動前沿發展。這套流程將智能體改進視為一系列基於環境的課程，而非單一的離線軌跡轉儲。.
課程思維改變了領導者分配精力的方式。他們不再只是要求增加作業數量或人工標註，而是要問：哪些能力在變化的情況下仍然失效？這些能力是否具有清晰的最終狀態屬性？以及更優秀的教師能否可靠地示範這些能力？如果教師無法足夠頻繁地成功演示，那麼合成的SFT（系統功能測試）就會教導不可靠的行為。如果最終狀態屬性模糊不清，驗證者就會對有效的策略產生質疑。.
它也改變了你談論成功的方式。縮小混合環境下 Pass@1 與參考模型之間的差距，或將 ITSM Pass@1 的得分從十幾分提升到二十幾分（以作者報告的運行數據為準），都代表著環境能力評估方面的進步。但這並不意味著每個工作流程、每項策略或每個拒絕案例都已解決。要維持這種不斷進步的理念：剩餘的差距將成為下一個目標階段，而不是事後才考慮的因素。.
在程序設計中，對於高風險事項（例如安全策略、不可逆操作、受監管資料），應將此循環與人工審核結合；而對於大量經過明確定義的狀態檢查，則應讓自動化流程來處理。當環境能夠像 SQL 一樣清楚地給出「是」或「否」的答案時，合成資料的效果最佳。而當成功與否取決於主觀感受時，合成數據會顯得力不從心。.
關於難度、現實性和拒絕的設計說明
難度設定值得重新檢視。優先選擇目標學員成功率不超過三分之一的任務，可以避免培訓淪為瑣碎知識的堆砌。要求教師至少三分之二的成功率，可以避免簡報變成碰運氣。這個難度區間是挑戰性和可學習性之間的實用折衷方案。.
現實性仍然是一個較為寬鬆的標準，但仍然至關重要。企業用戶需要符合自身角色和系統需求的產品。如果生成器僅以難度為導向，則可能會產生複雜的、多約束的難題，而這些難題是任何操作人員都不會提出的。列出可變維度的能力卡有所幫助，但仍需要人工審核或元審查來識別那些不切實際的提示。.
拒絕和不可行性測試，旨在提醒團隊，能力也包括說「不」。僅針對可完成任務優化的流程可能會低估拒絕能力。在擴展 AutoSynthData 風格的循環時，應包含一些卡片，其中正確的最終屬性是策略下的安全拒絕，而不僅僅是資料庫狀態的成功變更。
長時域有狀態軌跡引出了另一個設計要點。教師演示必須在多次工具呼叫中保持一致性。僅檢查表格最後一行的驗證器可能會遺漏中間策略的突破。驗證器設計的完整性意味著涵蓋真正定義該能力成功的屬性——包括必須始終成立的約束，而不僅僅是在最後階段成立的約束。.
總結
AutoSynthData 是 ServiceNow CoreAI / ServiceNow-AI 的一項功能，由 Esakkivel Esakkiraja 在公開文件中介紹。它是一個流程，可以將目標代理的失敗情況和教師代理的成功情況轉化為經過驗證的合成訓練任務，適用於企業環境。它將失敗情況抽象化為經過清理的能力規範卡片，產生新任務而不洩露原始提示或軌跡，收集教師代理的演示，並在監督式微調之前執行樣本級和批次級的品質控制。.
實用的思維模型將任務視為系統規格、使用者提示和驗證器——可行性、現實性和難度之間保持著一種張力，驗證器既不會過於寬鬆，也不會局限於單一路徑。目標階段、乘法階段、乘法樣本不再使用種子規則、共享控制器和環境適配器，以及SFT後的重新評估，共同建構了一個不斷擴展的邊界，以彌補剩餘的差距。.
在 EnterpriseOps Gym 上，作者報告的混合訓練結果顯示，使用 Gemma-4-26B-A4B-it 和 Qwen3.8-27B 進行訓練，在約 18 小時內採集了約 2000 個樣本，Pass@1 和驗證者成功率均顯著提升，與參考模型之間的差距大幅縮小。使用 DeepSeek-V4.1-Flash 作為教師模型的 ITSM 訓練結果顯示，在較長的運行時間內，Pass@1 從 18.77% 提升至 27.18%（約 1994 個樣本）。這些數據僅代表特定領域的研究結果，取決於教師模型、驗證者和環境的保真度——強化學習應被視為循環的計畫延伸，而非最終結論。.
如果你能記住一句話：企業代理只有在日常操作的系統中，將失敗抽象化、倍增化、驗證的經驗教訓加以總結時，才能進步——而不是團隊僅僅重複處理同一個故障單。.
實際範例：從凍結的 Gym 式故障集中擴展複雜的 ITSM 案例
設想
英國一家企業平台團隊（想想一個中型金融服務營運團隊，運行 ServiceNow 式的 ITSM，具有變更視窗、CMDB 關係和策略控制的轉換）有一個類似生產環境的代理，它不斷遇到同一類工作：必須遵守審批前提條件的跨表更新、與本地變更凍結衝突的知識查找，以及跨越 ITSM 進入相鄰 ITSM 進入相鄰 ITSM 請求的混合工具。.
他們凍結了一個私有的 EnterpriseOps Gym 式套件（容器化沙箱、SQL 結果檢查、種子表、策略規則），以便每週的分數都具有可比性。診斷運行顯示，目標代理在更強大的教師代理成功的情況下失敗。領導階層希望獲得更多的訓練訊號，但又不想重複使用相同的工單編號和實體 ID。 AutoSynthData（或如果研究流程在其技術堆疊中受到限制，則可以使用等效的從失敗中合成的循環）是候選方案：將對比失敗轉化為經過清理的能力規範卡片，生成新任務，收集教師演示，然後——至關重要的是——在進行任何重新訓練之前，對合成軌跡進行人工審核。.
Gym Pass@1 本身不提供任何內容。合成資料被視為候選課程，而非絕對真理。.
助理需要什麼
- 存取凍結的 Gym 式環境適配器：工具、種子狀態、策略和 SQL（或等效的基於狀態的）驗證器。.
- 配對評量日誌：目標失敗與教師在同一任務上成功比較。.
- 卡片架構捕捉能力、工具/工作流程形狀、失敗/成功對比、所需的最終狀態屬性和允許的變化維度 - 而無需原始提示、實體、軌跡或驗證器內部結構。.
- 在任何內容離開沙盒或進入產生器提示符號之前，先對 PII 和策略清理規則（票據 ID、使用者名稱、CI 名稱、受監管欄位）進行清理。.
- 對抽樣合成任務和教師軌跡進行人工審核（可行性、真實性、驗證者可靠性、拒絕/不可行性案例）。.
- 清除停止條件：目標階段，然後是乘法階段；乘法樣本不會作為進一步乘法輪次的種子。.
範例說明
平台引導至課程運營人員（或僅負責起草卡片和審核包的編排助理 - 它不負責重新訓練或推廣模型）：
對凍結的 ITSM 和混合切片，針對當前目標和指定的教師執行診斷性 Pass@1 測試。對於目標失敗而教師至少在三次測試中成功兩次的每次對比，起草一份經過脫敏處理的能力規範卡：命名能力、列出相關工具、說明所需的最終狀態屬性，並列出可控維度（優先級、相關 CI 類別、變更視窗標誌、知識衝突類型）。移除工單號、使用者識別碼、CI 名稱和原始軌跡。僅從這些卡片產生目標階段的新任務批次。讓教師示範成功案例。應用難度等級（目標 ≤1/3，教師 ≥2/3）、正反驗證以及有限的批評/修復。產生一個包含 5% 分層樣本以及所有拒絕/不可行性卡片的審查包。在兩名審查員簽署審查包並通過 PII 清理檢查之前，不要開始 SFT。在候選檢查點的 SFT 之後，對凍結的套件和我們從未用於生成的保留的精確匹配集進行重新評估。報告覆蓋率按故障類別和與前一個生產檢查點相比的退步率進行評估。不要僅憑 Gym 分數進行晉升。
如何測試它
- 基準鎖定： 記錄凍結測試套件上按失敗類別（先決條件排序、拒絕更改視窗、混合跨工具、知識衝突）的Pass@1率和驗證者成功率。在整個週期內保持測試套件和種子資料不變。
- 卡片審核： 抽查產生器是否從未收到原始提示、實體或教師追蹤訊息－只有卡片。
- 樣本品質控制： 確認正向軌跡通過驗證器，而變異的錯誤結果失敗。拒絕對目標使用者來說過於簡單或對教師來說如同拋硬幣般難以完成的任務。
- 人工審核： 審核員根據可行性、現實性和政策安全性，將每個樣本標記為保留/修復/放棄。追蹤審核員對共享子集的審核一致性。
- 保留樣本精確匹配： 在候選SFT之後，對保留的真實（或先前凍結的）任務進行評分，這些任務從未作為卡片識別或產生的輸入。單獨對訓練任務的近似釋義進行評分，以偵測淺層記憶。
- 回歸門： 任何與前一個生產檢查點相比惡化的故障類別都會阻止晉升，直到做出解釋或修復為止。
結果
請勿在此隨意編造烘焙百分比。 請使用測量方案，並在引用已發表的研究數據時將其標註為「文章論點」。
衡量計劃（該團隊應報告的內容）：
- 失敗類別覆蓋率： 在品質控制後，已診斷的差距類別中產生 ≥N 個可接受的目標階段任務的比例（預先定義 N，例如每個類別 20 個可接受的任務）。
- 保留項精確匹配： Pass@1 / 驗證者在候選 SFT 之前和之後未修改的保留項上成功（相同的種子，相同的驗證者）。
- 回歸率： Pass@1 低於先前生產檢查點的失敗類別計數；如果任何安全關鍵類別出現回歸，則阻止。
- 審核結果： 保留/修復/丟棄人工審核包的機率；如果丟棄率飆升，暫停倍增並修復卡片或驗證器。
- 清理失敗： 檢視簽字前未通過 PII/策略檢查的樣本數（目標：零個逃逸到 SFT 集）。
文章聲明（作者在 EnterpriseOps Gym 上報告，並非本團隊的實測結果）： 以 Gemma-4-26B-A4B-it 為目標庫、Qwen3.8-27B 為教師庫的混合測試，在約 18 小時內生成了約 2000 個樣本，平均 Pass@1 60% 7. 68.55%。以 DeepSeek-V4.1-Flash 為教師庫的 ITSM 測試，在更長時間（約 66 小時）的運行中，約 1994 個樣本的平均 Pass@1 率從 18.77% 提升至 27.18%。請將這些結果視為針對特定領域和庫組合的研究訊號，並非適用於英國生產環境的普遍保證。
示例性項目結構（假設，而非衡量收益）： 如果團隊在一個 ITSM 週期內接受約 2,000 個經過質量控制的樣本，預算教師推斷加上 5% 的分層抽樣審查，並且只有在保留樣本不會使安全關鍵課程退步時才進行晉升，那麼他們可以面不改結地、可提升的百分比的增量、成熟度——經過審核流程的增量。
可能出現什麼問題
- 將合成資料視為自由真理： 跳過人工審核或負面驗證，讓寬鬆的驗證者大規模地接受垃圾資料。
- 實體洩漏： 將原始票號或教師追蹤資訊輸入產生器會導致釋義過度擬合；卡片的存在是為了防止這種情況。
- 無界乘法： 允許乘積樣本作為後續輪次的種子，這偏離了命名的功能。
- Gym-score 出貨： 由於 frozen-suite Pass@1 上漲，而堅守或生產影子流量惡化，因此進行推廣。
- 教師能力上限低： 如果教師無法達到 ≥2/3 的成功標準，SFT 就會教導不可靠的示範。
- 模糊驗證器： 聊天評分標準而不是基於狀態的檢查，將流暢的錯誤期末考評為成功。
- 訓練不足導致拒絕： 僅針對可完成的突變進行最佳化，使得變更視窗和策略下降變得脆弱。
- PII 逃脫： 在淺層清理後重新引入真實 CI 或使用者名稱的合成提示。
實用要點
使用 AutoSynthData 風格的循環（如果您的租用戶中沒有 ServiceNow CoreAI 管道，則可以使用等效的故障合成模式），從已診斷的差距中產生大量可驗證的 ITSM 案例。將案例整理成能力卡，設定難度門檻並進行正/負驗證，清除個人識別資訊 (PII)，並在發布 SFT 之前進行手動審核。測量故障類別覆蓋率、精確匹配保留率和回歸率。僅將 Gym 數據作為外部研究背景引用。合成資料是課程素材，而非保證：審核樣本，保持套件凍結以便進行公平比較，切勿僅憑 Gym 分數發布產品。.
常問問題
AutoSynthData是什麼？它旨在解決什麼問題？
AutoSynthData 是由 Esakkivel Esakkiraja 介紹的 ServiceNow CoreAI / ServiceNow-AI 管線，它將目標智能體的失敗案例與更優秀的教師模型的成功案例相結合，產生適用於企業環境的已驗證合成訓練任務。它專注於環境適應性——在地策略、模式、工具和狀態——而非廣泛的通用知識。其目的是倍增大量可驗證的艱苦工作，從而使監督式微調能夠彌補特定環境的不足，而不是重複執行相同的錯誤任務。.
環境能力與廣義模型能力有何不同？
企業代理經常會遇到困難，因為環境本身就很特殊：工單策略、模式怪癖、工具契約、預置資料庫以及跨系統工作流程。即使在公開基準測試中表現強勁，一個模型也可能在變更視窗、配置管理資料庫 (CMDB) 關係或檢查最終狀態的驗證器處卡住。強大的功能並不等於了解系統、規則和資料狀態在策略控制的轉換下如何運作。.
AutoSynthData 使用的實際任務形狀是什麼？
一個可行的模型結構是：任務等於系統規格、使用者提示和驗證器。系統規格包含限制、策略和初始狀態，例如資料庫種子和知識庫文章。使用者提示會根據可行性、真實性和難度進行評分。理想情況下，驗證器會依賴基於 SQL 或基於狀態的結果檢查，以便對代理執行操作後的世界進行評分，而不僅僅是對代理執行的特定路徑進行評分。.
經過清理的能力規格卡如何防止過度擬合？
診斷運作對比目標失敗和教師成功之處，然後將這些案例提煉成經過整理的能力規格卡片。每張卡片記錄能力、工具或工作流程結構、成敗對比、所需的最終狀態屬性以及可能變化的維度。生成器永遠不會看到原始提示、實體、軌跡或驗證者詳細資訊——只會看到卡片——因此，新的任務能夠直擊核心，而無需複述記憶中的案例。.
流程中的目標階段和倍增階段分別是什麼？
目標階段專注於核心的、經過驗證的樣本，這些樣本圍繞著能力差距展開——即那些訊號最強的任務，這些任務往往位於能力較弱的智能體容易崩潰的地方。倍增階段則會產生已接受目標的全新變體。倍增後的樣本不能用於後續的倍增輪次，這可以有效控制智能體偏離既定能力的程度。經過監督式微調後，重新評估會將訓練內容轉向剩餘的能力差距，使其成為一個動態的前沿領域，而非靜態的資源庫。.
樣本級品質控制如何保證合成任務的可靠性？
解題難度過濾器傾向於選擇目標最多三次嘗試中成功一次，而教師至少三次嘗試中成功兩次的任務。正向驗證需要參考軌跡才能通過；反向驗證需要變異的錯誤結果才能失敗。帶有重試次數限制的批判和修復循環會嘗試彌補差強人意之處，而批次級元審查則會檢查整個資料集的覆蓋率、多樣性、冗餘度和失敗目標。.
AutoSynthData 在企業級領域中使用了哪一種架構？
它將共用控制器與環境適配器配對。控制器負責運行診斷、卡片生成、課程生成、教師演示、品質門控和批量審核。適配器將這些步驟連接到一個特定的沙箱環境（包含工具、狀態、策略和驗證器），這樣同一個控制迴路就可以指向不同的網域，而無需從頭開始重寫課程邏輯。.
在此研究背景下，EnterpriseOps Gym 指的是什麼？
EnterpriseOps Gym 是一個大規模企業代理測試平台，用作壓力測試環境，包含約 1150 個專家精心策劃的任務，涵蓋 8 個領域，涉及約 512 個工具、約 164 個資料庫表、容器化執行、基於 SQL 的結果驗證、策略控制的操作、混合場景以及長期有狀態軌跡。 AutoSynthData 並非聲稱發明了該測試平台；該平台展示了合成循環的實際運作情況。.
作者報告的混合和 ITSM 設定下的結果有哪些？
在 EnterpriseOps Gym 上，以 Gemma-4-26B-A4B-it 為目標核心、Qwen3.8-27B 為教師核心的混合測試運行，在約 18 小時內產生了約 2000 個樣本，平均 Pass@1 率提升了約 7.2 個百分點，驗證器成功率從 63.06% 63.06%。在更長時間的運行中，以 DeepSeek-V4.1-Flash 為教師核心的 ITSM 測試，在約 1994 個樣本中，平均 Pass@1 率從 18.77% 提升至 27.18%。請注意，這些數據僅代表特定組合下的研究結果，並非普遍適用的生產環境保證。.
團隊在使用從失敗合成模型的循環時應該避免哪些錯誤？
不要將合成資料視為絕對真理，也不要跳過人工審核和負面驗證。避免將原始票號或教師資訊輸入產生器，避免讓重複的樣本用於後續輪次，也不要單獨推廣 Gym Pass@1，以免造成隱性流量或影子流量的惡化。此外，也要注意低於成功等級的低等級教師、使用模糊聊天規則而非官方審核、培訓不足導致的拒絕案例，以及淺層審核後個人識別資訊外洩的情況。.
參考
- 擁抱臉 — AutoSynthData — huggingface.co
- EnterpriseOps Gym — enterpriseops-gym.github.io
- arXiv — arxiv.org
- GitHub — EnterpriseOps-Gym — github.com