18 ajanın çıktı kalitesi, sapma, hata kaçışı ve insan inceleme kuyruğu — tek bakışta
📅 Dönem: 2026-04-01 – 2026-06-30🤖 18 ajan · 6 çıktı türü📊 10.000 çalışma · 2.400 değerlendirme🧪 Örneklem: M1/V1
82.5
Ortalama Kalite (0-100)
2.400 insan değerlendirmesi
%81.3
Rubrik Geçme Oranı
tüm boyutlar eşik üstü
36
Yanlış Kabul (adet)
%1.98 sistem-kabul
170
Yanlış Ret (adet)
%29.16 sistem-ret
48
Üretime Kaçan Hata
%10.69 · 48 olay
−8.3 p
M1→M2 Hata Değişimi
%45.5 görece azalma
Karışıklık Matrisi
Pozitif sınıf = "Ret" (sorun tespiti) · Gerçek = insan kararı · N = 2,400
İnsan: Ret (gerçek hata)
İnsan: Kabul (hata yok)
Sistem: Ret
413Doğru Ret (TP)
170Yanlış Ret (FP)
Sistem: Kabul
36Yanlış Kabul (FN)
1781Doğru Kabul (TN)
Metrik
Formül
Değer
Doğruluk
(TP+TN)/N = 2194/2400
%91.42
Duyarlılık (Recall)
TP/(TP+FN) = 413/449
%91.98
Kesinlik (Precision)
TP/(TP+FP) = 413/583
%70.84
Yanlış Kabul Oranı
FN/(TN+FN) = 36/1817
%1.98
Yanlış Ret Oranı
FP/(TP+FP) = 170/583
%29.16
Çıktı Türüne Göre Kalite
Ağırlıklı kalite puanı (0-100), M1/V1 örneklemi
Çıktı Türü
Kalite
Rubrik %
Ret %
Yanlış Kabul
Kaçan
Excel
80.5
%78.8
%21.2
7
27
Word
83.2
%80.5
%19.5
6
0
PowerPoint
82.1
%82.8
%17.2
8
0
E-posta
83.7
%81.8
%18.2
6
21
CRM Kaydı
81.4
%81.0
%19.0
5
0
Karar Notu
84.2
%83.0
%17.0
4
0
Sürüm Farkı — M1 vs M2
Çalışma düzeyi gerçek hata oranı (%), 10.000 çalışma · İlişkiseldir, nedensellik değildir
İnceleme Kuyruğu (Haftalık)
Role göre bekleyen çıktı adedi · 12 hafta
Hata Türü Dağılımı
Tespit edilen 449 hata
Olay Kök Nedenleri
48 yüksek etkili olay (tümü üretime kaçan hatadan)
Model sürümü — 16
Kaynak veri — 11
Eksik kontrol — 11
İstem sürümü — 10
Karar Çerçevesi — İnceleme Modu
Kural: Yüksek etkili veya geri döndürülemez hiçbir çıktı insan onayı olmadan otomatik geçirilmez
Çıktı Türü
İş Etkisi
Geri Dön.
Kalite
Kaçan
Önerilen Mod
Excel
Yüksek
Evet
80.5
27
Zorunlu %100 İnceleme
Word
Orta
Evet
83.2
0
%10 Örnekleme + Otomatik
PowerPoint
Orta
Evet
82.1
0
%10 Örnekleme + Otomatik
E-posta
Yüksek
Evet
83.7
21
Zorunlu %100 İnceleme
CRM Kaydı
Çok Yüksek
Hayır
81.4
0
Zorunlu %100 İnceleme
Karar Notu
Çok Yüksek
Hayır
84.2
0
Zorunlu %100 İnceleme
Ajan Puan Kartları
18 ajan · kalite (M1/V1 örneklemi) + çalışma düzeyi sürüm eğilimi (M1→M2)
Ajan
Çıktı
Ortam
Risk
Kalite
Rubrik %
Yanlış Kabul
Kaçan
M1 Hata%
M2 Hata%
Δ
AJ-01
Excel
Üretim
Orta
80.9
%79.7
1
27
%19.5
%10.4
-9.1
AJ-02
Word
Üretim
Yüksek
83.2
%80.5
1
0
%18.0
%5.8
-12.2
AJ-03
PowerPoint
Üretim
Çok Yüksek
81.5
%81.2
5
0
%16.6
%7.9
-8.6
AJ-04
E-posta
Üretim
Düşük
84.4
%83.6
2
0
%15.1
%7.9
-7.2
AJ-05
CRM Kaydı
Üretim
Orta
81.5
%81.2
1
0
%18.8
%9.0
-9.8
AJ-06
Karar Notu
Üretim
Yüksek
86.2
%88.0
1
0
%12.9
%8.7
-4.3
AJ-07
Excel
Üretim
Çok Yüksek
81.5
%81.3
2
0
%18.4
%9.3
-9.0
AJ-08
Word
Üretim
Düşük
82.0
%77.6
4
0
%19.4
%9.0
-10.4
AJ-09
PowerPoint
Üretim
Orta
83.0
%85.0
1
0
%18.4
%22.4
+4.0
AJ-10
E-posta
Üretim
Yüksek
84.7
%84.2
1
21
%18.7
%9.7
-9.0
AJ-11
CRM Kaydı
Üretim
Çok Yüksek
80.6
%79.1
2
0
%20.1
%10.8
-9.3
AJ-12
Karar Notu
Üretim
Düşük
82.6
%79.0
3
0
%18.1
%9.0
-9.1
AJ-13
Excel
Üretim
Orta
79.1
%75.2
4
0
%21.9
%10.8
-11.1
AJ-14
Word
Üretim
Yüksek
84.4
%83.5
1
0
%15.8
%8.6
-7.2
AJ-15
PowerPoint
Pilot
Çok Yüksek
81.8
%82.1
2
0
%16.2
%8.3
-7.9
AJ-16
E-posta
Pilot
Düşük
82.0
%77.4
3
0
%19.1
%9.7
-9.4
AJ-17
CRM Kaydı
Pilot
Orta
82.1
%82.7
2
0
%18.7
%10.4
-8.3
AJ-18
Karar Notu
Pilot
Yüksek
83.8
%82.1
0
0
%21.2
%10.4
-10.8
Varsayımlar ve Sınırlamalar
Örneklem dönemi: İnsan etiketli 2.400 değerlendirmenin tamamı M1/V1 dönemine aittir; rubrik, karışıklık matrisi ve inceleme süresi metrikleri yalnızca bu dönemi yansıtır.
İç içe geçmiş sürümler: Model (M1→M2), istem (İ1→İ2) ve iş akışı (A1→A2) aynı gün (2026-05-16) yürürlüğe girdi; etkileri ayrıştırılamaz. Sürüm farkları ilişkiseldir, nedensellik değildir.
Veri kaynağı & iş akışı adımı: Çalışma başına ayrı alan yoktur; sahip fonksiyon (veri alanı vekili), iş akışı sürümü ve olay kök nedenleri vekil olarak kullanılmıştır.
Altın standart: İnsan kararı referans alınmıştır; insan değerlendirici hatası ölçülmemiştir.
Kaçış tabanı: Hata/olay kayıtları yalnızca örneklenen 2.400 çalışma için mevcuttur.