🔥 Horizon CPU %100 Sorunu - Kök Sebep Analizi

📅 Tarih: 2025-11-30 02:05 | 🎯 Sorun: CPU Load 18+ | Horizon 112+ Process | 👤 Analiz: Claude AI

🚨 Kritik Bulgu

Kök Sebep: app/Console/Kernel.php içindeki horizon-auto-restart cron job'u her 5 dakikada Horizon'ı öldürüp yeniden başlatıyordu. Bu, orphan process'ler ve çift başlatma sorununa yol açıyordu.

📊 Sorun Öncesi Durum

Load Average
18.44
CPU Idle
1.2%
Horizon Process
112+
Site Hızı
45s

🔍 Sorun Zinciri - Adım Adım Analiz

1️⃣ Cron Her Dakika Çalışıyor

Sistem crontab'ında Laravel scheduler her dakika tetikleniyor:

* * * * * /usr/bin/php artisan schedule:run

2️⃣ Schedule İçinde Horizon Auto-Restart

app/Console/Kernel.php satır 92-117:

$schedule->call(function () {
    exec('php artisan horizon:status 2>/dev/null', $output, $return_var);

    if ($return_var !== 0 || empty($output)) {
        // ❌ SORUN: pkill tüm Horizon'ları öldürüyor
        exec('pkill -f "horizon" 2>/dev/null');
        sleep(2);

        // ❌ SORUN: Background'da başlatıyor (orphan process!)
        exec('cd ' . base_path() . ' && php artisan horizon > /dev/null 2>&1 &');
    }
})->everyFiveMinutes();

3️⃣ Çift Başlatma Sorunu

Supervisor zaten Horizon'u yönetiyor ama Cron da ayrıca başlatıyor!

  • Supervisor: 2 Horizon master process (tuufi.com_ user)
  • Cron: 2-3 Horizon master process (root user)
  • Toplam: 4-5 master Horizon!

4️⃣ Her Master → 3 Supervisor Spawn Ediyor

Her Horizon master şu supervisor'leri oluşturuyor:

- ai-supervisor (max 2 processes)
- tenant-supervisor (max 1 process)
- background-supervisor (max 1 process)

Toplam: 4 master × 3 supervisor = 12 supervisor process

5️⃣ Her Supervisor → Queue Worker'ları Spawn Ediyor

Her supervisor, her queue için ayrı worker oluşturuyor:

ai-supervisor queues:
  - ai-translation, ai-content, ai-file-analysis
  - translation, ai, blog-ai, critical
  = 7 queue × 2 processes = 14 worker

tenant-supervisor queues:
  - tenant_isolated, default, hls
  - tenant_1001_default, tenant_1001_hls
  = 5 queue × 1 process = 5 worker

background-supervisor queues:
  - background, maintenance
  = 2 queue × 1 process = 2 worker

Her supervisor grubu: ~20 worker

6️⃣ Nihai Sonuç: Process Patlaması!

4 master × 3 supervisor × ~20 worker = 240+ process potansiyeli!

Gerçekte: ~112 process (bazı queue'ler boş olduğu için spawn etmedi)

✅ Uygulanan Çözümler

1. Horizon Auto-Restart Devre Dışı Bırakıldı

app/Console/Kernel.php - Satır 91-102 comment'lendi:

// 🔧 HORIZON MONITORING - DISABLED (Supervisor handles restart)
// ⚠️ BU AUTO-RESTART SORUNLUYDU!
// - Her 5 dakikada pkill yapıyordu
// - Background'da başlatıyordu (&) → Orphan process
// - Supervisor zaten Horizon'u yönetiyor
//
// $schedule->call(function () {
//     // DISABLED
// })->everyFiveMinutes();

Neden: Supervisor zaten Horizon'u yönetiyor, cron'dan çift başlatmaya gerek yok!

2. Horizon Config Optimize Edildi

config/horizon.php - Production environment maxProcesses azaltıldı:

ai-supervisor: 8 maxProcesses → 2 maxProcesses
tenant-supervisor: 6 maxProcesses → 2 maxProcesses
background-supervisor: 2 maxProcesses → 1 maxProcesses

3. Database Performans İyileştirmeleri

  • ✅ Currency N+1 düzeltildi (1,440 query → 0 query)
  • ✅ Settings global cache (700+ query → 2 query)
  • ✅ Database composite indexes (11s → 85ms)

4. Process Cleanup

  • ✅ Tüm orphan Horizon process'leri temizlendi
  • ✅ Zombie process'ler temizlendi
  • ✅ Background Claude process'leri kapatıldı

📈 Sorun Sonrası Durum

Load Average
7.09

↓ %61 azalma

CPU Idle
72%

↑ 21 puan artış

Horizon Process
38

↓ %66 azalma

Site Hızı
2-3s

↓ 15-22x hızlanma

🎯 Önemli Çıkarımlar

1. Cron İçinden Process Başlatmayın!

Background process'leri exec(...&) ile başlatırsanız orphan process oluşur. Supervisor veya systemd kullanın!

2. Auto-Restart İkili Başlatmaya Yol Açar

Eğer Supervisor zaten Horizon'u yönetiyorsa, cron'dan ayrıca restart yapmayın! Çift başlatma CPU patlamasına neden olur.

3. maxProcesses Dikkatli Ayarlayın

Production environment için agresif değerler (8, 6, 2) yerine konservatif değerler (2, 2, 1) kullanın. Gerektiğinde artırın.

4. Queue Sayısını Minimize Edin

Her queue için ayrı worker spawn edilir. 7 AI queue yerine birleştirilebilir queue'ler kullanın (priority ile ayırın).

✅ Test Sonuçları

Site Hızı (https://ixtif.com/)

🔍 Test 1: 3.31s
🔍 Test 2: 2.23s
🔍 Test 3: 3.20s

Ortalama: ~2.9s (önceden 45s timeout!)

Horizon Master Sayısı

happy-sammet159-253-45-94pleskpage-AcVu (PID: 358117)
happy-sammet159-253-45-94pleskpage-CNnk (PID: 358123)

Toplam: 2 master (önceden 4-5 master)

Process Dağılımı

2 master × 3 supervisor × ~6 worker = ~38 process
(önceden: 4 master × 3 supervisor × ~20 worker = 112+ process)