Log analizi ve anomali tespiti, modern siber güvenlik ve sistem izleme uygulamalarının kritik bölümlerinden biridir. İleri düzey tekniklerle anlamlı bilgiler çıkarabilir, düzensiz desenleri tespit edebilir ve güvenlik yapınızı güçlendirebilirsiniz. Bu makale, Python ile kapsamlı bir log analizi ve anomali tespit sistemi oluşturmayı incelemektedir.

Temelleri Anlamak

Loglar, yazılımlar, uygulamalar ve işletim sistemleri tarafından oluşturulan ardışık olay kayıtlarıdır. Bu loglar genellikle şu gibi kritik bilgileri içerir:

• Kullanıcı etkinlikleri
• Sistem performansı
• Güvenlik ihlalleri

Loglarda bulunan anomaliler, beklenen davranıştan sapmaları ifade eder ve şu durumlardan birine işaret edebilir:

• Yetkisiz erişim
• Sistem zafiyetleri
• Yanlış yapılandırmalar

Neden Python? Python’un genış kütüphane ekosistemi, örneğin pandas, numpy ve matplotlib, veri analizi ve görselleştirme için idealdir. Ayrıca re ve scikit-learn gibi kütüphaneler, metin işleme ve makine öğrenimi için ek yetenekler sunar.

Bir Log Analiz Sistemi Tasarlama

Güçlü bir log analizi sistemi aşağıdaki adımları içerir:

1. Logları İşleme
2. Veri Dönüşümü
3. Anomali Tespiti
4. Raporlama ve Görselleştirme

Adım 1: Log Toplama ve İşleme

Log formatları JSON, XML ve düz metin gibi çeşitlilik gösterebilir. Metin işleme için re, yapılandırılmış loglar için json gibi kütüphaneleri kullanın.

Örnek: Apache Log Dosyalarını İşleme

import re

def parse_apache_log(log_file):
    pattern = r'(?P<ip>[\d\.]+) - - \[(?P<datetime>.*?)\] "(?P<request>[A-Z]+ [^ ]+ [^ ]+)" (?P<status>\d+) (?P<size>\d+|-)'
    parsed_logs = []

    with open(log_file, 'r') as file:
        for line in file:
            match = re.match(pattern, line)
            if match:
                parsed_logs.append(match.groupdict())
    return parsed_logs

logs = parse_apache_log('access.log')

Adım 2: Veri Dönüşümü ve Depolama

Logları kolay sorgulama için CSV veya veritabanı gibi yapılandırılmış formatlarda depolayın.

Örnek: Logları DataFrame’e Dönüştürme

import pandas as pd

def transform_to_dataframe(logs):
    df = pd.DataFrame(logs)
    df['size'] = pd.to_numeric(df['size'], errors='coerce').fillna(0)
    df['status'] = df['status'].astype(int)
    return df

log_df = transform_to_dataframe(logs)
log_df.to_csv('parsed_logs.csv', index=False)

Adım 3: Anomali Tespit Teknikleri

1. İstatistiksel Yöntemler

Anomalileri tespit etmek için istatistiksel eşik değerler kullanın. Örneğin, 500 gibi HTTP durum kodları sunucu hatalarını gösterebilir.

anomalies = log_df[log_df['status'] >= 500]
print(anomalies)

2. Makine Öğrenimi Yöntemleri

Anomalileri tespit etmek için kümeleme veya sınıflandırma algoritmaları uygulayın.

Örnek: Isolation Forest Kullanımı

from sklearn.ensemble import IsolationForest

# Özellik seçimi
features = log_df[['size', 'status']]

# Modeli eğitme
isolation_forest = IsolationForest(n_estimators=100, contamination=0.05)
log_df['anomaly'] = isolation_forest.fit_predict(features)

# Anomalileri ayıkma
anomalies = log_df[log_df['anomaly'] == -1]
print(anomalies)

Adım 4: Raporlama ve Görselleştirme

Anomalileri daha iyi anlamak ve karar vermek için görünteleştirme yapın.

Örnek: Anomalilerin Matplotlib ile Görünteleştirilmesi

import matplotlib.pyplot as plt

# Boyut ve durum kodlarının dağılım grafiği
plt.figure(figsize=(10, 6))
plt.scatter(log_df['size'], log_df['status'], c=log_df['anomaly'], cmap='coolwarm', label='Anomaliler')
plt.title('Log Anomalileri')
plt.xlabel('Boyut')
plt.ylabel('Durum Kodu')
plt.legend()
plt.show()

İleri Teknikler

1. Log Desen Tanıma

TF-IDF ve konu modelleme gibi Doğal Dil İşleme (NLP) tekniklerini kullanarak log desenlerini tanıyın.

2. Gerçek Zamanlı Analiz

Kafka veya Flask gibi çerçeveler kullanarak gerçek zamanlı log akışı ve analiz uygulamaları gerçekleştirebilirsiniz.

Örnek: Flask ile Gerçek Zamanlı Log Analizi

from flask import Flask, request

app = Flask(__name__)

@app.route('/log', methods=['POST'])
def log_entry():
    log_data = request.json
    print("Log Alındı:", log_data)
    return "Log İşlendi", 200

if __name__ == '__main__':
    app.run(debug=True, port=5000)

Sonuç

Log analizi ve anomali tespiti, sistem güvenliği ve güvenilirliğini artırmak için güçlü aracılardır. Python’un geniş kütüphane ekosistemi ve kullanım kolaylığı, bu sistemleri uygulamak için harika bir seçimdir. İstatistiksel, makine öğrenimi ve görüselleştirme tekniklerini birleştirerek, ihtiyacınıza uygun güçlü bir çözüm oluşturabilirsiniz.