Snowflake Anomaly Detection

Anomaly detection ist eine kritische Fähigkeit für Unternehmen, um ungewöhnliche Muster und Ausreißer in ihren Daten zu identifizieren, die auf Betrug, Fehler oder Chancen hinweisen könnten. Snowflake, die führende Cloud-Datenplattform, bietet leistungsstarke Anomalieerkennungsmöglichkeiten durch Snowflake Anomaly Detection. In diesem Artikel werden wir eingehend darauf eingehen, was Snowflake Anomaly Detection ist, wie es unter der Haube mit maschinellem Lernen funktioniert und einige Beispiele, wie man es verwendet.

Was ist Anomalieerkennung?

Anomalieerkennung ist ein entscheidender Prozess in der Datenanalyse, bei dem ungewöhnliche oder seltene Vorkommnisse innerhalb eines Datensatzes identifiziert und markiert werden. Anomalien, wie Ausreißer oder Fehler, können die Datenanalyse und -interpretation beeinflussen. Sie treten in verschiedenen Formen auf und können die Gesamtergebnisse erheblich beeinflussen.

Analysten können sicherstellen, dass ihre Ergebnisse genau und zuverlässig sind, indem sie Anomalien finden und beheben. Dies kann ihnen auch helfen, neue Einblicke oder Chancen zu entdecken, die sie möglicherweise übersehen haben.

Verschiedene Datentypen erfordern unterschiedliche Anomalieerkennungstechniken. Zu den gängigen Methoden gehören Statistiken, maschinelles Lernen und Visualisierung. Insgesamt spielt die Anomalieerkennung eine wichtige Rolle bei datengetriebenen Entscheidungen und hilft Organisationen, die ihnen zur Verfügung stehenden Informationen besser zu verstehen und zu nutzen. Diese Anomalien könnten Folgendes darstellen:

• Betrügerische Transaktionen in Finanzdaten
• Fehlerhafte Geräteablesungen in Produktionssensordaten
• Einbruchsversuche in Cybersecurity-Netzwerkprotokollen
• Unregelmäßige Symptome oder Testergebnisse in Gesundheitsdaten

Durch die Identifizierung dieser Anomalien können Organisationen schnell handeln, um Probleme zu untersuchen und zu beheben. Angesichts der riesigen Datenmenge, die die meisten Organisationen generieren, ist das manuelle Durchsuchen von Daten, um Anomalien zu finden, jedoch wie die Suche nach einer Nadel im Heuhaufen. Hier kommen maschinelle Lernmodelle zur Anomalieerkennung ins Spiel.

Snowflake’s Anomalieerkennungsfähigkeit

Snowflake hat die Anomalieerkennung als eine native Fähigkeit direkt in seine Cloud-Datenplattform integriert. Mit ein paar einfachen SQL-Befehlen können Sie ein Anomalieerkennungsmodell auf Ihren Snowflake-Daten trainieren und es verwenden, um Anomaliebewertungen neuen Datenpunkten zuzuweisen.

Der Kern der Anomalieerkennung von Snowflake ist der Cortex-Dienst. Cortex ist die neue Plattform für maschinelles Lernen von Snowflake, die die Arbeitsweise von Datenwissenschaftlern und Analysten mit Daten verändert.

Benutzer können in Snowflake mithilfe von Cortex maschinelle Lernmodelle erstellen, trainieren und bereitstellen. Sie müssen keine Daten auf eine andere Plattform übertragen oder neue Tools erlernen. Cortex vereinfacht den Prozess der Arbeit mit maschinellen Lernmodellen in Snowflake.

Dieser optimierte Prozess ermöglicht eine schnellere Modellentwicklung und -bereitstellung sowie erhöhte Effizienz und Zusammenarbeit zwischen Teammitgliedern. Cortex vereinfacht maschinelles Lernen für Benutzer, indem es SQL-Befehle verwendet.

Benutzer müssen nicht zwischen verschiedenen Tools oder Umgebungen wechseln. Dies erleichtert es Benutzern, mit maschinellem Lernen zu arbeiten. Insgesamt bietet Cortex eine benutzerfreundliche und effiziente Lösung für Organisationen, die maschinelle Lernfähigkeiten innerhalb ihrer bestehenden Dateninfrastruktur nutzen möchten.

Wesentliche Vorteile

Zu den wesentlichen Vorteilen von Snowflake Anomaly Detection gehören:

1. Vollständig SQL-basierte Erfahrung – Modelle mit SQL trainieren und bewerten
2. Automatisierte Modelloptimierung – Cortex stimmt Modell-Hyperparameter automatisch ab
3. Skalierbar über massive Datensätze – nutzt die verteilte Verarbeitung von Snowflake
4. Echtzeitbewertung – Anomaliebewertung bei eingehenden Streaming-Daten
5. Integration mit anderen Snowflake-Diensten wie Datenfreigabe und Zugangskontrolle

Wie Anomalieerkennung funktioniert

Unter der Haube wird Snowflake Anomaly Detection von einem optimierten Gradient Boosting Machine (GBM)-Modell betrieben. Gradient Boosting Machine (GBM) ist ein leistungsfähiges maschinelles Lernmodell, das zur Familie des Ensemble-Lernens gehört.

Es funktioniert, indem es mehrere Entscheidungsbäume in einer sequentiellen Weise kombiniert, um die Vorhersagegenauigkeit des Modells zu verbessern. Jeder neue Entscheidungsbaum lernt aus den Fehlern der vorhergehenden. Das Ziel ist, die Gesamtfehler des Modells zu minimieren.

GBM ist gut darin, komplexe Muster in Daten zu finden, die andere maschinelle Lernalgorithmen möglicherweise nicht entdecken können. Dieses Modell verwendet mehrere Entscheidungsbäume, um zu analysieren, wie Variablen miteinander interagieren. Sie helfen dabei, Beziehungen aufzudecken, die mit nur einem Baum nicht offensichtlich wären.

Gradient Boosting ist großartig, weil es sowohl mit numerischen als auch mit kategorischen Daten arbeiten kann, was es für viele verschiedene Anwendungen nützlich macht. GBM ist zuverlässig für reale Datensätze, da es gut mit Ausreißern und Rauschen umgehen kann.

Dieses Modell ist eine beliebte Wahl für maschinelles Lernen, weil es genau, flexibel und in der Lage ist, komplexe Datenmuster zu handhaben.

Die hohen Regeln sind:

1. Modell trainieren – Verwenden Sie CREATE SNOWFLAKE.ML.ANOMALY_DETECTION, um GBM auf historischen Daten zu trainieren
2. Verwenden Sie <model_name>!DETECT_ANOMALIES, um das Modell auszuführen. Die Ausgabe der Methode ist eine Tabelle. In der Tabelle ist jede Eingabereihe als Anomalie oder nicht gekennzeichnet.
3. Analysieren Sie die Ausgabe.

Um die Ergebnisse zu speichern, sollten Sie die ID des letzten SQL-Befehls verwenden und das Ergebnis mit RESULT_SCAN in die Tabelle ‘my_ad_results’ speichern:

LET ad_res := SQLID;
CREATE TABLE my_ad_results AS SELECT * FROM TABLE(RESULT_SCAN(:ad_res));

Weitere Informationen zum Training eines Anomalieerkennungsmodells finden Sie in der Snowflake-Dokumentation.

Einschränkungen

Während eine leistungsstarke Technik, hat die Anomalieerkennung einige Einschränkungen, die zu beachten sind:

• Benötigt ausreichende historische Daten, um eine “normale” Basislinie festzulegen
• Erkennt Anomalien, erklärt aber nicht, warum sie anormal sind
• Kann Fehlalarme für seltene, aber legitime Datenpunkte enthalten
• Modelle können sich im Laufe der Zeit ändern, wenn sich die Daten entwickeln, und müssen möglicherweise neu trainiert werden

Zusätzlich ist das GBM-Modell von Snowflake hauptsächlich für Anomalieerkennungsanwendungen geeignet und nicht für andere ML-Aufgaben wie Klassifizierung oder Regression.

Andere ML-Fähigkeiten von Snowflake

Neben der Anomalieerkennung bietet Snowflake Cortex weitere ML-Fähigkeiten, darunter:

• Lineare und logistische Regressionsmodelle
• Zeitreihenprognosen
• Text- und Sentimentanalyse
• Eigener Modellimport über ONNX und externe Funktionen

Datenwissenschaftler können die Anomalieerkennung durch maßgeschneiderte maschinelle Lernlösungen innerhalb der Snowflake-Umgebung verbessern.

Schlussfolgerung

Anomalieerkennung ist ein leistungsfähiges Werkzeug für Organisationen, um proaktiv Datenanomalien zu identifizieren und anzugehen. Snowflake Anomaly Detection ist eine maschinelle Lerntechnik, die einfach über SQL zugänglich ist. Dies macht es einfach, sie zu bestehenden Datenpipelines und BI-Arbeitsabläufen hinzuzufügen.

Anomalieerkennung ist keine Lösung für alle Probleme. Es kann jedoch frühzeitig auf Probleme hinweisen. Es kann auch andere Praktiken im Zusammenhang mit Datenqualität und Sicherheit ergänzen. Wir ermutigen Sie, Snowflake Anomaly Detection mit Ihren eigenen Daten auszuprobieren und zu sehen, welche Einblicke Sie gewinnen.

DataSunrise verwendet sein eingebautes Anomalieerkennungsmodell, um verdächtiges Benutzerverhalten zu erkennen. Um mehr über Anomalieerkennung für Datensicherheit, Prüfung und Compliance zu erfahren, fordern Sie eine Online-Demo an.