Snowflake Stage

In der heutigen datengetriebenen Welt suchen Organisationen ständig nach Wegen, große Mengen an Daten effizient zu verwalten und zu verarbeiten. Snowflake, eine cloudbasierte Data-Warehousing-Plattform, bietet eine leistungsstarke Lösung für das Staging und die Vorbereitung von Daten zur Verarbeitung. Dieser Artikel beschreibt Snowflake Stage. Wir erklären die Vorteile und wie es den Import und das Management von Daten aus verschiedenen Quellen vereinfacht.

Was ist Snowflake Stage?

Snowflake Stage ist eine grundlegende Komponente der Snowflake Data-Warehousing-Plattform. Es speichert Daten vorübergehend, bevor sie in Snowflake-Tabellen geladen werden. Stages ermöglichen es Benutzern, Daten aus verschiedenen Quellen effizient zu laden und zu verwalten. Die Quellen können Dateien, externe Datenbanken oder Cloud-Speicherdienste wie Amazon S3 oder Azure Blob Storage sein.

Daten-Staging in Snowflake

Snowflake Stage spielt eine entscheidende Rolle im Daten-Staging-Prozess. Es bietet eine flexible und skalierbare Möglichkeit, Daten aufzunehmen und für die weitere Verarbeitung vorzubereiten. Mit Snowflake Stage können Sie:

1. Daten aus verschiedenen Quellen laden

Snowflake ist eine cloudbasierte Data-Warehousing-Plattform, die Benutzern ermöglicht, Daten aus einer Vielzahl von Quellen zu laden. Dies umfasst Dateien in Formaten wie CSV, JSON und Avro, was das Aufnehmen von Daten aus verschiedenen Dateitypen erleichtert. Darüber hinaus kann Snowflake auch eine Verbindung zu externen Datenbanken herstellen, sodass Benutzer nahtlos Daten aus anderen Systemen abrufen können.

Snowflake erleichtert es Benutzern, sich mit Cloud-Speicherdiensten wie Amazon S3 und Google Cloud Storage zu verbinden. Benutzer können direkt Daten von diesen Plattformen laden. Diese Flexibilität bei den Datenladesoptionen macht Snowflake zu einem vielseitigen Werkzeug für das Management und die Analyse von Daten aus mehreren Quellen.

2. Daten-Transformationen durchführen

Snowflake bietet Benutzern die Möglichkeit, Daten vor dem Laden in Tabellen zu manipulieren und zu transformieren. Dies kann mithilfe von SQL-Abfragen oder anderen Werkzeugen innerhalb der Snowflake-Plattform erfolgen. Snowflake ermöglicht es Benutzern, Daten zu ändern, bevor sie gespeichert werden. Dies erlaubt es ihnen, die Daten zu bereinigen, anzureichern und nach ihren Bedürfnissen zu organisieren.

Diese Flexibilität in der Datenvorbereitung trägt dazu bei, dass die Daten genau, konsistent und für das Reporting optimiert sind. Snowflake unterstützt verschiedene Datenmanipulationstechniken. Dies macht es Benutzern einfach, komplexe Daten-Transformationen durchzuführen. Benutzer können die Daten korrekt für ihre spezifischen Anforderungen formatieren.

3. Große Datenmengen verarbeiten

Das Design von Snowflake kann große Datenmengen während des Staging-Prozesses handhaben, indem es bei Bedarf hoch- und herunterskaliert. Das bedeutet, dass Snowflake seine Kapazität anpassen kann, um unterschiedlichen Datenmengen gerecht zu werden. Diese Flexibilität ermöglicht es Snowflake, Daten effizient zu verwalten, ohne überlastet zu werden.

Snowflakes Skalierbarkeit macht es zu einer zuverlässigen Option für die Bewältigung von Datenverarbeitungsaufgaben. Snowflake kann seine Ressourcen leicht anpassen, um Daten effizient und genau zu verarbeiten. Das System nimmt diese Anpassung vor, während es die Daten lädt. Diese Skalierbarkeit ist entscheidend für Organisationen, die mit großen Datenmengen umgehen, da sie es ihnen ermöglicht, Spitzen im Datenvolumen problemlos zu bewältigen, ohne Leistungseinbußen zu erfahren.

Außerdem ist das Design von Snowflake flexibel, sodass Organisationen ihre Ressourcen leicht an ihre Bedürfnisse anpassen können. Dies stellt sicher, dass wir Informationen schnell organisieren und verwalten können. Außerdem hilft es, schneller Einblicke zu gewinnen und bessere Entscheidungen zu treffen.

Sicherheitsaspekte des Daten-Stagings in Snowflake

Wenn es um das Staging von Daten in Snowflake geht, hat die Sicherheit höchste Priorität. Snowflake bietet mehrere Funktionen, um die Sicherheit und Integrität Ihrer gestagten Daten zu gewährleisten:

Zugangskontrolle: Snowflake ermöglicht es Ihnen, bestimmten Benutzern und Rollen spezifische Berechtigungen zu erteilen, sodass nur autorisierte Personen auf die gestagten Daten zugreifen und diese manipulieren können.
Verschlüsselung: Alle Daten in Snowflake Stage werden automatisch im Ruhezustand und während der Übertragung verschlüsselt, um sensible Informationen vor unbefugtem Zugriff zu schützen.
Datenvalidierung: Snowflake bietet Mechanismen zur Validierung der Integrität und Konsistenz der gestagten Daten, bevor diese in Tabellen geladen werden.

Beispiel

Hier verwenden wir eine Snowflake-Standard-Stage, die mit der Command Line Interface (CLI) genutzt wird. Die Stage ist für eine Testumgebung und die gefälschten CSV-Daten wurden zufällig bei mockaroo.com generiert. Um eine Snowflake-Standard-Stage für die Datei MOCK_DATA_1.csv zu verwenden, befolgen Sie diese Schritte:

Verbinden Sie sich mit Ihrem Snowflake-Konto über die Snowflake CLI. Die Ausgabe sollte wie folgt aussehen:

C:\Users\user>snowsql -a xz13yxx.eu-central-1
User: DAN
Password:*******
* SnowSQL * v1.2.32
Type SQL statements or !help
DAN#COMPUTE_WH@(no database).(no schema)>

Erstellen Sie eine neue Datenbank (falls noch nicht erstellt). Verwenden Sie Datenbank:

DAN#COMPUTE_WH@(no database).(no schema)>CREATE DATABASE mock_database;
+----------------------------------------------+
| status                                       |
|----------------------------------------------|
| Database MOCK_DATABASE successfully created. |
+----------------------------------------------+
1 Row(s) produced. Time Elapsed: 1.062s

DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>use MOCK_DATABASE;
+----------------------------------+
| status                           |
|----------------------------------|
| Statement executed successfully. |
+----------------------------------+
1 Row(s) produced. Time Elapsed: 0.156s

Laden Sie die Daten in die Standard-Stage (wir erstellen hier keine benannte Stage):

DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>PUT 'file://C:/TmpDataSnowflake/MOCK_DATA_1.csv' @~ AUTO_COMPRESS=TRUE;
+-----------------+--------------------+ ... +--------------------+----------+---------+
| source          | target             | ... | target_compression | status   | message |
|-----------------+--------------------+ ... +--------------------+----------+---------|
| MOCK_DATA_1.csv | MOCK_DATA_1.csv.gz | ... | GZIP               | UPLOADED |         |
+-----------------+--------------------+ ... +--------------------+----------+---------+
1 Row(s) produced. Time Elapsed: 1.922s

Überprüfen Sie die gestagten Daten:

DAN#COMPUTE_WH@MOCK_DATABASE.PUBLIC>LS @~;
+--------------------+-------+...+-------------------------------+
| name               |  size |...| last_modified                 |
|--------------------+-------+...+-------------------------------|
| MOCK_DATA_1.csv.gz | 29456 |...| Fri, 22 Mar 2024 10:49:54 GMT |
+--------------------+-------+...+-------------------------------+
1 Row(s) produced. Time Elapsed: 1.071s

Die Ausgabe zeigt die erfolgreich in Snowflake gestagten Dateien an. Beachten Sie, dass Sie die interne Standard-Stage nicht für eine externe Tabelle verwenden können. Zusätzlich, wenn Sie eine Tabelle für gestagte Daten erstellen möchten, können Sie entweder die CLI und den Befehl CREATE oder REPLACE EXTERNAL TABLE mock_table_1 verwenden oder einfach eine externe Tabelle im Snowflake Worksheet erstellen. Die Verwendung des webbasierten Worksheet ist für die Tabellenerstellung aufgrund von Copy-Paste-Problemen im Konsolenclient bequemer.

USE DATABASE MOCK_DATABASE;
CREATE or REPLACE TABLE mock_table_1 (
	id INT,
	first_name VARCHAR,
	last_name VARCHAR,
	email VARCHAR,
	gender VARCHAR,
	ip_address VARCHAR,
	card_num VARCHAR
	);
CREATE OR REPLACE FILE FORMAT my_csv_format TYPE = 'CSV' FIELD_OPTIONALLY_ENCLOSED_BY = '"' SKIP_HEADER = 1;
COPY INTO mock_table_1 FROM @~/MOCK_DATA_1.csv.gz FILE_FORMAT = (FORMAT_NAME = my_csv_format) ON_ERROR = 'CONTINUE';

Beispiel

Erstellen einer Snowflake Stage mit der Snowflake-Weboberfläche:

Melden Sie sich über die Weboberfläche bei Ihrem Snowflake-Konto an.
Gehen Sie zur Registerkarte “Datenbanken” und wählen Sie die gewünschte Datenbank und das gewünschte Schema aus oder erstellen Sie diese.
Klicken Sie auf die Registerkarte “Stages” und wählen Sie “Erstellen”.
Geben Sie einen Namen für Ihre Stage an und konfigurieren Sie die erforderlichen Einstellungen, wie die Speicherintegration und das Dateiformat.
Klicken Sie auf “Erstellen”, um die Stage zu erstellen.
Um Daten in die Stage zu laden, gehen Sie zur Registerkarte “Stages”, wählen Sie Ihre Stage aus und klicken Sie auf “Daten laden”.
Geben Sie den Standort und das Format der Daten Dateien an und klicken Sie auf “Laden”.

Die gestagten Daten stehen zur weiteren Verarbeitung und zum Laden in Snowflake-Tabellen bereit.

Fazit

Snowflake Stage macht es einfacher, Daten für die Analyse in der Cloud bereitzustellen. Snowflake hilft Organisationen, große Mengen an Daten aus verschiedenen Quellen auf sichere und flexible Weise zu verwalten und zu verarbeiten. Mit seiner cloudbasierten Architektur und Skalierbarkeit vereinfacht Snowflake Stage den Daten-Staging-Prozess. Dies ermöglicht es Unternehmen, schnellere und effektivere datenbasierte Entscheidungen zu treffen.

DataSunrise bietet außergewöhnliche und flexible Tools für Snowflake, einschließlich Sicherheits-, Audit-Regeln, Maskierungs- und Compliance-Funktionen. Um mehr darüber zu erfahren, wie DataSunrise Ihr Snowflake-Erlebnis verbessern kann, besuchen Sie unsere Website und vereinbaren Sie eine Online-Demo.