Redshift und Athena

Einführung

Unternehmen nutzen in der heutigen datengetriebenen Welt zunehmend Cloud-Dienste, um ihre Daten zu speichern, zu verarbeiten und zu analysieren. Cloud-Dienste bieten eine bequeme und sichere Möglichkeit für Unternehmen, große Mengen an Informationen zu verwalten. Sie verlassen sich auf Cloud-Dienste, um Daten zu speichern, an Projekten zusammenzuarbeiten und Einblicke aus ihrer Datenanalyse zu gewinnen. Dieser Trend spiegelt die wachsende Bedeutung von Daten in der Geschäftswelt wider. Zwei beliebte Dienste, die von Amazon Web Services (AWS) angeboten werden, sind Amazon Redshift und Athena. Beide Werkzeuge eignen sich gut für die Arbeit mit Daten in der Cloud. Sie haben jedoch unterschiedliche Methoden und Zwecke.

Dieser Artikel wird einen Vergleich zwischen Redshift und Athena ziehen, indem er betrachtet, wie sie Daten in der Cloud speichern, den Zugriff verwalten und die Nutzung verfolgen. Wir werden die Hauptunterschiede zwischen den beiden Diensten untersuchen. Der Vergleich wird ihre Ansätze zur Datenspeicherung, Zugriffskontrolle und Nutzungsauditierung hervorheben. Bei der Auswahl eines Tools für Ihre Datenanforderungen ist es wichtig, fundierte Entscheidungen zu treffen.

Das Verständnis der Stärken und Schwächen jedes Dienstes ist entscheidend. Dies hilft Ihnen dabei, das richtige Werkzeug für Ihre spezifischen Anforderungen auszuwählen. Die Wahl der richtigen Option wird Ihre Datenanforderungen wirksam erfüllen.

Was ist Amazon Redshift?

Amazon Redshift ist ein vollständig verwalteter, petabyte-skalierbarer Data-Warehousing-Dienst, der für die Speicherung und Analyse großer Datenmengen entwickelt wurde.

Es basiert auf PostgreSQL und bietet eine kostengünstige Lösung für das Ausführen komplexer Abfragen auf großen Datensätzen. Redshift speichert Daten in Spalten und verwendet viele Prozessoren, um Abfragen schnell auszuführen und eine gute Leistung zu erbringen. Es eignet sich gut für Data Warehousing, Business Intelligence und Berichtsarbeiten.

Was ist Amazon Athena?

Amazon Athena ist ein Dienst, der Ihnen ermöglicht, Daten aus Amazon S3 mit Standard-SQL zu analysieren. Es ist serverlos, das heißt, Sie müssen keine Infrastruktur bereitstellen oder verwalten.

Athena ermöglicht es Nutzern, Ad-hoc-Abfragen durchzuführen und Daten in S3 zu erforschen. Es unterstützt eine breite Palette von Datenformaten, einschließlich CSV, JSON, ORC, Avro und Parquet.

Athena eignet sich hervorragend für die schnelle Datenanalyse, ohne sich mit komplexen ETL-Prozessen oder Data Warehousing auseinandersetzen zu müssen.

Es ist ideal für Situationen, die eine schnelle Datenanalyse erfordern. Athena beseitigt die Notwendigkeit komplizierter ETL-Prozesse und Data Warehousing.

Cloud-Datenspeicherung

Wenn es um die Cloud-Datenspeicherung geht, haben Redshift und Athena unterschiedliche Ansätze. Redshift speichert Daten in seiner eigenen verwalteten Speicherschicht, die für schnelle Abfragen und Analysen optimiert ist.

Sie laden Daten in Redshift-Cluster, die aus Knoten bestehen, die die Daten speichern und verarbeiten. Redshift verteilt Daten automatisch auf Knoten basierend auf dem von Ihnen gewählten Verteilungsstil, wie zum Beispiel gleichmäßig, Schlüssel oder alles. Dies ermöglicht eine effiziente Parallelverarbeitung und Abfrageausführung.

Beispiel

Um Daten in Redshift zu speichern, erstellen Sie zuerst einen Cluster mit der gewünschten Anzahl an Knoten und Knotentypen. Dann können Sie den COPY-Befehl verwenden, um Daten aus S3 in Redshift-Tabellen zu laden. Beispielsweise können Sie den folgenden Befehl verwenden, um Daten aus einer CSV-Datei in S3 in eine Redshift-Tabelle namens “users” zu laden:

COPY users FROM 's3://your-bucket/path/to/file.csv'
IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftLoadRole'
FORMAT AS CSV;

Auf der anderen Seite speichert Athena selbst keine Daten. Stattdessen verwendet es Amazon S3 als zugrunde liegende Speicherschicht. Sie definieren Tabellen in Athena, die mit den in S3 gespeicherten Daten verknüpft sind, indem Sie das Schema und das Datenformat angeben. Athena verwendet diese Metadaten, um die Daten direkt aus S3 abzufragen, ohne sie laden oder transformieren zu müssen.

Beispiel

Um eine Tabelle in Athena zu erstellen, die mit Daten in S3 verknüpft ist, können Sie die CREATE EXTERNAL TABLE-Anweisung verwenden. Hier ist ein Beispiel:

CREATE EXTERNAL TABLE users (
id INT,
name STRING,
age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 's3://your-bucket/path/to/data/';

Dies erstellt eine externe Tabelle namens “users”, die mit den an der angegebenen S3-Position gespeicherten CSV-Daten verknüpft ist. Athena kann nun diese Daten mit Standard-SQL abfragen.

Zugriffskontrolle und Sicherheit

Redshift und Athena bieten beide starke Sicherheitsfunktionen, um Ihre Daten zu schützen.

Redshift bietet mehrere Sicherheitsmechanismen, einschließlich:

1. Netzwerkisolation: Redshift-Cluster können in einer Virtual Private Cloud (VPC) gestartet werden, was Netzwerkebene-Sicherheit und Isolation bietet.
2. Verschlüsselung: Redshift unterstützt die Verschlüsselung im Ruhezustand mit AWS Key Management Service (KMS) und die Verschlüsselung während der Übertragung mit SSL/TLS.
3. Zugriffskontrolle: Redshift integriert sich mit AWS Identity and Access Management (IAM) zur Verwaltung der Benutzerautorisierung und -authentifizierung. Sie können fein abgestufte Zugriffspolitiken definieren, um zu steuern, wer auf die Daten in Redshift zugreifen und sie manipulieren darf.
4. Auditierung: Redshift bietet detaillierte Protokollierung und Integration mit AWS CloudTrail, um Benutzeraktivitäten und Änderungen am Cluster zu verfolgen.

Beispiel: Um einem Benutzer Lesezugriff auf eine bestimmte Redshift-Tabelle zu gewähren, können Sie eine IAM-Richtlinie wie diese erstellen:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "redshift:GetClusterCredentials",
                "redshift:DescribeTable",
                "redshift:SelectFromTable"
            ],
            "Resource": [
                "arn:aws:redshift:us-west-2:123456789012:cluster:your-cluster-name",
                "arn:aws:redshift:us-west-2:123456789012:table:your-schema-name/your-table-name"
            ]
        }
    ]
}

Athena nutzt die Sicherheitsfunktionen von Amazon S3, einschließlich:

1. Zugriffskontrolle: Athena verwendet IAM-Richtlinien, um den Zugriff auf S3-Buckets und -Objekte zu steuern. Sie können Richtlinien definieren, um den Zugriff auf bestimmte S3-Pfade oder Athena-Aktionen einzuschränken.
2. Verschlüsselung: Athena unterstützt Abfragen von Daten, die im Ruhezustand in S3 mit AWS KMS verschlüsselt sind.
3. Auditierung: Athena integriert sich mit AWS CloudTrail, um alle API-Aufrufe und Benutzeraktivitäten zu protokollieren und so eine Überwachungsprotokollierung für Compliance- und Sicherheitszwecke bereitzustellen.

Um einem Benutzer die Ausführung von Abfragen auf einer bestimmten Athena-Tabelle zu ermöglichen, können Sie eine IAM-Richtlinie erstellen.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution",
                "athena:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:athena:us-west-2:123456789012:workgroup/your-workgroup-name"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::your-bucket-name",
                "arn:aws:s3:::your-bucket-name/*"
            ]
        }
    ]
}

Diese Richtlinie erlaubt es dem Benutzer, Abfragen in der gewählten Athena-Arbeitsgruppe auszuführen und die erforderlichen S3-Objekte anzusehen.

Cloud-Daten-Auditierung und Compliance

Die Auditierung ist entscheidend für die Einhaltung von Vorschriften und die Verfolgung von Benutzeraktivitäten in sowohl Redshift als auch Athena.

Redshift bietet die folgenden Auditierungsmöglichkeiten:

1. Systemtabellen: Redshift führt Systemtabellen, die Informationen über Benutzerverbindungen, ausgeführte Abfragen und Änderungen in der Clusterkonfiguration enthalten.
2. AWS CloudTrail-Integration: Redshift integriert sich mit CloudTrail, um API-Aufrufe und Ereignisse der Verwaltungsebene zu protokollieren, und bietet so eine umfassende Überwachungsprotokollierung.
3. Protokollierung: Redshift kann Benutzeraktivitäten, Verbindungen und Abfragen zu Amazon S3 oder Amazon CloudWatch Logs protokollieren, um sie zu analysieren und zu überwachen.

Um Benutzerverbindungen und -aktivitäten in Redshift zu protokollieren, passen Sie die Clustereinstellung an und setzen Sie bestimmte Parameter.

enable_user_activity_logging = true
enable_user_activity_logging_level = STANDARD

Athena, als serverloser Dienst, verlässt sich auf AWS CloudTrail für die Auditierung

1. AWS CloudTrail-Integration: Athena protokolliert automatisch alle API-Aufrufe und Benutzeraktivitäten in CloudTrail und bietet so eine detaillierte Überwachungsprotokollierung.
2. S3-Serverzugriffsprotokollierung: Sie können die Serverzugriffsprotokollierung auf den von Athena verwendeten S3-Buckets aktivieren, um den Zugriff auf Objekte und Operationen auf Objektebene zu verfolgen.

Beispiel: Um Athena-Abfragen mit CloudTrail-Protokollen zu analysieren, können Sie Amazon Athena selbst verwenden, um die in S3 gespeicherten Protokolle abzufragen. Erstellen Sie zuerst eine Athena-Tabelle, die den CloudTrail-Protokollen zugeordnet ist:

CREATE EXTERNAL TABLE cloudtrail_logs (
eventversion STRING,
useridentity STRUCT<
type: STRING,
principalid: STRING,
arn: STRING,
accountid: STRING,
invokedby: STRING
>,
eventtime STRING,
eventsource STRING,
eventname STRING,
awsregion STRING,
sourceipaddress STRING,
useragent STRING,
errorcode STRING,
errormessage STRING,
requestparameters STRING,
responseelements STRING,
additionaleventdata STRING,
requestid STRING,
eventid STRING,
resources ARRAY<STRUCT<
arn: STRING,
accountid: STRING,
type: STRING
>>,
eventtype STRING,
apiversion STRING,
readonly STRING,
recipientaccountid STRING,
serviceeventdetails STRING,
sharedeventid STRING,
vpcendpointid STRING
)
ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'
STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://your-cloudtrail-bucket/AWSLogs/123456789012/CloudTrail/';

Beachten Sie den Gebrauch von < und > für die Definition von Strukturdatentypen, der spezifisch für das SQL-Dialekt von Amazon Athena ist.

Athena verwendet eine Variante von SQL namens Presto SQL, die auf der Presto verteilte SQL-Abfrage-Engine basiert. Presto SQL führt einige Erweiterungen und Unterschiede in der Syntax im Vergleich zu Standard-SQL ein.

Dann können Sie die CloudTrail-Protokolle abfragen, um die Athena-Nutzung zu analysieren:

SELECT
useridentity.arn,
eventtime,
eventsource,
eventname,
requestparameters
FROM cloudtrail_logs
WHERE eventsource = 'athena.amazonaws.com'
AND eventname LIKE 'Start%'
ORDER BY eventtime DESC
LIMIT 100;

Diese Abfrage ruft die letzten 100 Athena-Abfrageausführungsereignisse ab, einschließlich der Benutzer-ARN, Ereigniszeit, Ereignisquelle, Ereignisname und Anforderungsparameter.

Redshift vs. Athena: Fazit

Sie sind beide leistungsstarke Lösungen, die von AWS für die Arbeit mit Daten in der Cloud angeboten werden. Redshift ist eine verwaltete Data-Warehousing-Lösung zum Speichern und Abfragen großer Datensätze. Athena ist ein serverloser Abfragedienst zur Analyse von Daten aus S3 mithilfe von SQL. Beide Dienste bieten robuste Zugriffskontrolle, Sicherheits- und Auditierungsfunktionen, um den Schutz und die Einhaltung Ihrer Daten zu gewährleisten.

Bei der Entscheidung zwischen Redshift und Athena sollten Sie Ihren spezifischen Anwendungsfall und Ihre Anforderungen berücksichtigen. Wenn Sie komplexe Abfragen, große Datenmengen und leistungsstarke Analysen benötigen, ist Redshift möglicherweise die bessere Wahl. Wenn Sie jedoch bereits Daten in S3 haben und Ad-hoc-Abfragen und -Erkundungen ohne den Aufwand des Infrastrukturmanagements benötigen, ist Athena eine hervorragende Option.

Es ist wichtig, angemessene Zugriffskontrollen, Verschlüsselung und Auditierung zu implementieren, um Ihre Daten zu schützen. Unabhängig von Ihrer Wahl sind diese Maßnahmen entscheidend für die Sicherheit und Integrität Ihrer Daten.

Angemessene Zugriffskontrollen stellen sicher, dass nur autorisierte Benutzer auf die Daten zugreifen können. Die Verschlüsselung hilft, die Daten vor unbefugtem Zugriff zu sichern. Die Auditierung hilft, alle Änderungen oder Zugriffe auf die Daten zu überwachen und zu verfolgen.

Sie können Ihre Daten in der Cloud sicher aufbewahren, indem Sie Sicherheitsmerkmale nutzen und bewährte Verfahren befolgen. Dies gewährleistet, dass Ihre Daten sicher und den Vorschriften entsprechend bleiben.

DataSunrise bietet benutzerfreundliche und flexible Tools für die Datensicherheit, Audit-Regeln, Maskierung und Compliance sowohl für Redshift als auch für Athena. Unsere Lösungen integrieren sich nahtlos mit AWS-Diensten und bieten eine zusätzliche Sicherheitsebene und Kontrolle über Ihre Daten.

Benötigen Sie erstklassige Daten-Sicherheits- und Compliance-Lösungen? Dann sind Sie beim DataSunrise-Team genau richtig! Nehmen Sie an einer Online-Demo teil, um zu sehen, wie unsere Angebote Ihrem Unternehmen zugutekommen können.