Redshift e Athena

Introduzione

Le aziende stanno utilizzando sempre più frequentemente i servizi cloud per archiviare, lavorare e analizzare i propri dati nel mondo data-driven di oggi. I servizi cloud offrono un modo conveniente e sicuro per le aziende di gestire grandi quantità di informazioni. Si affidano ai servizi cloud per archiviare i dati, collaborare ai progetti e ottenere approfondimenti dalle loro analisi dei dati. Questa tendenza riflette l’importanza crescente dei dati nel mondo aziendale. Due servizi popolari offerti da Amazon Web Services (AWS) sono Amazon Redshift e Athena. Entrambi gli strumenti sono ideali per lavorare con i dati nel cloud. Tuttavia, hanno metodi e finalità diversi.

Questo articolo confronterà Redshift e Athena, esaminando come salvano i dati nel cloud, gestiscono l’accesso e tracciano l’uso. Esamineremo le principali differenze tra i due servizi. Il confronto metterà in evidenza i loro approcci all’archiviazione dei dati, al controllo degli accessi e all’auditing dell’uso. Quando si sceglie uno strumento per le proprie esigenze di dati, è importante prendere decisioni informate.

Comprendere i punti di forza e le limitazioni di ciascun servizio è cruciale. Questo ti aiuterà a selezionare lo strumento giusto per le tue esigenze specifiche. Scegliere l’opzione giusta soddisferà efficacemente le tue necessità di dati.

Che Cos’è Amazon Redshift?

Amazon Redshift è un servizio di data warehousing completamente gestito a livello di petabyte progettato per l’archiviazione e l’analisi di grandi quantità di dati.

Si basa su PostgreSQL e fornisce una soluzione economica per eseguire query complesse su grandi set di dati. Redshift memorizza i dati in colonne e utilizza molti processori per eseguire rapidamente le query e ottenere buone prestazioni. È ben adatto per workload di data warehousing, business intelligence e reporting.

Che Cos’è Amazon Athena?

Amazon Athena è un servizio che ti permette di analizzare i dati da Amazon S3 utilizzando SQL standard. È serverless, significa che non hai bisogno di predisporre o gestire alcuna infrastruttura.

Athena consente agli utenti di eseguire query ad-hoc ed esplorare i dati archiviati in S3. Supporta una vasta gamma di formati di dati, inclusi CSV, JSON, ORC, Avro e Parquet.

Athena è ideale per analizzare rapidamente i dati senza dover affrontare processi ETL complessi o il data warehousing.

È ideale per situazioni che richiedono un’analisi rapida dei dati. Athena elimina la necessità di processi ETL complicati e data warehousing.

Archiviazione Dati nel Cloud

Quando si tratta dell’archiviazione dei dati nel cloud, Redshift e Athena hanno approcci diversi. Redshift memorizza i dati nel proprio layer di archiviazione gestito, che ottimizza per eseguire query e analisi veloci.

Caricaggi dati nei cluster Redshift, che consistono in nodi che archivieranno e processeranno i dati. Redshift distribuisce automaticamente i dati tra i nodi in base allo stile di distribuzione scelto, come pari (even), chiave (key) o tutti (all). Questo consente un’elaborazione e un’esecuzione delle query parallela ed efficiente.

Esempio

Per archiviare i dati in Redshift, si crea prima un cluster con il numero desiderato di nodi e tipologie di nodi. Successivamente, puoi utilizzare il comando COPY per caricare i dati da S3 nelle tabelle Redshift. Ad esempio, per caricare dati da un file CSV in S3 in una tabella Redshift chiamata “users”, puoi utilizzare il seguente comando:

COPY users FROM 's3://your-bucket/path/to/file.csv' IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftLoadRole' FORMAT AS CSV;

Athena, d’altra parte, non memorizza i dati in sé. Invece, utilizza Amazon S3 come layer di archiviazione sottostante. Definisci tabelle in Athena che mappano i dati archiviati in S3, specificando lo schema e il formato dei dati. Athena utilizza questi metadata per eseguire query sui dati direttamente da S3 senza necessità di caricamento o trasformazione.

Esempio

Per creare una tabella in Athena che mappa i dati in S3, puoi utilizzare l’istruzione CREATE EXTERNAL TABLE. Ecco un esempio:

CREATE EXTERNAL TABLE users ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION 's3://your-bucket/path/to/data/';

Questo crea una tabella esterna chiamata “users” che mappa i dati CSV archiviati nella posizione S3 specificata. Athena può ora interrogare questi dati utilizzando SQL standard.

Controllo degli Accessi e Sicurezza

Redshift e Athena offrono entrambi solide funzionalità di sicurezza per proteggere i tuoi dati.

Redshift offre diversi meccanismi di sicurezza, tra cui:

1. Isolamento della rete: i cluster Redshift possono essere lanciati in una Virtual Private Cloud (VPC), fornendo sicurezza e isolamento a livello di rete.
2. Crittografia: Redshift supporta la crittografia a riposo utilizzando l’AWS Key Management Service (KMS) e la crittografia in transito utilizzando SSL/TLS.
3. Controllo degli accessi: Redshift si integra con AWS Identity and Access Management (IAM) per gestire l’autenticazione e l’autorizzazione degli utenti. Puoi definire politiche di accesso granulare per controllare chi può accedere e manipolare i dati all’interno di Redshift.
4. Auditing: Redshift fornisce registri di audit dettagliati e integrazione con AWS CloudTrail per tracciare le attività degli utenti e le modifiche effettuate al cluster.

Esempio: Per concedere a un utente l’accesso in sola lettura a una tabella Redshift specifica, puoi creare una policy IAM come questa:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "redshift:GetClusterCredentials",
                "redshift:DescribeTable",
                "redshift:SelectFromTable"
            ],
            "Resource": [
                "arn:aws:redshift:us-west-2:123456789012:cluster:your-cluster-name",
                "arn:aws:redshift:us-west-2:123456789012:table:your-schema-name/your-table-name"
            ]
        }
    ]
}

Athena sfrutta le funzionalità di sicurezza di Amazon S3, tra cui:

1. Controllo degli accessi: Athena utilizza le policy IAM per controllare l’accesso ai bucket e agli oggetti S3. Puoi definire policy per limitare l’accesso a percorsi specifici di S3 o azioni Athena.
2. Crittografia: Athena supporta la query di dati crittografati a riposo in S3 utilizzando AWS KMS.
3. Auditing: Athena si integra con AWS CloudTrail per registrare tutte le chiamate API e le attività degli utenti, fornendo una traccia di audit per scopi di conformità e sicurezza.

Per consentire a un utente di eseguire query su una determinata tabella Athena, puoi creare una policy IAM.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution",
                "athena:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:athena:us-west-2:123456789012:workgroup/your-workgroup-name"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::your-bucket-name",
                "arn:aws:s3:::your-bucket-name/*"
            ]
        }
    ]
}

Questa policy consente all’utente di eseguire query nel workgroup Athena scelto e visualizzare gli oggetti S3 richiesti.

Audit dei Dati nel Cloud e Conformità

L’auditing è cruciale per mantenere la conformità e tracciare le attività degli utenti sia in Redshift che in Athena.

Redshift fornisce le seguenti capacità di auditing:

1. System tables: Redshift mantiene tabelle di sistema che contengono informazioni sulle connessioni degli utenti, le query eseguite e le modifiche apportate alla configurazione del cluster.
2. Integrazione con AWS CloudTrail: Redshift si integra con CloudTrail per registrare chiamate API ed eventi di gestione, fornendo una traccia di audit completa.
3. Logging: Redshift può registrare attività degli utenti, connessioni e query su Amazon S3 o Amazon CloudWatch Logs per analisi e monitoraggio.

Per registrare connessioni e attività degli utenti in Redshift, regola il gruppo di parametri del cluster e imposta parametri specifici.

enable_user_activity_logging = true
enable_user_activity_logging_level = STANDARD

Athena, essendo un servizio serverless, si affida ad AWS CloudTrail per l’auditing

1. Integrazione con AWS CloudTrail: Athena registra automaticamente tutte le chiamate API e le attività degli utenti in CloudTrail, fornendo una traccia di audit dettagliata.
2. Logging degli accessi al server S3: Puoi abilitare il logging degli accessi al server sui bucket S3 utilizzati da Athena per tracciare l’accesso a livello di oggetto e le operazioni.

Esempio: Per analizzare le query Athena utilizzando i log di CloudTrail, puoi utilizzare la stessa Athena per query sui log archiviati in S3. Prima, crea una tabella Athena che mappa i log di CloudTrail:

CREATE EXTERNAL TABLE cloudtrail_logs (
eventversion STRING,
useridentity STRUCT<
type: STRING,
principalid: STRING,
arn: STRING,
accountid: STRING,
invokedby: STRING
>,
eventtime STRING,
eventsource STRING,
eventname STRING,
awsregion STRING,
sourceipaddress STRING,
useragent STRING,
errorcode STRING,
errormessage STRING,
requestparameters STRING,
responseelements STRING,
additionaleventdata STRING,
requestid STRING,
eventid STRING,
resources ARRAY>,
eventtype STRING,
apiversion STRING,
readonly STRING,
recipientaccountid STRING,
serviceeventdetails STRING,
sharedeventid STRING,
vpcendpointid STRING
)
ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'
STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://your-cloudtrail-bucket/AWSLogs/123456789012/CloudTrail/';

Nota che l’uso di < e > per definire i tipi di dati struct è specifico nel dialetto SQL di Amazon Athena.

Athena utilizza una variante di SQL chiamata Presto SQL, che si basa sul motore di query SQL distribuito Presto. Presto SQL introduce alcune estensioni e differenze sintattiche rispetto a SQL standard.

Poi, puoi interpellare i log di CloudTrail per analizzare l’uso di Athena:

SELECT
useridentity.arn,
eventtime,
eventsource,
eventname,
requestparameters
FROM cloudtrail_logs
WHERE eventsource = 'athena.amazonaws.com'
AND eventname LIKE 'Start%'
ORDER BY eventtime DESC
LIMIT 100;

Questa query recupera gli ultimi 100 eventi di esecuzione di query Athena, inclusi l’ARN dell’utente, l’orario dell’evento, la sorgente dell’evento, il nome dell’evento e i parametri della richiesta.

Redshift vs Athena: Conclusione

Sono entrambi potenti soluzioni offerte da AWS per lavorare con i dati nel cloud. Redshift è una soluzione di data warehousing gestita per l’archiviazione e l’esecuzione di query su grandi set di dati. Athena è un servizio di query serverless per analizzare i dati da S3 utilizzando SQL. Entrambi i servizi forniscono robusti controlli di accesso, sicurezza e capacità di auditing per garantire la protezione e la conformità dei tuoi dati.

Quando devi scegliere tra Redshift e Athena, considera il tuo caso d’uso specifico e i requisiti. Se hai bisogno di query complesse, archiviazione di dati su larga scala e analisi ad alte prestazioni, Redshift può essere la soluzione migliore. D’altra parte, se hai dati archiviati in S3 e richiedi query ad-hoc ed esplorazione dei dati senza il sovraccarico di gestire l’infrastruttura, Athena è un’ottima opzione.

È importante avere controlli di accesso, crittografia e auditing appropriati per proteggere i tuoi dati. A prescindere dalla tua scelta, queste misure sono fondamentali per la sicurezza e l’integrità dei tuoi dati.

I controlli di accesso appropriati garantiscono che solo gli utenti autorizzati possano accedere ai dati. La crittografia aiuta a proteggere i dati da accessi non autorizzati. L’auditing aiuta a monitorare e tracciare qualsiasi cambiamento o accesso ai dati.

Puoi mantenere i tuoi dati sicuri nel cloud utilizzando le funzionalità di sicurezza e seguendo le best practices. Questo assicurerà che i tuoi dati rimangano sicuri e conformi alle normative.

DataSunrise offre strumenti user-friendly e flessibili per la sicurezza dei dati in Redshift e Athena, comprese le regole di audit, mascheramento e conformità. Le nostre soluzioni si integrano perfettamente con i servizi AWS, fornendo un ulteriore livello di sicurezza e controllo sui tuoi dati.

Hai bisogno di soluzioni di sicurezza dei dati e conformità di alto livello? Rivolgiti al team DataSunrise! Unisciti a noi per una demo online per vedere come le nostre offerte possono beneficiare la tua organizzazione.