DataSunrise Obtient le Statut Compétence DevOps AWS dans AWS DevSecOps et Surveillance, Journalisation, Performance

Historique d’activité des données Hive

Historique d’activité des données Hive

Introduction

Suivre l’historique des activités de données Hive est essentiel pour les organisations utilisant ce data warehouse. La surveillance de votre historique des activités de données aide à identifier les menaces de sécurité et assure la conformité avec les exigences légales et réglementaires.

Apache Hive, avec son architecture distribuée permettant le traitement des données sur plusieurs nœuds et points d’accès distants, introduit des considérations de sécurité uniques dans l’environnement de travail hybride d’aujourd’hui. Selon les recherches d’IBM, les violations de données impliquant des points d’accès de travail à distance entraînent un coût supplémentaire moyen de 173 074 $, soulignant le besoin crucial d’audit et de surveillance complets des bases de données dans les systèmes distribués.

Hive fournit des outils intégrés facilitant le suivi des audits, la détection des accès non autorisés et la conformité réglementaire. Ce guide propose une approche par étapes pour exploiter ces capacités.

Accès à l’historique des activités de données Hive avec des outils natifs

Journaux HiveServer2

La journalisation de HiveServer2 est activée par défaut et enregistre les opérations dans /var/log/hive/hiveserver2.log. Ces journaux capturent les opérations du serveur, les détails d’exécution des requêtes et les erreurs.

Les journaux HiveServer2 sont le principal moyen de suivre l’activité des requêtes dans Hive. Ils fournissent un enregistrement détaillé de chaque requête exécutée via les clients applicatifs, ainsi que des détails d’exécution et des erreurs. Ces journaux sont généralement activés par défaut et sont couramment trouvés dans /var/log/hive/hiveserver2.log

Contenu de la journalisation par défaut

Les journaux HiveServer2 fournissent des informations opérationnelles détaillées. Une entrée de journal typique suit ce modèle :

2025-01-22 22:47:47,958 INFO [HiveServer2-Handler-Pool: Thread-2947] parse.ParseDriver: Parsing command: SELECT * from sample_07 LIMIT 7

Éléments clés :

  • Horodatage : 2025-01-22 22:47:47,958
  • Niveau de journalisation : INFO
  • Infos sur le thread : [HiveServer2-Handler-Pool: Thread-2947]
  • Composant : parse.ParseDriver
  • Message : Les détails de l’opération réelle

Générer l’historique des activités de données Hive avec des requêtes de test

Exécutez des requêtes pour générer des journaux d’audit en utilisant le script suivant :

#!/bin/bash

hive -e "
DROP TABLE IF EXISTS audit_test;
CREATE TABLE audit_test (id INT, data STRING);
INSERT INTO audit_test VALUES (1, 'Test data 1');
INSERT INTO audit_test VALUES (2, 'Test data 2');
SELECT * FROM audit_test;
"
Requêtes de test exécutées pour la sortie du terminal Hive
Requêtes de test exécutées pour la sortie du terminal Hive

De plus, vous pouvez simuler des tentatives d’accès non autorisé pour vérifier que les journaux capturent les événements de sécurité.

Analyser l’historique des activités de données Hive avec les journaux d’audit

1. Visualisation des journaux :

Visualisation de base des journaux :

cat /var/log/hive/hiveserver2.log

Commandes de filtrage utiles :

# Suivi du log en temps réel
tail -f /var/log/hive/hiveserver2.log

# Recherche de requêtes spécifiques
grep "SELECT" /var/log/hive/hiveserver2.log

# Visualisation des erreurs
grep "ERROR" /var/log/hive/hiveserver2.log

2. Interprétation des entrées du journal :
Les journaux fournissent des détails tels que les horodatages, les activités des utilisateurs et les exécutions de requêtes. Analyser ces journaux aide à détecter les anomalies et les accès non autorisés.

Exemple de sorties du terminal avec les entrées de journal de Hive générées
Exemple de sorties du terminal avec les entrées de journal de Hive générées

Les journaux capturent divers aspects de l’activité de la base de données, y compris le flux d’exécution des requêtes, les opérations de métadonnées, les événements d’authentification, la gestion des verrous et les métriques de performance. Ces journaux sont le plus souvent utilisés pour déboguer les problèmes de requêtes et surveiller la santé globale du serveur, fournissant des informations précieuses sur les performances du système et les défis opérationnels potentiels.

Remarque importante :

Les journaux de HiveServer2 sont utiles pour le suivi des requêtes et le débogage, complétant les journaux de Metastore, HDFS et YARN, qui se concentrent sur la gestion des ressources et l’exécution, ainsi que les journaux d’audit axés sur la sécurité de Ranger. Cependant, bien que la journalisation de HiveServer2 aide au dépannage et à la surveillance de base des activités, elle n’est pas destinée à un audit complet. Pour des exigences d’audit plus détaillées et étendues, il est recommandé de considérer des solutions comme Apache Ranger ou d’autres outils d’audit dédiés.

Étendre la précision de la journalisation de l’historique des activités de données Hive avec Apache Ranger

Mettez en œuvre des politiques Ranger pour activer le contrôle d’audit finement détaillé. Par exemple :

Via l’interface administrateur Ranger :

  1. Connectez-vous à l’administrateur Ranger (port par défaut 6080)
  2. Accédez à Access Manager > Politiques Hive
  3. Créez une politique :
    • Nom de la politique : AuditTableAccess
    • Base de données :
    • Table : audit_test
    • Journalisation d’audit : Activée

Cette politique permet de journaliser les accès spécifiques des utilisateurs à la table audit_test.

Création d'une politique d'audit Hive dans Apache Ranger
Création d’une politique d’audit Hive dans Apache Ranger

Meilleures pratiques pour la gestion des audits de Hive

  • Rotation des journaux : Archivez et faites pivoter régulièrement les journaux pour éviter les problèmes de stockage.

  • Sécurisation des journaux : Stockez les journaux en toute sécurité pour prévenir les modifications non autorisées.

  • Optimiser la portée de l’audit : Concentrez l’audit sur les actions critiques pour minimiser le surcoût de performances.

DataSunrise : Améliorer le suivi des activités de données Hive

DataSunrise fournit une solution complète qui surmonte les limitations des outils d’audit natifs de Hive. Il offre des fonctionnalités de sécurité avancées adaptées aux environnements de données modernes.

Pistes d'audit des données Hive capturées dans DataSunrise
Pistes d’audit des données Hive capturées dans DataSunrise

Gestion centralisée

DataSunrise fournit un tableau de bord de surveillance unifié pour gérer plusieurs systèmes de stockage de données, y compris Hive et Impala. Avec le support de plus de 40 plateformes, il simplifie l’administration et améliore les temps de réponse aux incidents.

Instances de bases de données multiples connectées à DataSunrise
Instances de bases de données multiples connectées à DataSunrise

Contrôles de sécurité avancés

La plateforme renforce la sécurité de Hive avec des politiques de sécurité et un masquage dynamique des données, protégeant les données sensibles en temps réel en fonction des rôles et des niveaux d’accès des utilisateurs.

Configuration d'une règle de masquage dynamique pour des données Hive dans DataSunrise
Configuration d’une règle de masquage dynamique pour des données Hive dans DataSunrise

Automatisation de la conformité

DataSunrise simplifie la conformité avec des cadres tels que SOX, GDPR, HIPAA et PCI DSS, offrant des modèles de surveillance préconfigurés et des rapports automatisés.

Configuration des rapports de conformité automatisés pour Hive dans DataSunrise
Configuration des rapports de conformité automatisés pour Hive dans DataSunrise

Fonctionnalités supplémentaires

Conclusion

Alors que les outils natifs de Hive offrent des capacités d’audit de base, les environnements modernes nécessitent des solutions plus avancées. DataSunrise propose des fonctionnalités robustes qui améliorent la gestion des pistes d’audit.

Vous cherchez à améliorer votre processus d’audit des données Hive ? Essayez notre démo et découvrez les avantages des solutions d’audit complètes.

Suivant

Historique des Activités de la Base de Données Hive

Historique des Activités de la Base de Données Hive

En savoir plus

Besoin de l'aide de notre équipe de support ?

Nos experts seront ravis de répondre à vos questions.

Countryx
United States
United Kingdom
France
Germany
Australia
Afghanistan
Islands
Albania
Algeria
American Samoa
Andorra
Angola
Anguilla
Antarctica
Antigua and Barbuda
Argentina
Armenia
Aruba
Austria
Azerbaijan
Bahamas
Bahrain
Bangladesh
Barbados
Belarus
Belgium
Belize
Benin
Bermuda
Bhutan
Bolivia
Bosnia and Herzegovina
Botswana
Bouvet
Brazil
British Indian Ocean Territory
Brunei Darussalam
Bulgaria
Burkina Faso
Burundi
Cambodia
Cameroon
Canada
Cape Verde
Cayman Islands
Central African Republic
Chad
Chile
China
Christmas Island
Cocos (Keeling) Islands
Colombia
Comoros
Congo, Republic of the
Congo, The Democratic Republic of the
Cook Islands
Costa Rica
Cote D'Ivoire
Croatia
Cuba
Cyprus
Czech Republic
Denmark
Djibouti
Dominica
Dominican Republic
Ecuador
Egypt
El Salvador
Equatorial Guinea
Eritrea
Estonia
Ethiopia
Falkland Islands (Malvinas)
Faroe Islands
Fiji
Finland
French Guiana
French Polynesia
French Southern Territories
Gabon
Gambia
Georgia
Ghana
Gibraltar
Greece
Greenland
Grenada
Guadeloupe
Guam
Guatemala
Guernsey
Guinea
Guinea-Bissau
Guyana
Haiti
Heard Island and Mcdonald Islands
Holy See (Vatican City State)
Honduras
Hong Kong
Hungary
Iceland
India
Indonesia
Iran, Islamic Republic Of
Iraq
Ireland
Isle of Man
Israel
Italy
Jamaica
Japan
Jersey
Jordan
Kazakhstan
Kenya
Kiribati
Korea, Democratic People's Republic of
Korea, Republic of
Kuwait
Kyrgyzstan
Lao People's Democratic Republic
Latvia
Lebanon
Lesotho
Liberia
Libyan Arab Jamahiriya
Liechtenstein
Lithuania
Luxembourg
Macao
Madagascar
Malawi
Malaysia
Maldives
Mali
Malta
Marshall Islands
Martinique
Mauritania
Mauritius
Mayotte
Mexico
Micronesia, Federated States of
Moldova, Republic of
Monaco
Mongolia
Montserrat
Morocco
Mozambique
Myanmar
Namibia
Nauru
Nepal
Netherlands
Netherlands Antilles
New Caledonia
New Zealand
Nicaragua
Niger
Nigeria
Niue
Norfolk Island
North Macedonia, Republic of
Northern Mariana Islands
Norway
Oman
Pakistan
Palau
Palestinian Territory, Occupied
Panama
Papua New Guinea
Paraguay
Peru
Philippines
Pitcairn
Poland
Portugal
Puerto Rico
Qatar
Reunion
Romania
Russian Federation
Rwanda
Saint Helena
Saint Kitts and Nevis
Saint Lucia
Saint Pierre and Miquelon
Saint Vincent and the Grenadines
Samoa
San Marino
Sao Tome and Principe
Saudi Arabia
Senegal
Serbia and Montenegro
Seychelles
Sierra Leone
Singapore
Slovakia
Slovenia
Solomon Islands
Somalia
South Africa
South Georgia and the South Sandwich Islands
Spain
Sri Lanka
Sudan
Suriname
Svalbard and Jan Mayen
Swaziland
Sweden
Switzerland
Syrian Arab Republic
Taiwan, Province of China
Tajikistan
Tanzania, United Republic of
Thailand
Timor-Leste
Togo
Tokelau
Tonga
Trinidad and Tobago
Tunisia
Turkey
Turkmenistan
Turks and Caicos Islands
Tuvalu
Uganda
Ukraine
United Arab Emirates
United States Minor Outlying Islands
Uruguay
Uzbekistan
Vanuatu
Venezuela
Viet Nam
Virgin Islands, British
Virgin Islands, U.S.
Wallis and Futuna
Western Sahara
Yemen
Zambia
Zimbabwe
Choose a topicx
Informations générales
Ventes
Service clientèle et support technique
Demandes de partenariat et d'alliance
Informations générales :
info@datasunrise.com
Service clientèle et support technique :
support.datasunrise.com
Demandes de partenariat et d'alliance :
partner@datasunrise.com