Le script Lua découvre des données sensibles dans les fichiers JSON

Lors de l’utilisation de la fonctionnalité Data Discovery, DataSunrise vous permet d’utiliser une variété de filtres de recherche préconstruits pour différents types de données sensibles. Mais existe-t-il un moyen de rechercher des données uniques ? Oui, pour accomplir cette tâche, vous pouvez utiliser Lua. L’utilisation de scripts Lua pour la découverte de données permet de rechercher littéralement n’importe quelles valeurs de type texte non couvertes par les modèles existants.

Cet article décrit comment utiliser Lua pour localiser les colonnes de base de données d’intérêt dans des fichiers JSON. Un script dédié est utilisé pour cela afin que vous puissiez baser votre propre recherche sur l’algorithme décrit ci-dessous. Notez que cela peut être fait non seulement avec JSON mais avec tout type de fichier – il vous suffit de créer un script Lua approprié.

Vous pouvez copier le script utilisé dans cet article ici :

-- Spécifiez les valeurs que vous souhaitez découvrir dans la liste sensitive_from_json
-- par exemple. {"data","id","name"}
sensitive_from_json = {"id", "data"}

-- valStr contiendra JSON en tant que texte
local valStr = tostring(columnValue)
local valStrLen = string.len(valStr)

-- Fonction pour obtenir la longueur d'une table
local function tablelength(T)
  local count = 0
  for _ in pairs(T) do count = count + 1 end
  return count
end

-- Obtenez le nombre d'éléments dans la liste sensitive_from_json
local count = tablelength(sensitive_from_json)

-- Identifier si la colonne contient des données formatées en JSON
if string.sub(valStr, 1, 1) == '{' and string.sub(valStr, valStrLen, valStrLen) == '}' then
  for i = 1, count do
    -- Si JSON contient au moins 1 valeur souhaitée, retourner 1, sinon 0
    if string.find(valStr, '"' .. tostring(sensitive_from_json[i]) .. '":') then
      return 1
    end
  end
  return 0
else
  return 0
end

Tout d’abord, créez votre script Lua pour rechercher vos propres données d’intérêt. Notez que le script particulier que nous avons créé pour cet article, entre autres, vérifie si le fichier traité est formaté comme un fichier JSON. Pour d’autres types de fichiers, vous devez utiliser d’autres algorithmes de validation. Nous remplissons les valeurs requises dans le script. Pour votre commodité, nous avons laissé quelques commentaires.

Ainsi, notre script est prêt à être traité et nous pouvons aller à la Console Web de DataSunrise.

Nous naviguons vers Data Discovery -> Types d’Information et nous créons un nouveau Type d’Information.

Image 1. Ajouter un type d’information

Nous ajoutons un nouvel Attribut et dans les paramètres de l’attribut, nous sélectionnons Données de Colonne. Dans le Type de Données de Colonne, nous sélectionnons Chaines Uniquement. Dans la Méthode de Recherche, nous sélectionnons Script Lua.

Image 2. Ajouter des attributs

Image 3. Éditer le script Lua

Ensuite, nous cliquons sur Éditer le script Lua pour le code du script. Nous collons notre script dans le champ Script et nous l’enregistrons.

Image 4. Script Lua

Maintenant, nous pouvons créer une nouvelle tâche de Data Discovery. Dans la sous-section Filtres de recherche, nous sélectionnons Types d’information et choisissons notre Type d’information à utiliser pour la découverte.

Image 5. Filtre de découverte de données

Pour exécuter la tâche, nous devons sélectionner la Fréquence de Démarrage Manuel, appuyer sur le bouton Appliquer pour enregistrer les modifications et appuyer sur Démarrer maintenant pour lancer la tâche.

Image 6. Démarrer la tâche de découverte de données avec un script Lua

Si la tâche a réussi, nous pouvons voir les résultats en cliquant sur le bouton Afficher. Cela montrera les objets de la base de données contenant des données sensibles au format JSON.

Image 7. Résultats

En conclusion, l’utilisation de scripts Lua dans la fonctionnalité de Data Discovery de DataSunrise améliore considérablement votre capacité à identifier des données uniques et sensibles au-delà de la portée des filtres préconstruits. En suivant les étapes décrites, vous pouvez créer des scripts personnalisés adaptés à la recherche de valeurs spécifiques de type texte dans divers formats de fichiers, y compris JSON. Cette méthode élargit non seulement la gamme des données recherchables, mais fournit également un outil flexible et puissant pour les administrateurs de bases de données souhaitant protéger les informations sensibles. La facilité d’intégration de ces scripts via la Console Web de DataSunrise et la possibilité subséquente d’automatiser et de visualiser les tâches de découverte rationalisent le processus, en faisant une solution efficace pour la gestion de la sécurité complète des données.