Bien sûr ! Simuler un processus DataOps peut être amusant et éducatif. Pour cet exemple, nous allons créer un script Python qui simule le processus de collecte de données, de transformation et de chargement (ETL). Nous utiliserons des bibliothèques courantes comme `pandas` pour manipuler les données et `numpy` pour générer des données fictives.
Voici un exemple de code sympa pour simuler un processus DataOps :
« `python
import pandas as pd
import numpy as np
import random
# ———————————————————————-
# Étape 1: Collecte de données (Extraction)
# ———————————————————————-
def collecter_donnees():
print(« Salut ! On commence par la collecte de données. »)
# Générons des données fictives
data = {
‘ID’: range(1, 101),
‘Nom’: [f »Nom{i} » for i in range(1, 101)],
‘Âge’: np.random.randint(18, 65, size=100),
‘Salaire’: np.random.randint(30000, 100000, size=100)
}
df = pd.DataFrame(data)
print(« On a collecté 100 enregistrements de données ! »)
return df
# ———————————————————————-
# Étape 2: Transformation des données
# ———————————————————————-
def transformer_donnees(df):
print(« Super, maintenant on transforme les données ! »)
# Supprimons les enregistrements avec des âges négatifs (juste au cas où)
df = df[df[‘Âge’] >= 0]
# Ajoutons une colonne pour le statut de l’employé
df[‘Statut’] = np.where(df[‘Salaire’] > 50000, ‘Cadre’, ‘Non-cadre’)
# Ajoutons une colonne pour l’année de naissance
df[‘Année de naissance’] = df[‘Âge’].apply(lambda x: 2023 – x)
print(« Les données sont transformées et enrichies ! »)
return df
# ———————————————————————-
# Étape 3: Chargement des données (Loading)
# ———————————————————————-
def charger_donnees(df):
print(« Génial, on charge les données dans notre data warehouse ! »)
# Simulons le chargement en sauvegardant le DataFrame dans un fichier CSV
df.to_csv(‘donnees_employes.csv’, index=False)
print(« Les données sont chargées avec succès dans ‘donnees_employes.csv’ ! »)
# ———————————————————————-
# Exécution du processus DataOps
# ———————————————————————-
def main():
print(« Bienvenue dans notre simulation DataOps ! »)
# Étape 1: Collecte de données
df = collecter_donnees()
# Étape 2: Transformation des données
df = transformer_donnees(df)
# Étape 3: Chargement des données
charger_donnees(df)
print(« Félicitations, le processus DataOps est terminé avec succès ! »)
# Exécution du script
if __name__ == « __main__ »:
main()
« `
Ce script Python simule les trois étapes classiques d’un processus DataOps :
1. **Collecte de données (Extraction)** : Génération de données fictives.
2. **Transformation des données** : Nettoyage et enrichissement des données.
3. **Chargement des données (Loading)** : Sauvegarde des données transformées dans un fichier CSV.
N’hésitez pas à adapter ce script selon vos besoins spécifiques et à l’étendre avec plus de fonctionnalités !