Créer un service Azure Synapse Link for Dataverse avec Azure Data Lake

Vous pouvez utiliser Azure Synapse Link pour connecter vos données Microsoft Dataverse à Azure Data Lake Storage Gen2 pour activer divers scénarios d’analyse. Cet article vous explique comment réaliser les tâches suivantes :

1. Connectez vos données Dataverse à votre compte Azure Data Lake Storage Gen2 au service Azure Synapse Link.
2. Gérez les tables Dataverse incluses dans le service Azure Synapse Link.
3. Surveillez votre service Azure Synapse Link.
4. Dissociez votre Azure Synapse Link.
5. Reliez votre service Azure Synapse Link.
6. Affichez vos données dans Azure Data Lake et comprenez la structure du fichier.

Conditions préalables

• Azure Data Lake Storage Gen2 : vous devez avoir un compte Azure Data Lake Storage Gen2 et un accès au rôle de Propriétaire et de Contributeur aux données d’objets Blob de stockage. Votre compte de stockage doit activer Espace de noms hiérarchique pour la configuration initiale et la synchronisation delta. Autoriser l’accès à la clé du compte de stockage est requis uniquement pour la configuration initiale.

Connecter Dataverse à Azure Data Lake Storage Gen2

1. Se connecter à Power Apps et sélectionnez votre environnement préféré.

2. Dans le volet de navigation de gauche, sélectionnez Azure Synapse Link. Si Azure Synapse Link n’est pas visible dans le volet du panneau latéral, sélectionnez …Plus et sélectionnez Découvrir tout. Azure Synapse Link se trouve dans la section Gestion des données .

3. Dans la barre de commandes, sélectionnez + Nouveau lien vers le lac de données.

4. Sélectionnez Abonnement, Groupe de ressources et Compte de stockage. Assurez-vous que le compte de stockage répond aux exigences spécifiées dans la section Conditions préalables. Sélectionnez Suivant.

   Notes

   Dans le cadre de la mise en relation de l’environnement à un lac de données, vous accordez l’accès au service Azure Synapse Link à votre compte de stockage. Veillez à avoir suivi les conditions préalables pour créer et configurer le compte Azure Data Lake Storage et vous accorder un rôle de propriétaire sur le compte de stockage. En outre, vous accordez l’accès du service Power Platform Dataflows à votre compte de stockage. Pour plus d’informations : Préparation de données en libre-service avec des flux de données.

5. Ajoutez les tables à exporter, puis sélectionnez Enregistrer. Seules les tables avec le suivi des modifications est activé peuvent être exportées. Pour plus d’informations : Autoriser le suivi des modifications.

   

Vous pouvez suivre les étapes dans cet article pour créer un lien entre un environnement et plusieurs lacs de données Azure dans votre abonnement Azure. De même, vous pouvez créer un lien entre plusieurs environnements et le même Azure Data Lake, le tout au sein du même locataire.

Gérer les données de table dans le lac de données

Après avoir configuré Azure Synapse Link, vous pouvez gérer les tables exportées de l’une des deux manières suivantes :

• Sur la zone Azure Synapse Link du portail de créateurs Power Apps, sélectionnez Gérer les tables dans la barre de commandes pour ajouter ou supprimer une ou plusieurs tables liées.

• Sur la zone Tables du portail de créateur Power Apps, sélectionnez … en regard d’une table, puis sélectionnez le lac de données lié dans lequel vous souhaitez exporter les données de la table.

  

Surveiller votre service Azure Synapse Link

Après avoir configuré Azure Synapse Link, vous pouvez surveiller Azure Synapse Link sous l’onglet Tables.

• Il y aura une liste de tables qui font partie de la sélection Azure Synapse Link.
• Il y a différentes étapes par lesquelles passe le statut de synchronisation. NotStarted indique que la table attend d’être synchronisée. Une fois la synchronisation initiale de la table Terminée, il existe une étape de post-traitement où les mises à jour incrémentielles ne seront pas effectuées. Cela peut prendre plusieurs heures selon la taille de vos données. Au fur et à mesure que les mises à jour incrémentielles commencent à avoir lieu, la date de la dernière synchronisation sera régulièrement mise à jour.
• La colonne Compter montre le nombre de lignes écrites. Lorsque Ajouter uniquement est paramétré sur Non, il s’agit du nombre total d’enregistrements. Lorsque Ajouter uniquement est paramétré sur Oui, il s’agit du nombre total de modifications.
• Les colonnes Ajouter uniquement et Stratégie de partition montrent l’utilisation de différentes configurations avancées.

Dissocier un Azure Synapse Link

1. Sélectionnez le service Azure Synapse Link souhaité pour la déconnexion.

2. Sélectionnez Dissocier le lac de données depuis la barre de commandes.

3. Pour supprimer les deux systèmes de fichiers du lac de données, sélectionnez Supprimer le système de fichiers du lac de données.

4. Sélectionner Oui, et attendez quelques minutes pour que tout soit dissocié et supprimé.

Relier un service Azure Synapse Link

Si vous avez supprimé le système de fichiers lors de la dissociation, suivez les étapes ci-dessus pour lier à nouveau le même lac de données. Si vous n’avez pas supprimé le système de fichiers lors de la dissociation, vous devez effacer les données à relier :

1. Accédez à Azure Data Lake

2. Supprimer le conteneur Dataverse.

3. Accédez à Power Apps et reliez le lac de données.

Affichez vos données dans Azure Data Lake Storage Gen2

1. Sélectionnez le service Azure Synapse Link souhaité, puis sélectionnez Accéder à Azure Data Lake dans le panneau supérieur.

2. Développez Systèmes de fichiers, puis sélectionnez dataverse-nom de l’environnement-nomUniqueOrganisation.

Le fichier model.json, avec son nom et sa version, fournit une liste des tables qui ont été exportées vers le lac de données. Le fichier model.json inclut également l’état de synchronisation initial et l’heure de fin de synchronisation.

Un dossier contenant des fichiers d’instantanés séparés par des virgules (format CSV) s’affiche pour chaque table exportée vers le lac de données.

Lier un espace de travail Synapse à un profil existant Azure Synapse Link avec le lac de données uniquement

1. Dans la barre d’adresse de votre navigateur Web, ajoutez ?athena.updateLake=true à l’adresse Web qui se termine par exporttodatalake.

2. Sélectionnez un profil existant dans la zone Azure Synapse Link, puis sélectionnez l’option étendue.

3. Sélectionnez Lier à un espace de travail Azure Synapse Analytics et attendez quelques minutes pour que tout soit dissocié et supprimé.

Mises à jour continues des instantanés

Les données Microsoft Dataverse peuvent changer en permanence grâce à des transactions de création, de mise à jour et de suppression. Les instantanés fournissent une copie des données en lecture seule qui est mise à jour à intervalles réguliers, dans le cas présent toutes les heures. Cela garantit qu’à tout moment, un consommateur d’analyse de données peut consommer de manière fiable des données dans le lac.

Lorsque des tables sont ajoutées dans le cadre de l’exportation initiale, les données de la table sont écrites dans les fichiers table.csv sous les dossiers correspondants dans le lac de données. Il s’agit de l’intervalle T1, où un fichier instantané en lecture seule nommé table-T1.csv—par exemple, Account-T1.csv ou Contacts-T1.csv—est créé. En outre, le fichier model.json est mis à jour pour pointer vers ces fichiers d’instantanés. En ouvrant le fichier model.json, vous pouvez afficher les détails de l’instantané.

Voici un exemple de fichier partitionné Account.csv et de dossier d’instantanés dans le lac de données.

Les changements dans Dataverse sont continuellement poussés vers les fichiers CSV correspondants en utilisant le moteur de filage. Il s’agit de l’intervalle T2, où un autre instantané est pris. table-T2.csv—par exemple, Accounts-T2.csv ou Contacts-T2.csv (en supposant qu’il y ait des changements pour la table) —et model.json sont mis à jour avec les nouveaux fichiers de capture instantanée. Toute nouvelle personne qui consulte les données de capture instantanée à partir de T2 est dirigée vers les fichiers de capture instantanée les plus récents. De cette façon, la visionneuse de clichés d’origine peut continuer à fonctionner sur les anciens fichiers de clichés T1 tandis que les visionneuses plus récentes peuvent lire les dernières mises à jour. Ceci est utile dans les scénarios avec des processus en aval plus longs.

Voici un exemple du fichier model.json, qui pointe toujours vers le dernier fichier d’instantané de compte horodaté.

Quelle est la prochaine étape ?

Après avoir utilisé avec succès le service Azure Synapse Link for Dataverse, découvrez comment vous pouvez analyser et consommer vos données avec le Centre de découverte. Pour accéder au Centre de découverte, aller à Power Apps > Azure Synapse Link. Sélectionnez votre service lié, puis sélectionnez l’onglet Hub de découverte. Vous trouverez ici des outils recommandés et une documentation organisée pour vous aider à tirer le meilleur parti de vos données.

Voir aussi

Analyser les données Dataverse dans le lac de données avec Power BI

Ingérer les données Dataverse dans le lac de données avec Azure Data Factory

Configuration avancée de Azure Synapse Link for Dataverse

FAQ Azure Synapse Link