Tworzenie wystąpienia usługi Azure Synapse Link for Dataverse za pomocą usługi Azure Data Lake

Artykuł
05/15/2024

Możesz użyć Azure Synapse Link, aby połączyć swoje dane Microsoft Dataverse z Azure Data Lake Storage Gen2, aby umożliwić różne scenariusze analityczne. W tym artykule opisano, jak wykonać następujące zadania:

Połącz dane Dataverse z kontem Azure Data Lake Storage Gen2 z usługą Azure Synapse Link.
Zarządzaj Dataverse tabelami w Azure Synapse Link.
Monitorowanie systemu Azure Synapse Link.
Odłączanie Azure Synapse Link.
Należy ponownie podłączyć Azure Synapse Link.
Wyświetlanie danych w Azure Data Lake i zrozumienie struktury plików.

Uwaga

Azure Synapse Link for Dataverse, wcześniej znane jako Eksportowanie do data lake. Nazwa usługi została zmieniona w maja 2021 r. i nadal będzie eksportować dane do Azure Data Lake oraz Azure Synapse Analytics.

Wymagania wstępne

Azure Data Lake Storage Gen 2: trzeba mieć konto Azure Data Lake Storage Gen 2 oraz dostęp do ról Właściciel i Współautor Storage Blob Data. Konto magazynu musi umożliwiać Hierarchiczną przestrzeń nazw zarówno dla początkowej konfiguracji, jak i synchronizacji. Zezwalanie na dostęp do klucza konta magazynu jest wymagane tylko w przypadku początkowej konfiguracji.

Uwaga

Konto magazynu musi zostać utworzone w tej samej dzierżawie Microsoft Entra, co Twoja dzierżawa Power Apps.
Aby ustawić Włączone z wybranych sieci wirtualnych i adresów IP dla połączonego konta magazynu w celu udzielenia dostępu z wybranych adresów IP, należy utworzyć Azure Synapse Link z tożsamościami zarządzanymi.Użyj tożsamości zarządzanych dla platformy Azure z magazynem Azure Data Lake (bez skonfigurowanych tożsamości zarządzanych należy włączyć dostęp do sieci publicznej dla zasobów platformy Azure zarówno dla początkowej konfiguracji, jak i synchronizacji delta).
Użytkownik musi mieć rolę dostępu Czytelnik do grupy zasobów przy użyciu konta magazynu.
Aby połączyć środowisko do Azure Data Lake Storage Gen2, należy posiadać rolę administratora zabezpieczeń Dataverse.
Tylko tabele, które mają włączone śledzenie zmian mogą być dodawane.
Tworzenie profili Azure Synapse Link w ramach jednego środowiska Dataverse jest ograniczone do maksymalnie 10.

Połącz Dataverse z Azure Data Lake Storage Gen2

Zaloguj się do Power Apps i wybierz preferowane środowisko.
W lewym okienku nawigacji wybierz Azure Synapse Link. Jeśli Azure Synapse Link nie jest widoczny w panelu bocznym, wybierz ...Więcej i wybierz Odkryj wszystko. Azure Synapse Link znajduje się w sekcji Zarządzanie danymi.
Z paska poleceń wybierz + Nowe łącze do data lake.
Wybierz Subskrypcja, Grupa zasobów i Konto pamięci. Upewnij się, że konto magazynu spełnia wymagania określone w sekcji Wymagania wstępne. Wybierz Dalej.

Uwaga

W ramach łączenia środowiska z data lake, przyznajesz Azure Synapse Link dostęp do swojego konta magazynowego. Należy się upewnić, że zostały wykonane wymagania wstępne dotyczące tworzenia i konfigurowania konta Azure Data Lake Storage oraz udzielono sobie roli właściciela na koncie magazynu. Ponadto udzielony jest dostęp do usługi Przepływów danych Power Platform do konta magazynu. Więcej informacjiL Samoobsługowe przygotowanie danych za pomocą przepływu danych.
Dodaj tabele do wyeksportowania, a następnie wybierz opcję Zapisz. Tylko tabele, które mają włączone śledzenie zmian mogą być dodawane. Więcej informacji: Włączanie śledzenia zmian.

Możesz wykonać kroki opisane w tym artykule, aby utworzyć link z jednego środowiska do wielu jezior danych Azure w subskrypcji Azure. Podobnie może zostać utworzone łącze z wielu środowisk do tego samego Azure Data Lake, którewszystko w tej samej dzierżawie.

Uwaga

Usługa Azure Synapse Link for Dataverse jest płynnie zintegrowana z platformą Power Platform jako gotowa do użycia funkcja. Spełnia standardy bezpieczeństwa i zarządzania określone dla przechowywania danych i zarządzania Power Platform. Więcej informacji: Przechowywanie danych i nadzór nad nimi

Dane eksportowane przez usługę Azure Synapse Link są szyfrowane przy użyciu technologii Transport Layer Security(TLS) 1.2 Azure Data Lake Storage lub większej i szyfrowane podczas przechowywania w usłudze Gen2. Ponadto dane przejściowe w magazynie obiektów BLOB są również szyfrowane w spoczynku. Szyfrowanie w programie Azure Data Lake Storage Gen2 ułatwia ochronę danych, implementuje politykę zabezpieczeń firmy i spełnia wymagania dotyczące zgodności z przepisami. Więcej informacji: usługa Azure Data Encryption – w spoczynku

Zarządzanie danymi tabeli do programu data lake

Po skonfigurowaniu tabeli można zarządzać eksportowaną tabelą Azure Synapse Link na jeden z dwóch sposobów:

W obszarze Azure Synapse Link na portalu twórców Power Apps wybierz pozycję Zarządzaj tabelami na pasku poleceń, aby dodać jedną lub więcej połączonych tabel lub usunąć je.
W obszarze Power Apps tabele w portalu twórców, wybierz obszar Tabele i wybierz opcję ... obok tabeli, a następnie wybrać połączone data lake, w którym chcesz wyeksportować dane tabeli.

Monitorowanie systemu Azure Synapse Link

Po skonfigurowaniu Azure Synapse Link można monitorować Azure Synapse Link w zakładce Tabele.

Monitorowanie Azure Synapse Link

Pojawi się lista tabel, które są częścią wybranej Azure Synapse Link.
Istnieją różne etapy, przez które przechodzi stan synchronizacji. NotStarted wskazuje, że tabela oczekuje na zsynchronizowanie. Po wstępnej synchronizacji tabeli Zakończone, nastąpi etap przetwarzania końcowego, na którym nie będą przeprowadzane aktualizacje przyrostowe. Może to potrwać kilka godzin w zależności od rozmiaru danych. Po rozpoczęciu aktualizacji przyrostowych data ostatniej synchronizacji będzie regularnie aktualizowana.
Kolumna Liczba zawiera zapisane wiersze liczbowe. Gdy tylko dołączanie jest ustawiona na Nie, jest to łączna liczba rekordów. Gdy tylko dołączanie jest ustawiona na Tak, jest to łączna liczba zmian.
Kolumny Dołącz tylko i Strategia partycji pokazują użycie różnic w zaawansowanych konfiguracjach.

Odłączenie Azure Synapse Link

Wybierz żądane łącze Azure Synapse Link, aby odłączyć.
Wybierz Rozłącz dane z paska poleceń.
Aby usunąć zarówno system plików Data Lake Usuń system plików Data Lake.
Wybierz opcję Tak i poczekaj kilka minut, aby wszystkie elementy zostały odłączone i usunięte.

Ponowne łączenie łącza Azure Synapse Link

Jeśli usunąłeś system plików podczas odłączania, wykonaj powyższe kroki, aby ponownie połączyć ten sam data lake. Jeśli nie usunięto systemu plików podczas odłączania, musisz wyczyścić dane, aby ponownie połączyć:

Przejdź do usługi Azure Data Lake.
Usuń kontener Dataverse.
Przejdź do usługi Power Apps i ponownie połącz data lake.

Wyświetl dane w Azure Data Lake Storage Gen2

Wybierz żądane łącze Azure Synapse Link, a następnie wybierz Przejdź do Azure Data Lake z górnego panelu.
Rozwiń Systemy plików, a następnie wybierz opcję dataverse-environmentName-organizationUniqueName.

Plik model.json wraz z jego nazwą i wersją zawiera listę tabel wyeksportowanych do data lake. Plik model.json zawiera także wstępny stan synchronizacji i godzinę ukończenia synchronizacji.

Folder zawierający pliki rozdzielane przecinkami (CSV) jest wyświetlany dla każdej tabeli wyeksportowanej do data lake. Tabela danych w data lake.

Połączenie obszaru roboczego Synapse z istniejącym profilem Azure Synapse Link wyłącznie za pomocą usługi Data Lake

Na pasku adresów przeglądarek sieci Web dołącz ?athena.updateLake=true do adresu sieci Web, który kończy się exporttodatalake.
Wybierz istniejący profil z obszaru Azure Synapse Link, a następnie wybierz opcję rozszerzoną.
Wybierz opcję Łącze do obszaru roboczego Azure Synapse Analytics i poczekaj kilka minut, aby wszystkie elementy zostały odłączone i usunięte.

Ciągłe aktualizacje migawek

Dane Microsoft Dataverse mogą ciągle ulegać zmianom za pośrednictwem operacji tworzenia, aktualizowania i usuwania. Migawki zapewniają kopię tylko do odczytu danych, które są aktualizowane w regularnych odstępach czasu, czyli w tym przypadku co godzinę. Pozwoli to zagwarantować, że w dowolnym momencie klient analizy danych może korzystać z danych w repozytorium typu lake.

Ciągłe aktualizacje migawek.

Kiedy tabele są dodawane jako część początkowego eksportu, dane tabeli są zapisywane w plikach CSV w programie w odpowiednich folderach data lake. Jest to interwał T1, w którym utworzono migawkę pliku tylko do odczytu o nazwie table-T1.csv—np. Account-T1.csv or Contacts-T1.csv—. Ponadto plik model.json jest aktualizowany w taki sposób, aby wskazywał na te pliki migawek. Otwierając model.json, można wyświetlić szczegóły migawki.

Oto przykład pliku podzielonego Account.csv i folderu migawki w repozytorium typu data lake.

Migawka tabeli Klienci.

Zmiany w Dataverse są w sposób ciągły wypychane do odpowiednich plików CSV przy użyciu aparatu strumieniowego źródła. Jest to interwał T2, w którym jest pobierana kolejna migawka. table-T2.csv— na przykład Accounts-T2.csv lub Contacts-T2.csv (przy założeniu, że istnieją zmiany w tabeli) —i model.json są aktualizowane w nowych plikach migawek. Każda nowa osoba, która przegląda dane migawki począwszy od T2, jest kierowana do nowszych plików migawek. W ten sposób oryginalna Przeglądarka migawek może kontynuować pracę na starszych plikach migawek T1, podczas gdy nowsi widzowie mogą odczytywać najnowsze aktualizacje. Jest to przydatne w scenariuszach z długim działaniem procesów podrzędnych.

Uwaga

Nowy plik migawki jest tworzony tylko wtedy, gdy dostępna jest aktualizacja danych. Zostanie zachowane tylko pięć najnowszych plików migawki. Dane w zastoju zostaną automatycznie usunięte z konta Azure Data Lake Storage Gen 2.

Oto przykład pliku model.json, który zawsze wskazuje najnowszy plik migawki konta z sygnaturami czasowymi.

Przykładowy plik model.json migawki.

Co dalej?

Po udanym użyciu usługi Azure Synapse Link for Dataverse odkryj, jak możesz analizować i konsumować swoje dane za pomocą Centrum wykrywania. Aby uzyskać dostęp do Centrum wykrywania, przejdź do Power Apps > Azure Synapse Link. Wybierz przyłączoną usługę i wybierz kartę Centrum odkrywania . W tym miejscu można znaleźć polecane narzędzia i dokumentację pod opieką ułatwiającą uzyskanie najszerszej wartości danych. Centrum odkrywania.