Criar um Azure Synapse Link for Dataverse com o Azure Data Lake

Você pode usar o Azure Synapse Link para conectar seus dados do Microsoft Dataverse ao Azure Data Lake Storage Gen2 para habilitar vários cenários analíticos. Este artigo mostra como realizar as seguintes tarefas:

1. Conecte seus dados do Dataverse à sua conta do Azure Data Lake Storage Gen2 com o serviço Azure Synapse Link.
2. Gerenciar tabelas do Dataverse incluídas no Azure Synapse Link.
3. Monitore seu Azure Synapse Link.
4. Desvincular seu Azure Synapse Link.
5. Vincule novamente seu Azure Synapse Link.
6. Visualize seus dados no Azure Data Lake e entenda a estrutura de arquivos.

Pré-requisitos

• Azure Data Lake Storage Gen2: você deve ter uma conta do Azure Data Lake Storage Gen2 e o acesso de funções Proprietário e Colaborador de Dados do Blob de Armazenamento. Sua conta de armazenamento deve habilitar namespace hierárquico para a configuração inicial e a sincronização delta. Permitir acesso à chave da conta de armazenamento é obrigatório apenas para a configuração inicial.

Conectar seu Dataverse ao Azure Data Lake Storage Gen2

1. Entre no Power Apps e selecione seu ambiente preferido.

2. No painel de navegação à esquerda, selecione Azure Synapse Link. Se o Azure Synapse Link não estiver visível no painel lateral, selecione ... Mais e selecione Descobrir tudo. O Azure Synapse Link está na seção Gerenciamento de Dados.

3. Na barra de comandos, selecione + Novo link para o data lake.

4. Selecione a Assinatura, o Grupo de recursos e a Conta de armazenamento. Verifique se a conta de armazenamento atende aos requisitos especificados na seção Pré-requisitos. Selecione Avançar

   Observação

   Como parte da vinculação do ambiente a um data lake, você concede ao serviço do Azure Synapse Link acesso à sua conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.

5. Adicione as tabelas que deseja exportar e selecione Salvar. Somente as tabelas com controle de alterações habilitado podem ser exportadas. Mais informações: Habilitar o controle de alterações.

   

Você pode seguir as etapas neste artigo para criar um link de um ambiente para vários Azure Data Lakes em sua assinatura do Azure. Da mesma forma, você pode criar um link de vários ambientes para o mesmo Azure Data Lake, tudo no mesmo locatário.

Gerenciar dados da tabela para o data lake

Depois de configurar o Azure Synapse Link, você pode gerenciar as tabelas que são exportadas de duas maneiras:

• No Maker Portal do Power Apps, na área Azure Synapse Link, selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.

• Na área Tabelas do Maker Portal do Power Apps, selecione … ao lado de uma tabela e selecione o data lake vinculado para o qual deseja exportar os dados da tabela.

  

Monitorar seu Azure Synapse Link

Depois que configurar o Azure Synapse Link, você poderá monitorar o Azure Synapse Link na guia Tabelas.

• Haverá uma lista de tabelas que fazem parte do Azure Synapse Link selecionado.
• Há diferentes estágios pelos quais o status de sincronização circula. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela for Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho dos dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
• A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
• As colunas Somente acrescentar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desvincular um Azure Synapse Link

1. Selecione o Azure Synapse Link desejado para desvincular.

2. Selecione Desvincular data lake na barra de comandos.

3. Para excluir o data lake e o sistema de arquivos, selecione Excluir sistema de arquivos do data lake.

4. Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Vincular novamente a um Azure Synapse Link

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o mesmo data lake. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para revincular:

1. Acesse o Azure Data Lake.

2. Exclua o contêiner do Dataverse.

3. Acesse o Power Apps e vincule novamente o data lake.

Visualize seus dados no Azure Data Lake Storage Gen2

1. Selecione o Azure Synapse Link desejado e, em seguida, selecione Acessar o Azure Data Lake no painel superior.

2. Expanda Sistemas de Arquivos e, em seguida, selecione dataverse-environmentName-organizationUniqueName.

O arquivo model.json, junto com seu nome e versão, fornece uma lista de tabelas que foram exportadas para o data lake. O arquivo model.json também inclui o status inicial da sincronização e o horário de conclusão da sincronização.

Uma pasta que inclui arquivos delimitados por vírgulas (formato CSV) de instantâneo é exibida para cada tabela exportada para o data lake.

Vincular um espaço de trabalho do Synapse a um perfil do Azure Synapse Link existente somente com data lake

1. Na barra de endereços do seu navegador da Web, acrescente ?athena.updateLake=true ao endereço Web que termina com exporttodatalake.

2. Selecione um perfil existente na área Azure Synapse Link e, em seguida, selecione a opção estendida.

3. Selecione Link para Espaço de Trabalho do Azure Synapse Analytics aguarde alguns minutos para que tudo seja vinculado.

Atualizações contínuas de instantâneos

Os dados do Microsoft Dataverse podem ser alterados continuamente por meio de transações de criação, atualização e exclusão. Os instantâneos fornecem uma cópia somente leitura dos dados que são atualizados em intervalos regulares, neste caso a cada hora. Isso garante que, a qualquer momento, um consumidor de análise de dados possa consumir dados de forma confiável no data lake.

Quando as tabelas são adicionadas como parte da exportação inicial, os dados da tabela são gravados nos arquivos table.csv nas pastas correspondentes no data lake. Esse é o intervalo T1, em que um arquivo somente leitura de instantâneo chamado tabela-T1.csv — por exemplo, Conta-T1.csv ou Contatos-T1.csv — é criado. Além disso, o arquivo model.json é atualizado para apontar para os arquivos desse instantâneo. Abrindo o model.json, você pode exibir os detalhes do instantâneo.

Veja a seguir um exemplo de arquivo particionado Account.csv e pasta de instantâneo no data lake.

As alterações no Dataverse são continuamente enviadas para os arquivos csv correspondentes usando o mecanismo de alimentação de fluxo. Esse é o intervalo T2, onde outro instantâneo é obtido. tabela-T2.csv — por exemplo, Contas-T2.csv ou Contatos-T2.csv (supondo que haja alterações para a tabela) — e model.json são atualizados para os novos arquivos de instantâneo. Qualquer outra pessoa que exibir os dados de instantâneo do T2 em diante é direcionada aos arquivos de instantâneo mais recentes. Dessa forma, o visualizador do instantâneo original pode continuar trabalhando nos arquivos T1 do instantâneo mais antigos, enquanto os visualizadores mais novos podem ler as atualizações mais recentes. Isso é útil em cenários com processos de downstream demorados.

Veja a seguir um exemplo do arquivo model.json, que sempre aponta para o arquivo de instantâneo mais recente da conta marcado.

O que vem a seguir?

Depois de usar o serviço do Azure Synapse Link for Dataverse com êxito, descubra como você pode analisar e consumir seus dados com o Hub de Descobertas. Para acessar o Hub de Descobertas, vá para Power Apps > Azure Synapse Link. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados.

Consulte também

Analisar dados do Dataverse no data lake com o Power BI

Ingerir dados do Dataverse no data lake com o Azure Data Factory

Configuração Avançada do Azure Synapse Link for Dataverse

Perguntas frequentes do Azure Synapse Link