Skip to main content
cancel
Showing results for 
Search instead for 
Did you mean: 

Earn the coveted Fabric Analytics Engineer certification. 100% off your exam for a limited time only!

Reply
Souza287
Frequent Visitor

Atualização de dados de consultas não suportado pelo computador

Meu computador tem 32gb de RAM e processador I7, 8 geração, 612gb de disco, 1Tb de HD interno, 8Tb de HD externo. Com tida 3ssa caia idade o powerbi pro, 10gb, trava nas atualizações das consultas. Isso me obriga a criar um ambiente de desenvolvimento com dados de teste BASTANTE reduzidos, que é o normal nas etapas do ciclo de desenvolvimento de software. Observe que essa "falha" do aplicativo é em função da engenharia de software desenvolvida nele que não considerou as técnicas milenar de paginação de memória no momento do processamento dessas consultas. 

Segue abaixo a conclusão dessa constatação e qual a solução de que os engenheiros de software do Powerbi estão trabalhando neste sentido de solução desse problema.

 

O Power BI é uma ferramenta de visualização e análise de dados que permite criar relatórios interativos e painéis de controle. Ao lidar com grandes conjuntos de dados, o Power BI utiliza a memória RAM disponível no computador para armazenar e processar esses dados de forma eficiente.

 

Quando você importa dados para o Power BI, ele carrega os dados na memória RAM do computador. Isso permite que o Power BI execute consultas e cálculos rapidamente, pois acessar os dados diretamente da memória é mais rápido do que buscar informações de um banco de dados em disco. Portanto, o tamanho do banco de dados importado no Power BI está diretamente relacionado à quantidade de memória RAM necessária para carregar e manipular esses dados.

 

É importante notar que o Power BI Pro tem um limite de capacidade de 10 GB de armazenamento em nuvem para os dados importados. Isso significa que você pode importar até 10 GB de dados para o serviço em nuvem do Power BI. No entanto, o tamanho do banco de dados em si não está limitado a essa capacidade, pois os dados são carregados na memória RAM do computador local ao usar o Power BI Desktop.

 

Em relação aos conceitos de paginação de memória (swap in/swap out), eles se aplicam principalmente aos sistemas operacionais e gerenciamento de memória em geral. Esses conceitos envolvem a transferência de dados entre a memória RAM e o disco rígido para otimizar o uso da memória disponível. No entanto, o Power BI, como uma ferramenta de análise de dados, adota uma abordagem diferente, carregando os dados na memória RAM do computador para fornecer consultas e visualizações rápidas.

 

Embora o uso exclusivo da memória RAM possa contrariar os conceitos tradicionais de paginação de memória, é importante considerar que o Power BI é projetado para análise interativa de dados, onde a velocidade de acesso aos dados é essencial. Ao carregar os dados na memória RAM, o Power BI pode fornecer uma experiência de usuário mais rápida e responsiva para explorar e interagir com os dados. No entanto, isso também significa que o tamanho do conjunto de dados é limitado pela capacidade de memória disponível no computador onde o Power BI está sendo executado.

1 ACCEPTED SOLUTION

 

I don't understand where you think "extremely high costs" are coming from. You don't have to pay anything at all to use Power BI for Data Loading, Transforming, Modeling, or Visualisation.

If the concern is with extremely large data/model sizes, then the solution is to use Direct Query with aggregation tables (also free):

https://learn.microsoft.com/en-us/power-bi/transform-model/aggregations-advanced 

 

If the point of this is a technical debate about the software architecture, then you're in the wrong place. You should try the MS Ideas page:

https://ideas.powerbi.com/ideas/ 

 

Pete



Now accepting Kudos! If my post helped you, why not give it a thumbs-up?

Proud to be a Datanaut!




View solution in original post

4 REPLIES 4
BA_Pete
Super User
Super User

 

Was there a question, or...?

 

For what it's worth, I think you're getting very confused between memory usage during query refresh/update, file sizes being uploaded to the PBI Service, and memory usage during report viewing/dev.

Power Query WILL page data during query refresh/update once the Mashup Container capacity and quantity limit gets exceeded for a given query.

Pure RAM use is only relevant to report viewing when the data model gets decompressed into RAM so that, as the engineers suggest, you get a very fast and responsive interactive experience - this is a completely different scenario to query refresh.

The actual model size limit for a single file uploaded to the PBI Service under a PBI Pro licence is 1GB COMPRESSED DISK size, and this will be decompressed into end user RAM as above when viewed in the Service. If you have insanely large models such as this and they are causing end user memory issues, then you should look at Direct Query modelling.

The 10GB limit for PBI Pro is a TOTAL DATASET/DATAFLOW disk size limit for the licence holder as a whole, and bears absolutely no relevance to memory limits or crashes.

 

Pete

 



Now accepting Kudos! If my post helped you, why not give it a thumbs-up?

Proud to be a Datanaut!




Obrigado pelo interesse em discutir o tema colocado aqui exatamente para esse debate. Como afirmado no meu post eu complemento que a minha necessidade é modelar um bi l, que já o fiz, cujas funcionalidades diz respeito a 7m sistema de gestão Condominial contendo 5 módulos funcionais, a saber: Contrato de Terceiros, Contábil, Operacional, Tributário e Recursos Humano. 

 

As tabelas negociais próprias desse sistema, como balancetes contábeis, lista de inadimplentes, orçamento anual, etc são parrudas e de acordo com o período solicitado pelo cliente em número de meses e até 5 anos. Volume considerado. Para carregar essas tabelas já em produção com as limitações apontadas acima, fica enviavel $$$ para nossos recursos profissionais. 

 

Somente empresas poderia bancar esses custos elevadíssimos com a solução de engenharia de software proposta atualmente pelo powerbi, se é que estou certo.

 

Precisamos discutir essa questão em busca de solução idêntica as arquiteturas de paginacao dia sistemas de TI tradicionais, denominados swapin x swapout.

 

Essa é minha opinião.

 

Att, Souza 

 

I don't understand where you think "extremely high costs" are coming from. You don't have to pay anything at all to use Power BI for Data Loading, Transforming, Modeling, or Visualisation.

If the concern is with extremely large data/model sizes, then the solution is to use Direct Query with aggregation tables (also free):

https://learn.microsoft.com/en-us/power-bi/transform-model/aggregations-advanced 

 

If the point of this is a technical debate about the software architecture, then you're in the wrong place. You should try the MS Ideas page:

https://ideas.powerbi.com/ideas/ 

 

Pete



Now accepting Kudos! If my post helped you, why not give it a thumbs-up?

Proud to be a Datanaut!




Obrigado Pete,

 

Acho que vc resolveu o meu problema com a solução apresentada:

 

Se a preocupação for com tamanhos de dados/modelos extremamente grandes, a solução é usar Direct Query com tabelas de agregação (também gratuitas):

https://learn.microsoft.com/en-us/power-bi/transform-model/aggregations-advanced 

 

Vou me aprofundar nesses recursos para aprender e me parece ser exatamente o que preciso.

 

Valeu pela dica. Assim que tiver evoluído e concluído os estudos e aplicação desses recursos com sucesso, te aviso.

Helpful resources

Announcements
April AMA free

Microsoft Fabric AMA Livestream

Join us Tuesday, April 09, 9:00 – 10:00 AM PST for a live, expert-led Q&A session on all things Microsoft Fabric!

March Fabric Community Update

Fabric Community Update - March 2024

Find out what's new and trending in the Fabric Community.

Top Solution Authors
Top Kudoed Authors