Wide Power BI Sematic Model

Hi Nai_edodo ,

Thank you for sharing your experience and providing background on your scenario.

Regarding your questions:

1. Column Count Limits in Purview for Power BI Semantic Models:
   As of now, Purview Data Map Scanner does have practical limits on the number of columns it can process in a single scan, especially when dealing with very wide tables or models. In community feedback and documentation, users have reported issues when the total column count exceeds approximately 200 columns, similar to what you described. There have not been any recent official updates indicating that this limit has been raised or removed.

2. Official Documentation:
   There is no explicit Microsoft documentation that states a hard upper limit on column counts for semantic model scans, but limits may arise due to resource constraints or system design. For reference, you can check the following for any updates:

   • Microsoft Purview Data Map documentation
   • Purview Scanner supported sources and limitations

3. Workarounds:

   • Incremental Scanning: If you can logically split your model into smaller parts (e.g., by scanning separate tables or sub-models), you may be able to capture lineage for segments of your model.
   • Sub-datasets or Views: Creating views or exporting metadata for subsets of your model, then registering them separately, can sometimes bypass the column count issue.
   • Incremental Model Processing: If available, try using incremental processing options or custom metadata ingestion scripts to work around the limitation.
   • If none of these are feasible and the model cannot be divided, you may need to raise a support request with Microsoft for further assistance or roadmap clarification.

Summary:
Currently, there is no documented way to scan extremely wide models (e.g., tables with 400+ columns) in a single pass with Purview’s Data Map Scanner, and reducing/dividing the model is the main workaround. If this is not possible in your case, I recommend providing feedback to Microsoft and monitoring the documentation for updates.

If you need more details or step-by-step guidance on workarounds, let me know.
If this helps, please consider giving kudos and marking the post as a solution to help others in the community.

Thank you!