Comparar y reemplazar en masa los valores basados en dos tablas diferentes (errores de texto, errores tipográficos, nomenclaturas)

[Syndicate_Admin]

Hola

Tengo una tabla con varias columnas y en una columna (no tiene formato de tabla) tengo más de 62000 filas. esta columna llamada Resource_column está llena de errores, errores tipográficos, nomenclaturas, etc. También tengo otra columna llamada Reference_Column que tiene formato de tabla. Tengo que comparar mi Resource_column con Reference_column y reemplazar todos los errores por otros buenos basados en el Resource_column. He puesto el enlace al archivo aquí:

https://docs.google.com/spreadsheets/d/1RT9d8tJjvM_c23y54Yg3ASj9svxOut5Z/edit?usp=sharing&ouid=10542...

y agregó una captura de pantalla para mostrar la diferencia:

Aviso: las filas en blanco en el Resource_Column no deben llenarse al final de la sustitución.

¡Gracias de antemano!

Editar: Realmente aprecio su apoyo, ya que parece un tema bastante complicado. El principal problema es que estoy buscando una manera de no entrar en el callejón Bulk Find and Replace ya que tengo muchos valores que arreglar (no es posible hacer una columna de búsqueda completa y usarla con replace)

@Greg_Deckler , @amitchandak , @parry2k , @jdbuchanan71 , @ryan_mayu , @MFelix , @selimovd

[Syndicate_Admin]

Hola @bestmbaman,

De acuerdo con su descripción, creo que su requisito debería ser más adecuado para usar el entrenamiento de IA del análisis de texto en lugar de power query / Dax.

Para este escenario, me gustaría sugerir su o realizar el procesamiento de datos en los datos de origen fuera del lado de power bi o intentar usar un conector web para invocar la API externa de análisis de IA.

Saludos
Xiaoxin Sheng

[Syndicate_Admin]

¡Gracias por la respuesta!

¿Sugeriría la mejor API o aplicación / software de IA para aprovechar, ya que este no es un trabajo recurrente, sino un informe ad hoc?

bestmbaman

[Syndicate_Admin]

Hay @bestmbaman,

Si no está familiarizado con estas partes, me gustaría sugerirle que utilice la API de terceros (por ejemplo, el socio de MS que proporciona el servicio de análisis de texto) para estos tipos de servicios de análisis de texto de IA.
Luego, solo necesita usar registros sin procesar para invocar la API para obtener los resultados fijos sin complejos pasos de capacitación y aprendizaje.

Saludos

Xiaoxin Sheng

[Syndicate_Admin]

@bestmbaman Primero probaría la coincidencia difusa en las consultas de combinación. Si eso falla, puede ver mi algoritmo de coincidencia DIFusa DAX muy flexible y sintonizable aquí: Fuzzy - Microsoft Power BI Community

[Syndicate_Admin]

@Greg_Deckler ¡Gracias Greg!

por otros Datos, ¿a qué te refieres exactamente? Ya compartí una tabla de referencia (con una sola columna) que contiene todos los nombres correctos. El desafío es cómo puedo calcular múltiples tipos de errores y, al mismo tiempo, cómo hacer coincidir dos columnas diferentes con un número diferente de filas.

Suponiendo que calculé los errores y los arreglé, ¿cómo puedo reemplazar los buenos valores en una columna con 406 filas a una columna con +62000 filas?

Después de todo, ¿qué lenguaje de programación que no sea DAX se puede usar aquí si DAX se queda corto aquí?

Por favor, no archive esta pregunta y deje que otros prueben su opinión, creo que este desafío que proviene del negocio del mundo real no es solo mío.

Caro:

@amitchandak , @parry2k , @jdbuchanan71 , @ryan_mayu , @MFelix , @selimovd

El verdadero reto está aquí, agradecería amablemente su opinión

Muchas gracias @Greg_Deckler, @lbendlin

[Syndicate_Admin]

@bestmbaman Con los datos quiero decir que no quiero tener que escribir todos sus datos desde una captura de pantalla, sino simplemente copiarlos y pegarlos. En teoría, tiene acceso a Power Query y podría usarlo para resolver este problema, en particular las opciones de coincidencia difusa al realizar una consulta de combinación. Fuera de eso, también podría hacer esto en R o Python dentro de Power Query también. Pero, una vez que llegas al escritorio en sí, entonces sí, es DAX en su mayor parte. Y, por lo tanto, podría usar mi algoritmo de coincidencia DAX Fuzzy muy flexible y sintonizable aquí: Fuzzy - Microsoft Power BI Community.

[Syndicate_Admin]

Creo que tienes problemas más grandes que eso. ¿Cómo se supone que el script puede saber si es un error tipográfico o un error? ¿Qué algoritmo de similitud planeas emplear? ¿Soundex? Levenshtein ? ¿algún otro?

Similitud de cadenas: ¡la guía básica de conozca sus algoritmos! | por Mohit Mayank | ITNEXT

[Syndicate_Admin]

Gracias @lbendlin ,

¡Estoy totalmente confundido con este desafío!

En este caso, ¿cuál es la mejor solución que se te ocurre?

¡También tenga en cuenta que esto es solo una muestra del conjunto de datos reales manipulados y transformados solo para que esta comunidad muestre el problema real y busque una solución!

Esperamos saber de usted

Gracias

También llamando a todos los grandes héroes:

@Greg_Deckler , @amitchandak , @parry2k , @jdbuchanan71 , @ryan_mayu , @MFelix , @selimovd

[Syndicate_Admin]

No hay magia en esto: usted y su solicitante deben ponerse de acuerdo sobre qué algoritmo usar y cuáles deberían ser los límites. Cuanto más cortas sean las palabras, más arriesgados/inútiles serán los algoritmos.