Hola a todos
Estoy trabajando con una API que es muy delicada y propensa a agotar el tiempo de espera, especialmente cuando se solicitan grandes cantidades de datos. Desafortunadamente, para este caso de uso, tengo que mover alrededor de 10 millones de filas, y la paginación de una solicitud grande no ayuda a acelerar la llamada, lo que aún resulta en tiempos de espera. Para evitar esto, básicamente configuré ~ 10 flujos de datos que actúan en concierto. El flujo de datos 1 realiza una llamada de 1/10 de los datos, luego el flujo de datos 2 hace referencia al flujo de datos 1, realiza una llamada para el siguiente fragmento de datos, lo anexa al flujo de datos al que se hace referencia 1 y así sucesivamente. Lo que he encontrado es que en la actualización del flujo de datos 1, todas las tablas vinculadas en los 10 flujos también se actualizan, sin embargo, la nueva llamada a la API no se actualiza. Todo este proceso parece terriblemente ineficiente. ¿Existe una forma ideal de hacer esto? Pensé en usar PA para actualizar un flujo de datos después de que se complete un desencadenador, pasando por los diez. No quiero combinar los 10 en un solo flujo porque estoy muy seguro de que esto conducirá a tiempos muertos.
¡Gracias!
