Calculate average by group ignoring certain filter

Hello,   my data looks like the following   Date                 Emloyee      Group        Task         Duration 2020-01-01       A                 1                aa            2 2020-01-01  ...