Sarr doorliep de jeugdopleiding van Metz. Hiervoor debuteerde hij op 29 juli 2011 in het eerste, tijdens een wedstrijd in de Ligue 2 uit tegen Tours.[2] Een jaar later maakte hij zijn eerste treffer voor Metz, tegen datzelfde Tours.[3] Het eerste seizoen degradeerde hij uit de Ligue 2, maar het jaar erop promoveerde hij met Metz meteen weer terug vanuit de Championnat National. Sarr promoveerde een jaar later zelfs met de club naar de Ligue 1. Hij maakte op 9 augustus 2014 zijn debuut op het hoogste niveau, in een wedstrijd tegen uit Lille OSC.[4] Metz degradeerde dat seizoen uit de Ligue 1, maar Sarr daalde niet mee af. Sarr speelde uiteindelijk ruim honderd wedstrijden voor Metz.
Hij tekende in juli 2015 bij Olympique Marseille, de Franse nummer vier van het voorgaande seizoen. Het betaalde circa twee miljoen euro voor hem aan Metz.[5] Hij speelde uiteindelijk vijf seizoenen bij Olympique Marseille, waarmee hij in 2018 de UEFA Europa League-finale tegen Atlético Madrid met 0–3 verloor. Uiteindelijk kwam Sarr tot 181 wedstrijden voor Les Blues, waarin hij acht doelpunten maakte.
Op deadline day 2020 trok Bayern München Sarr aan als back-up rechtsback voor landgenoot Benjamin Pavard. Marseille ontving acht miljoen euro van de club uit Beieren.
Frankrijk
Bayern München
Bayern München
· 
· 
·
2 Upamecano ·
3 Kim ·
6 Kimmich ·
7 Gnabry ·
8 Goretzka ·
9 Kane ·
10 Sané ·
11 Coman ·
15 Dier ·
16 Palhinha ·
17 Olise ·
18 Peretz ·
19 Davies ·
20 Ibrahimovic ·
21 Ito ·
22 Guerreiro ·
23 Boey ·
25 Müller ·
26 Ulreich ·
27 Laimer ·
28 Buchmann ·
39 Tel ·
42 Musiala ·
44 Stanišić ·
45 Pavlović ·
Coach: Kompany
· Assistent-coach: Danks