Bij zijn laatste club als speler, FK Viktoria Žižkov, begon hij in 2000 als assistent-trainer. In 2003 werd hij assistent bij het nationale team. Als trainer werd Šilhavý zowel met FC Slovan Liberec (2011) als Slavia Praag (2017) kampioen van Tsjechië en met FK Baumit Jablonec werd hij in 2015 derde. In september 2018 volgde hij Karel Jarolím op als bondscoach van Tsjechië. Met het nationale team plaatste Šilhavý zich voor het Europees kampioenschap voetbal 2020 en voor het Europees kampioenschap voetbal 2024. Daags na de kwalificatie voor het EK 2024 besloot Silhavy om op te stappen als bondscoach van Tsjechië, naar eigen zeggen omdat de druk hem te hoog werd.[1] Op 1 februari 2024 tekende hij voor het bondscoachschap van Oman.