Vermaelen s-a alăturat academiei de tineret al lui Ajax în 2000 și a câștigat titlul Eredivisie 2003–04 în primul său sezon la echipă. A petrecut o perioadă împrumutat la RKC Waalwijk înainte de a reveni la Ajax și de a câștiga Cupa KNVB și Johan Cruyff Shield. După plecarea lui Klaas-Jan Huntelaar în 2009, el a fost numit căpitanul echipei pentru restul sezonului. S-a alăturat lui Arsenal în 2009 și a fost inclus în Echipa Anului PFA din Premier League pentru acel sezon. După transferul lui Robin van Persie la Manchester United în august 2012, a fost numit căpitanul echipei, dar oportunitățile în primul unsprezece au fost limitate din cauza succesului noului duo defensiv al lui Arsenal, Per Mertesacker și Laurent Koscielny. În august 2014, a finalizat un transfer de 15 milioane de lire sterline la Barcelona în La Liga. În 2019, s-a alăturat lui Vissel Kobe înainte de a se retrage din fotbal în 2021.