Fondato nel 1886 come Argyle Football Club, sciolto nel 1894, venne rifondato nel 1897 e l'anno successivo diventò una sezione dell'Argyle Athletic Club. L'appellativo "The Pilgrims" affibbiato al club deriva dal gruppo religioso britannico che nel 1620 lasciò Plymouth alla volta del Nuovo Mondo; difatti lo stemma della squadra riporta l'immagine di un'imbarcazione, il Mayflower, che condusse i padri pellegrini negli odierni Stati Uniti d'America. La città di Plymouth è la più grande in Inghilterra a non aver mai avuto una squadra che abbia disputato il massimo campionato di calcio inglese, primato condiviso con l'Hull City fino al 2008, anno in cui i Tigers conquistarono la loro prima storica promozione in Premier League.
Il Plymouth Argyle divenne una squadra professionistica nel 1903 entrando a far parte della Southern League (vinta nel 1913), passando alla Football League nel 1920, subito dopo la prima guerra mondiale. Diventando uno dei fondatori della Third Division, detiene il sorprendente record di sei secondi posti consecutivi fra il 1922 e il 1927, senza mai centrare la promozione.
Seguirono alla striscia record un terzo e un quarto posto fino alla tanto sospirata promozione in Second Division nel 1930. Per tutti gli anni trenta rimase in Second Division, con un buon quarto posto nel 1932. Durante la seconda guerra mondiale lo stadio dell'Home Park venne distrutto dai bombardamenti tedeschi.
Retrocesso nel 1950, vinse due anni dopo il campionato di Third Division tornando a giocare per altre quattro stagioni in Second Division, sfiorando nel 1953 la clamorosa doppia promozione con un quarto posto.
Nel 1959 vinsero per la loro terza volta il campionato di Third Division, il primo dopo l'unificazione, grazie anche ai gol di Wilf Carter, uno dei più prolifici attaccanti della storia del club, secondo solo a Sammy Black (185 gol fra il 1924 ed il 1938).
Dopo l'illusione del quinto posto nel 1962, vi fu un'altra retrocessione nel 1968 e per vent'anni la squadra rimase in Third Division, tranne la breve permanenza in Second nel biennio 1975-1977restarono in Second Division nel 1992, che a causa della riforma del campionato inglese, diventava di fatto la terza serie.
Il punto più basso della storia del club è stato toccato a cavallo fra XX e XXI secolo: la prima retrocessione in quarta serie risale al 1995, seguita subito da una promozione e quindi di nuovo in quarta serie fra il 1998 e il 2002.
Il tifoso più celebre dei "Pilgrims" fu probabilmente Michael Foot esponente di spicco del Partito Laburista e ministro del lavoro negli anni settanta. Nel 2003, in occasione del novantesimo compleanno dell'ex leader, la società decise di registrare Foot come giocatore assegnandogli la maglia numero 90.
Foot non scese mai in campo ma venne inserito nella rosa ed ebbe la propria scheda nel sito ufficiale della squadra[1].
Nel 2004 la squadra è stata di nuovo promossa alla seconda divisione inglese, ora denominata Football League Championship, dalla quale retrocede al termine della stagione 2009-10.
Nella stagione successiva, il club si è trovato in gravi situazioni economiche e per questo non è riuscito ad allestire un organico in grado da competere per i primi posti della Football League One, ma la stagione 2010-11 è terminata con una deludente retrocessione in Football League Two, la quarta serie del calcio inglese. All'inizio fatica ma, dopo l'esonero di Peter Reid e la presa di allenatore del centrocampista Carl Fletcher alla decima giornata, il Plymouth vince in casa 2 a 0 sul Macclesfield, iniziando così la dura salita per la salvezza. Le giornate successive dimostrano un netto miglioramento della squadra di Fletcher che raccoglie punti per la salvezza e vede l'avvento di un nuovo proprietario, James Brent, pronto a salvare i Pilgrims dal fallimento e a rilanciarli nella Lega.
A tal proposito Plymouth e Portsmouth danno vita al cosiddetto Dockyard Derby[2]., ovverosia "Derby del Cantiere", in quanto entrambe le cittadine ospitano dei cantieri navali; nello specifico Portsmouth è sede del BAE Systems Maritime - Naval Ships, mentre Plymouth del Devonport Dockyard.