Ralph prima di diventare un giocatore professionista nella NBA ha militato dal 1979 al 1983 nella squadra dell'università della Virginia. Durante gli anni di college, riuscì ad aggiudicarsi il Naismith Award (per tre volte) e il Wooden Award (due volte).
In virtù delle sue doti atletiche e della sua altezza (circa 2,24 m) Sampson era in grado di competere sia contro i grandi centri, ma anche contro giocatori più piccoli di lui, grazie ad una spiccata agilità. Queste sue caratteristiche gli consentivano di giocare molto bene sia sotto canestro, ma anche al di fuori del pitturato.
Nel 1983 fu scelto dagli Houston Rockets come prima scelta assoluta del draft, e al termine del suo primo anno di NBA si aggiudicò il premio di miglior matricola dell'anno. La stagione successiva si aprì con i migliori auspici in quanto ai Rockets approdò la prima scelta assoluta del draft 1984, Hakeem Olajuwon. Sampson venne spostato nella posizione di ala grande e Hakeem, decisamente più potente sotto canestro, cominciò a giocare come centro. I due insieme formarono le cosiddette Twin Towers.
In carriera ha vinto il trofeo di miglior giocatore dell'All-Star Game del 1985 (in tutto ha partecipato a tre All-Star Game: 1984, 1985, 1986). Nel 1986 i Rockets riuscirono a battere, nella finale della Western Conference, i Los Angeles Lakers di Magic Johnson e fu proprio Sampson a decretare la vittoria dei texani, con un tiro all'indietro allo scadere del tempo[1]. Grazie a quel tiro i Rockets approdarono per la seconda volta nella loro storia alle finali NBA, poi perse contro i Boston Celtics di Larry Bird. Negli anni successivi, non riuscì più, a causa di molteplici infortuni alle ginocchia, ad esprimersi come sapeva e la sua carriera cominciò ad avviarsi verso un inarrestabile declino. Nel 1988 fu infatti ceduto ai Golden State Warriors e dopo soli due anni fu nuovamente scambiato giungendo ai Sacramento Kings. Ai Kings passò altre due stagioni molto travagliate e di conseguenza fu ancora una volta ceduto ai Washington Bullets, dove finì la sua carriera dopo solo dieci partite.