Daiļradi sāka kā simbolists, bet pēc 1912. gadā kopā ar Annu Ahmatovu kļuva par vienu no akmeistu līderiem. 1913. gadā publicēja pirmo dzejoļu krājumu "Akmens" (Камень). 1916. un 1922. gadā tika publicētas citas šī krājuma versijas.
1933. gadā Mandelštams sacerēja satīrisko poēmu, t.s. "Staļina epigrammu" (Мы живем, под собою не чуя страны), tāpēc 1934. gadā tika arestēts, un iesākumā nometināts Permas novadaCerdiņā, bet vēlāk viņam ar sievu Nadeždu tika atļauts apmesties Voroņežā. Tomēr 1938. gadā viņu apcietināja vēlreiz un 1938. gada nogalē viņš mira GULAG nometnē pie Vladivostokas.