Gruppeteori, sentralt område innen algebraen, omhandler algebraiske strukturer som kalles grupper. En gruppe er definert som en (endelig eller uendelig) mengde G med en binær operasjon (gruppeoperasjonen) på denne mengden som oppfyller visse krav. Gruppeoperasjonen skrives som en multiplikasjon hvor man bruker en stjerne i stedet for multiplikasjonspunkt (a · b = c), fordi det ikke nødvendigvis er vanlig multiplikasjon det dreier seg om, men en generell algebraisk operasjon som kan ha mange ulike tolkninger. Etter som operasjonen må være gitt for at G skal være en gruppe, sier vi at gruppen består av mengden og operasjonen, og skriver gruppen som (G, ·).
En mengde G er en gruppe dersom
1. For alle elementer a, b i mengden er a · b også i mengden, dvs. gruppeteori (inlinegrafikk 1) (bilde)
2. For alle a, b, c i mengden gjelder (a · b) · c = a· (b · c) (den assosiative lov).
3. Det finnes et enhetselement e i mengden slik at for alle a i mengden gjelder a · e = e · a = a.
4. Hvert element a i mengden har en invers a−1 i mengden slik at a · a−1 = a−1 · a = e.
Dersom disse kravene er oppfylt, sies G å være en gruppe med hensyn på den gitte operasjonen. Dersom i tillegg den kommutative lov a · b = b · a er oppfylt for alle a og b i gruppen, sies gruppen å være abelsk (etter N. H. Abel).
Eksempler på grupper er de hele tall med hensyn på addisjon, og de rasjonale tall ≠ 0 med hensyn på multiplikasjon. Et annet viktig eksempel (også rent historisk) er de symmetriske grupper hvor elementene er permutasjoner. Disse gruppene spiller en viktig rolle i E. Galois' teori for løsning av algebraiske ligninger ved rottegn, som representerer et av de viktigste historiske utgangspunkter for gruppeteorien. Generelt kan man si at gruppebegrepet gjennomtrenger hele den moderne matematikk og har betydelige anvendelser også i naturvitenskaper som fysikk og kjemi.