Gruppeteori, sentralt område innen algebraen, omhandler algebraiske strukturer som kalles grupper. En gruppe er definert som en (endelig eller uendelig) mengde G med en binær operasjon (gruppeoperasjonen) på denne mengden som oppfyller visse krav. Gruppeoperasjonen skrives som en multiplikasjon hvor man bruker en stjerne i stedet for multiplikasjonspunkt (a · b = c), fordi det ikke nødvendigvis er vanlig multiplikasjon det dreier seg om, men en generell algebraisk operasjon som kan ha mange ulike tolkninger. Etter som operasjonen må være gitt for at G skal være en gruppe, sier vi at gruppen består av mengden og operasjonen, og skriver gruppen som (G, ·).
En mengde G er en gruppe dersom
1. For alle elementer a, b i mengden er a · b også i mengden, dvs.
2. For alle a, b, c i mengden gjelder (a · b) · c = a· (b · c) (den assosiative lov).
3. Det finnes et enhetselement e i mengden slik at for alle a i mengden gjelder a · e = e · a = a.
4. Hvert element a i mengden har en invers a−1 i mengden slik at a · a−1 = a−1 · a = e.
Dersom disse kravene er oppfylt, sies G å være en gruppe med hensyn på den gitte operasjonen. Dersom i tillegg den kommutative lov a · b = b · a er oppfylt for alle a og b i gruppen, sies gruppen å være abelsk (etter N. H. Abel).
Eksempler på grupper er de hele tall med hensyn på addisjon, og de rasjonale tall ≠ 0 med hensyn på multiplikasjon. Et annet viktig eksempel (også rent historisk) er de symmetriske grupper hvor elementene er permutasjoner. Disse gruppene spiller en viktig rolle i E. Galois' teori for løsning av algebraiske ligninger ved rottegn, som representerer et av de viktigste historiske utgangspunkter for gruppeteorien.
Andre eksempler er Lie-grupper som er et eksempel på kontiunerlige grupper (grupper med uendelig antall elementer). Disse gruppene brukes blant annet, i fysikk hvor de sees på som symmetrier. Generelt kan man si at gruppebegrepet gjennomtrenger hele den moderne matematikk og har betydelige anvendelser også i naturvitenskaper som fysikk og kjemi.