Poput većeg velikog mozga, mali mozak ima dvije hemisfere. Hemisfere malog mozga nalaze se s obje strane malog područja zvanog vermis koji razdvaja dvije hemisfere po sredini. Svaka od hemisfera malog mozga dalje je podijeljena na pet režnjeva. Duboki nabori u malom mozgu odvajaju deset režnjeva. Smješten u donjem stražnjem dijelu mozga, mali mozak se nalazi ispod velikog mozga i iza mosta.
S vanjske strane, hemisfere malog mozga razlikuju se uskim, paralelnim naborima. Ovo se razlikuje od velikog mozga koji ima velike površinske nabore koji izgledaju zavijeno. Kora malog mozga je zapravo jedan kontinuirani sloj moždanog tkiva čvrsto presavijenog na sebe. Iako hemisfere malog mozga predstavljaju samo deset posto volumena mozga, one sadrže više neurona od ostatka mozga. To je moguće zbog čvrsto presavijene prirode malog mozga.
Duboke jezgre nalaze se duboko unutar svake hemisfere malog mozga. Svi odlazni signali šalju se kroz te jezgre. Kora hemisfera malog mozga procjenjuje dolazne poruke koje prenose senzorne i druge podatke iz velikog mozga. Fino podešavanje pokreta koordinira ovaj dio mozga dok se primaju senzorne poruke i šalju signali mišićima. Oštećenje malog mozga uzrokuje nedostatak koordinacije i vremena pokreta, te druge probleme, uključujući probleme s govorom.
Funkcionalno, mali mozak je podijeljen u tri dijela. Pontocerebelum se sastoji od većeg dijela korteksa malog mozga. Oštećenje ovog dijela malog mozga obično se očituje kao nedostatak koordinacije na istoj strani tijela kao i oštećenje. Ozljedu ili bolest vestibulocerebeluma karakteriziraju vrtoglavica i nekoordinirani hod. Ako je spinocerebelum oštećen alkoholom, ozljedom ili bolešću, hod postaje zaprepašćujući i držanje je pogođeno.
Nekoliko poremećaja utječe na mali mozak. Spinocerebelarna ataksija je degenerativno genetsko stanje koje karakterizira progresivni gubitak koordinacije. Poznato je više od deset različitih tipova spinocerebelarne ataksije, ovisno o specifičnoj mutaciji gena. Istraživanja su otkrila vezu između autizma i smanjenja veličine hemisfere malog mozga. Moždani udari i ozljede mozga također utječu na funkcioniranje malog mozga i rezultiraju nedostatkom kontrole pokreta.