Podrijetlo fudgea nije jasno, ali povijest fudgea može se pratiti do najmanje 1886. godine. Točno podrijetlo i izumitelj fudgea i dalje su sporni, ali neki stručnjaci vjeruju da je riječ “fudge” prvi put primijenjena na pokvarenu seriju karamela, što je izazvalo uzvik: “Oh fudge!” Većina povjesničara hrane vjeruje da je fudge, kakav danas postoji, američki izum.
Fudge je kristalna slastica. Za razliku od mnogih drugih vrsta slatkiša, kao što su taffy i karamele, koje se odriču kristalizacije, stvaranje kristala je neophodno za stvaranje fudgea. Ovim postupkom nastaje bombon koji je čvrst, ali gladak jer su kristali toliko mali da nemaju okus niti zrnasti. Smjesa za fudge, koja mora sadržavati šećer, maslac i mlijeko, mora biti pravilno pripremljena i ohlađena kako bi se stvorili kristali šećera prave veličine. Ako se postupak ne provede ispravno, kristali će se ili formirati prerano i postati preveliki ili se uopće neće formirati, što će rezultirati slatkišima sličnim karamelu.
Povijest fudgea može prethoditi osnutku SAD-a, a stručnjaci brzo ističu sličnosti između fudgea i tableta, škotske slastice. Tableta se prvi put spominje u The Household Book of Lady Grisell Baillie, koja je napisana između 1692. i 1733. godine. Proces stvaranja tablete počinje na isti način kao i fudge – kuhanjem šećera, mlijeka i maslaca dok ne dostignu fazu meke kuglice na 235 do 240 stupnjeva F (113 do 116 stupnjeva C), u kojem trenutku se smjesa uklanja iz zagrijati i ostaviti da se ohladi. Kristalizacija se događa u tabletama, ali se formiraju veliki kristali, dajući bombonu zrnastu i krhku teksturu koja je prilično različita od meke, glatke teksture fudgea.
Emelyn Battersby Hartridge dokumentira prvu prodaju fudgea, napisavši pismo 1886. u kojem se navodi da je bratić jednog školskog kolege prodao fudge za 40 centi po funti u Baltimoreu. Godine 1888., gospođa Hartridge, koja još uvijek pohađa Vassar College u Poughkeepsieju u New Yorku, napisala je da je napravila čak 30 funti fudgea za Senior aukciju. Fudge se brzo uhvatio u Vassaru i ubrzo su se recepti za slastice počeli pojavljivati na drugim ženskim fakultetima. Koledži Smith i Wellesley prilagodili su takozvani originalni recept u vlastite verzije.
Vassarov recept zahtijevao je bijeli šećer, vrhnje, nezaslađenu čokoladu i maslac. Kreacija Wellesley Collegea samo je neznatno izmijenila originalni recept dodajući marshmallows, koji sprječava da se fudge sruši tijekom hlađenja. Recept Smith Collegea bio je prvi koji je odstupio od originala, dodajući dodatni maslac zajedno sa smeđim i bijelim šećerom, melasom i vanilijom. Svaki od ovih recepata je notorno delikatan. Povijest fudgea zauvijek se promijenila kada je kukuruzni sirup, koji odgađa stvaranje kristala, prvi put korišten za pouzdane recepte.