Mnogi ljudi povezuju crnu zastavu s dizajnom lubanje i ukrštenih kostiju s gusarima, a mnogi koriste izraz “Jolly Roger” za takvu zastavu. S obzirom na to da gusarska zastava nije strašno vesela i čini se da ne uključuje nikoga po imenu Roger, mnogi se ljudi pitaju kakvo je podrijetlo imena. Kao što je često slučaj s popularnim narodnim izrazima, značenje iza Jolly Rogera pomalo je nejasno i nesigurno, iako je izneseno nekoliko hipoteza za ime.
Pirati već stoljećima plove morima, obično pokušavajući zarobiti brodove s posadom i netaknutim teretom. Mnogi rani pirati zapravo su vodili prilično demokratske brodove, potičući posade zarobljenih brodova da udruže snage i samo zatvarajući one koji su pružali otpor do sljedeće luke. Pirati su koristili zastave kako bi prenijeli svoje namjere drugim brodovima, obično su vijorili lažne boje dok se nisu dovoljno približili da zarobe brod. Jolly Roger je dopremljen kako bi potaknuo brod na predaju.
Pirati su obično vijorili crne zastave, s crvenom zastavom koja je označavala da pirati neće dati ništa protiv otpornicima. Korištenje kostiju na gusarskim zastavama datira barem iz 1600-ih, a možda i ranije. Mnoge kulture povezuju moćnu simboliku s kostima, koje trebaju podsjetiti ljude na njihovu vlastitu smrtnost i propuste. Pirati su koristili brojne varijacije dizajna lubanje i ukrštenih kostiju, a do 1720-ih nekoliko izvještaja govorilo je o gusarskim zastavama kao “Jolly Rogers”.
Jedna teorija iza imena je da je možda riječ o iskvarenju francuskog jolie rougea, što znači “prilično crveno”, u referenci na crvene zastave koje vijore neki pirati. Međutim, povjesničari ne vide mnogo dokaza za korištenje jolie rougea u odnosu na gusarsku zastavu. Neki teoretičari također sugeriraju da bi to mogla biti anglicizacija “Alija Raje”, zloglasnog tamilskog gusara koji je terorizirao mora i vjerojatno je također vijorio crnu zastavu. Obje ove narodne etimologije izvode značenje “Jolly Roger” unatrag, pokušavajući doći do starih pojmova koji su se mogli pretočiti u modernu frazu.
Iako su oba ova objašnjenja šarena, pravo podrijetlo je vjerojatno svjetovnije. U Engleskoj je “Roger” usko povezan s “skitnikom”, a mnogi ljudi đavla nazivaju Starim Rogerom ili kažu da oni nekoga “zavaravaju” kada mu prave probleme. Budući da su pirati povezani s lopovskim ponašanjem, davanje njihove zastave Jolly Roger bi imalo smisla, budući da su skitnici obično posebno veseli kada prave nestašluke, kao što pirati često bivaju.