Podrijetlo visokog čaja zapravo je bilo prilično praktično. Prema raznim povijesnim zapisima, pijenje čaja počelo je početkom 19. stoljeća. Navodno, članica dvora kraljice Viktorije, Anna Stanhope, vojvotkinja od Bedforda, nije voljela dugo razdoblje između podnevnog obroka i večere, koja se često jela u sedam ili osam sati navečer. Počela je prakticirati mali obrok između tri i pet sati kako bi ublažila glad i spriječila neraspoloženje.
Anna Stanhope je prvotno promatrala visoki čaj kao tajni ritual u kojem su sluge dobile upute da joj donesu mali obrok vrućeg čaja, sireva, voća i sendviča. Napominjući da su i drugi članovi kraljičinog dvora patili od poslijepodnevne ljutnje, Stanhope im je odao njezinu tajnu. Ubrzo je većina članova dvora kraljice Viktorije sudjelovala u ovom laganom obroku.
Kad je Stanhope otišla s kraljičinog dvora kako bi se vratila u svoj dom u Londonu, navikla je na svoj popodnevni obrok i poželjela ga je podijeliti s drugima. Pozivala je druge žene da večeraju s njom svaki dan, a ideja o visokom čaju zaživjela je. Raširivši se iz visokih plemićkih redova u niže društvene slojeve, lagani obrok u pet sati postao je nešto čemu se treba radovati za sve one koji su si to mogli priuštiti.
Općenito, prvi čajevi su bili jako mali obroci. Lagani, hrskavi kolačići, uz spužvaste kolače, tost, žele i voće bili su među namirnicama po izboru. Obrok je rijetko sadržavao meso ili alkohol, usredotočujući se uglavnom na namirnice koje bi ugasile glad, a da nisu pretjerano zasitne. Kako je visoki čaj stekao popularnost, lagani obrok koji je dolazio s njim postao je nešto poput modne izjave. Oni sa statusom hvalili su se poslužujući razne egzotične čajeve i gurmanska jela.
Radnici nižeg sloja društva nisu si mogli priuštiti takvu ekstravaganciju, osobito nakon pojave industrijske revolucije. Tvornički radnici nisu imali mnogo koristi od delikatnih sendviča s prstima i slatkih poslastica. Time je započela tradicija proširenja punog čaja u puni obrok. Hladno meso, lagane juhe i vino ušli su u veliki čaj, zajedno s gustim kruhom i pitama punjenim mesom. U nižim razredima ta su jela bila zasitna, ali jednostavna. Bogatiji pojedinci iskoristili su ovaj novi trend kako bi stvorili još egzotičnije i razrađenije namaze.
Današnji visoki čajevi često su veliki i zasitni poput punog obroka, povremeno zamjenjujući večeru. Popodnevni čaj, koji se obično poslužuje oko dva sata popodne, zamijenio je visoki čaj kao lagani obrok koji daje energiju. Obje vrste čaja još uvijek su društvene stvari u velikom dijelu Ujedinjenog Kraljevstva i u dijelovima Europe. Žene su prvenstveno one koje prisustvuju, iako formalni čajevi mogu uključivati i neke muškarce.