17. septembra 1921. godine fudbalski klub “Željezničar” je odigrao prvu zvaničnu utakmicu, i to protiv tada jedne od najpoznatijih fudbalskih ekipa na teritoriju BiH, ekipe “Sašk Napretka”, te većina ovaj datum (17.09.1921.) smatra rođendanom jednog od najboljih fudbalskih klubova u BiH, FK “Željezničar”. Ideju o osnivanju fudbalskog kluba “Željezničar” , mladi željeznički radnik Dimitrije Dimitrijević, koji je rođen i odrastao u centru grada na Mejtašu, u Čekaluši, predložio je već 1920. godine svom kolegi i prijatelju mašinovođi, Ludvigu Lepleu.
Uz Stjepana Katalinića, oni formiraju inicijativni odbor, iz čijeg jezgra nastaje i prva uprava kluba, na čijem čelu se našao diplomirani inžinjer građevinarstva, Austrijanac po rođenju, Mađar po narodnosti, Hinko Tegzeš. U osnivanju svog kluba veliki doprinos dali su svi radnici Željeznica: kupljena je lopta, prva sportska oprema, treniralo se na vojnom vježbalištu Egzecirz, izrađena su i obilježja kluba, a djevojke igrača su na majicama izvezle lokomotivu – prvi grb kluba.
Ipak, tadašnje društveno-političke okolnosti nisu išle na ruku osnivanju radničkog kluba. Uprkos svemu, i te administrativne prepreke su prevladane te je Željezničar nakon višemjesečnog čekanja na molbu za prijem u Podsavez, uz uslov odigravanja dvije utakmice, primljen za punopravnog člana objavom u „Večernjoj pošti“ u ponedjeljak 19. septembra 1921. godine.
Već prva utakmica, odigrana kao uslov za prijem, protiv najjačeg gradskog kluba u to vrijeme – SAŠK-a, bez obzira na negativni rezultat 1:5, nagovjestila je jednu prelijepu sportsku priču. Da ona bude uzbudljiva u samom početku pobrinuo se inicijator osnivanja kluba Dimitrije Dimitrijević, koji je pogotkom na toj utakmici postao igrač koji je postigao prvi zvanični pogodak u historiji kluba. Željezničar postaje punopravni član Fudbalskog podsaveza i uvršten je u Drugi razred zajedno sa ŠK Špartom, ŠK Trojom i ŠK Barkohbabom, gdje se takmiči do sezone 1926/27, kada ulazi u Prvi razred sarajevskog podsaveza i tamo se takmiči sve do II svjetskog rata.
Željezničar je najtrofejniji klub u Bosni i Hercegovini sa ukupno osvojenih 17 trofeja. Šest puta su bili prvaci BiH, a isto toliku puta su osvojili i Kup naše zemlje. Tri puta su osvajali Super kup naše zemlje, a jedanput su bili prvaci Jugoslavije. Prvenstvo Narodne republike BiH osvojili su 1946. godine.