Основан в 1923 году под названием КОР («Клуб имени Октябрьской революции»), в 1931 переименован в «Казанку» и окончательно переименован в «Локомотив» в 1936 году. Первым трофеем команды стал первый Кубок СССР в 1936 году. Во второй половине 1950-х годов у «Локомотива» был самый сильный состав за весь советский период, команда стала во второй раз победителем Кубка СССР в 1957 году, а в 1959 году были завоёваны серебряные медали первенства Советского Союза. Нападающий «Локомотива» Валентин Бубукин в составе сборной СССР стал победилем первого розыгрыша Кубка Европы в качестве одного из ключевых игроков основного состава. Однако, с началом 1960-х годов результаты клуба снизились, в основном за счёт смены поколений и покупок ключевых игроков более сильными командами.

В 1970-80-е годы за команду выступало много талантливых футболистов, ставших впоследствии тренерами (Юрий Сёмин, Валерий Газзаев, Гиви Нодия, Валентин Петраков и другие)

С приходом на место главного тренера Юрия Сёмина в 1986 году результаты Локомотива стали заметно улучшаться — после 7 лет подряд, проведённых в 1 Лиге, в 1988 году клуб вернулся в элиту советских чемпионатов, а в 1990 году дошёл до финала Кубка СССР, где, правда, уступил намного более сильному в те времена сопернику — киевскому Динамо.

С развалом союзных первенств и переходом на рыночные отношения в хозяйствовании «Локомотив» прочно укрепился в элите отечественного футбола. Немаловажную роль в этом сыграла стабильность в руководстве — с 1992 по 2006 годы президентом клуба был Валерий Николаевич Филатов, а тренировал клуб вплоть до вызова в сборную в 2005 году тренерский тандем Юрий Сёмин (главный тренер) — Владимир Эштреков. Первое чемпионство пришло к команде в 2002 году. В том же году открылся ультрасовременный стадион «Локомотив».

В 1998 и 1999 годах команда дважды подряд доходила до 1/2 финала Кубка Обладателей Кубков. Причём, в последнем случае «Локомотив» уступил римскому «Лацио» лишь за счёт пропущенного домашнего гола. В 2001—2003 годах «Локомотив» участвовал в основном раунде Лиги Чемпионов и дважды выходил в дальнейшие стадии соревнований.

В 2005 году после почти 19 лет (с перерывом в 1991) тренерской работы с поста главного тренера команды ушёл Юрий Сёмин. Его место занял Владимир Эштреков, который добился с командой третьего места в чемпионате России и выхода в плей-офф Кубка УЕФА.

С декабря 2005 года по 5 октября 2006 года команду тренировал сербский специалист Славолюб Муслин. Конец сезона 2006 года клуб провёл под руководством Олега Долматова. Но «Локомотив» не сумел выполнить главную задачу на сезон — занять 1-е или 2-е место, финишировав лишь третьим. 26 декабря 2006 года на заседании Совета Директоров клуба было принято решение назначить в качестве Президента клуба Юрия Сёмина, а тренером назначить Анатолия Бышовца.