В 1943 году под городом Холм красноармейцы захватили немецкий карабин MKb42 (H) (MaschinenKarabiner). Знакомство с трофейным оружием побудило Советский Союз начать собственные работы по созданию промежуточного патрона и оружия под него.

В октябре 1943 года конструктор Федор Токарев приступил к работе над автоматом, воспользовавшись базой винтовки АВТ-40 - модифицированной СВТ-4.

«От нее (АВТ-40 - прим. ред.) новому "тяжелому автомату" достались подвижная система (затвор и затворная рама), газовая камера с регулятором, механический прицел. При этом Токарев усовершенствовал ударно-спусковой механизм. АТ-44 имел также складывающиеся сошки, а в прикладе и пистолетной рукоятке были сделаны пустоты для хранения принадлежностей по уходу за оружием», - сообщает Калашников.Медиа.

Испытания автомат Токарева не выдержал - конструкция оружия оказалась неудовлетворительной, в конце испытаний сломалась ствольная коробка оружия: разорвалась задняя стенка, и автомат был испорчен. В итоге его сочли бесперспективным.

Тем не менее, у АТ-44 была хорошая система крепления магазина – при помощи зацепа спереди и подпружиненной защелки сзади. Позднее эта система использовалась в автомате Калашникова.

К настоящему времени сохранились два образца автоматов Токарева, незначительно отличающиеся друг от друга. Один из них хранится в Туле, а другой в Санкт-Петербурге.