Родился 26 января (7 февраля по н. ст.) 1866 г. в Новочеркасске в семье казака-сотника Леонида Ивановича Калмыкова. Увлекался рисованием с раннего детства, мечтая стать профессиональным художником.

В 1882 г. окончил Новочеркасское реальное училище и хотел сразу уехать с Москву учиться живописи. Родители были категорически против, не считая возможным, чтобы их сын стал художником. Следуя воле отца, на два года остался в Новочеркасске, но позже самовольно все же уехал учиться в Москву. В 1884-1889 гг. учился в Московском училище живописи, ваяния и зодчества у В.Е. Маковского, В.Д. Поленова, И.М. Прянишникова и Е.С. Сорокина. В 1889 г. занимался у И. Айвазовского в Феодосии.

Работал в Москве. В 1904-1908 г. побывал в Италии и Швейцарии. Большое число эскизов, выполненных художником в это время, легли в основу его будущих полотен.

Участвовал в российских выставках: Московского общества любителей художеств (1890, ежегодно в 1893-1898 и в 1901-1906), МТХ (1894, 1897, 1899, 1900, 1901, 1904), ТПХВ (ежегодно в 1904-1907), Весенних в залах ИАХ (1898, 1901, 1902), в 17-й выставке Санкт-Петербургского общества художников (1909), а также в международных выставках в Вене (1895) и Мюнхене (1901). В 1904 и 1908 г. провел персональные выставки в Москве. В 1912 г. выставка его графических работ состоялась в Хабаровске.

В 1912 г. Калмыков увлекся декоративной керамикой и создал в Москве декоративно-художественную и облицовочную мастерскую.

Весной 1914 г. он переехал в Пятигорск, где открыл керамическую мастерскую «Закал». Занимался созданием керамических икон, отделкой керамикой фасадов общественных и частных зданий, созданием надгробных памятников. Создал художественную керамику для фасадов Тиличеевских ванн, Всесословного клуба, домов зодчего Кузнецова и Мациевского и других особняков и дач Пятигорска, а также памятник на могиле книгоиздателя К. К. Кибардина. В 1913 г. Калмыков выполнил два декоративных керамических панно над входами в новом здании Общества взаимного кредита в Екатеринодаре (со сценами из античной жизни).

В 1916 г. Иван Леонидович вернулся в Москву, где работал в качестве преподавателя Строгановского училища.

В конце 1916 г. был командирован в Сиам с целью сбора коллекций для музея училища. По пути следования провел выставки в Иркутске, Владивостоке, Хабаровске (с декабря 1916 по май 1917), Харбине (1916-1917) и Шанхае (1918). Октябрьский переворот Иван Леонидович Калмыков не принял. Затем несколько лет он провел в Индии, где находился в качестве придворного живописца во дворце у раджи. Из Индии в разгар массовой кампании против оккупационного британского правительства уехал в Австралию, и оттуда в 1924 году в США (Сан-Франциско). В Сан-Франциско он становится одним из первых русских художников, устраивающих свои персональные выставки.

Умер в марте 1925 г. в Сан-Франциско, США. Все свои работы и коллекции он завещал передать в Россию в музей Строгановского училища.

Калмыков работал в разных техниках, на протяжении всего периода своего творчества много экспериментировал, но предпочтение всегда отдавал работе маслом и акварели. Увлекался современными живописными новациями, но в целом в своём творчестве оставался верен школе русского реалистического пейзажа конца ХIХ в. Тепло отзывался об Иване Калмыкове и его творчестве выдающийся русский художник и историк искусства Александр Николаевич Бенуа (1870-1960), причисляя его к наиболее одаренным и талантливым последователям Исаака Левитана.

Работы И.Л. Калмыкова имеются в Государственной Третьяковской галерее, («Деревня весной», 1896; «У морского берега», 1896), Государственном Русском музее, музеях Астрахани, Иркутска, Липецка, Ростова-на-Дону, Ставрополя, Хабаровска, Алматы, а также Национальной галерее современного искусства в Риме.