1937’de Moskova’da doğdu. Iki şairin oğlu olan Konchalovsky, film yapmaya başlamadan önce piyano eğitimi aldı. VGIK Yönetmenlik Fakültesi’nden 1965 yılında mezun oldu. Kısa mezuniyet filmi “The Boy and the Pigeon” ile Venedik Film Festivali’nde kendi kategorisinde birincilik ödülünü kazandı. İlk filmi “The First Teacher” (1965) ile ayrıntılı ve oyuncuya özgürlük tanıyan karakter çalışmaları ile ünleneceğini gösterdi. Tamamlanmasıyla yasaklanması bir olan Asya’s Happiness (The Story of Asya Klyachina ,1967) 1988’de gösterime sunulmasıyla büyük övgüler aldı. 1979’da “Siberiade” ile Cannes’da Jüri Özel Ödülü’nü almasıyla dünya çapında tanındı ve 1980’de ABD’ne yerleşti.