Après des études au collège Rollin, il se présente à l’École centrale. Mobilisé en 1918, il sert dans l’artillerie, mais à son retour à la vie civile, il se décide à abandonner les sciences pour se consacrer à la peinture. Son oncle, Henri Barbusse, lui offre sa première boîte de peinture. En 1921, Caillard entre à l’académie Biloul où il reste quelques mois et fait la connaissance d’Eugène Dabit, le futur auteur de L'Hôtel du Nord et du peintre Georges-André Klein. Puis en 1923, Caillard rencontre le peintre Maurice Loutreuil qui devient pour le jeune artiste, non seulement un maître, mais aussi un ami et un guide.
