Cast vient du mot latin « castra » (lieu fortifié). La paroisse de Cast provient d’un démembrement de la paroisse de Plonévez-Porzay, elle même "paroisse nouvelle" créée au détriment de celle de Ploéven. Cette paroisse de Cast est mentionnée sous ce nom au Cartulaire de Quimper, en 1368.
Cast doit son nom à l’important Castrum romain (poste militaire), qui à l’époque gallo-romaine, surveillait les voies stratégiques menant vers Quimper, la Pointe du Van et la Presqu’île de Crozon, dont on voit les traces à Lelzach, sur la montagne Saint-Gildas. Cast en 1327, Castr en 1451 et Castre en 1574. Kast en Breton.
L’église et le calvaire sont classés par arrêté du 31 mars 1916.