Il castello del Cassero conserva la sua identità formale pur avendo perso molti attributi della sua attrezzatura difensiva: è a pianta quadrata, con i torrioni disposti nel mezzo dei lati; l'ingresso è posto verso Ancona. All'interno c'è un cortile pavimentato con i ciotoli di fiume infissi di taglio. Al centro, essenziale, un pozzo. Anche la chiesa, oggi antistante il portale d'ingresso, era originariamente all'interno.