Le sorti di Piandimeleto e del suo castello sono inscindibilmente legate alla famiglia dei conti Oliva, che dal piccolo possedimento di Piagnano si espansero nella zona divenendo una delle famiglie tra le più importanti, in grado di stabilire fortunati rapporti con i Malatesta, i Montefeltro, i Bentivoglio, i Gonzaga e perfino con i Medici. La loro astuta politica li portò ad ottenere una certa indipendenza, testimoniata proprio dalla presenza del nobile castello. La costruzione fu promossa nel XV° secolo dal conte Carlo Oliva, colto personaggio rinascimentale che aveva maturato la sua preparazione culturale nell’ambito sia della corte di Sigismondo Malatesta che della corte urbinate di Federico da Montefeltro. Per il suo progetto egli infatti si servì di alcuni degli artisti del Duca, fra i quali Francesco di Simone Ferrucci: quest’artista fiesolano realizzò per Carlo le tombe dei genitori nella cappella di famiglia del convento di Montefiorentino. In realtà, però, i lavori del XV° secolo al castello Oliva consistettero nella ristrutturazione di un fortilizio già esistente, del quale non si conoscono le origini. Esso doveva sorgere a picco sul fiume Foglia, come attestavano i ruderi visibili fino agli anni ’50, ma è necessario rivolgere una qualsiasi indagine alla parte del castello che venne adattata a dimora rinascimentale. Il castello non appare come l’opera di una personalità ben definita ed ha quindi una fisionomia un po’anonima e lontana dalle moderne costruzioni fortificate fatte erigere dal duca Federico. Di pianta grossomodo quadrangolare, somma in esso sia le caratteristiche del fortilizio che del palazzo signorile: ad attestare la sua funzione di fortilizio concorre la presenza di merli ghibellini, di beccatelli, del cammino di ronda e la presenza di poche e piccole aperture; a sottolineare, invece, la sua funzione di dimora signorile è la facciata sud verso la piazza, caratterizzata dalla presenza di due ordini di finestre abbastanza ampie, il primo costituito da monofore ed il secondo da finestre con soglia e trabeazione in arenaria.

Se abbastanza anonimo all’esterno all’interno il conte Carlo cercò di dare alle stanze del castello un tono più che mai dignitoso, anche qui prendendo ad esempio il palazzo dei duchi di Urbino da poco costruito: le numerose decorazioni riecheggianti quelle del palazzo dei duchi ed i soffitti voltati trasformano una semplice dimora in un vero e proprio palazzo. In questi particolari vi si può leggere un desiderio di rinnovamento tale che nello spirito è pari a quello delle corti più potenti e rappresenta nel Montefeltro un caso unico di costruzione rinascimentale. Poco lontano dal palazzo dei conti Oliva si erge una spettacolare torre circolare sicuramente rinascimentale: il suo impianto circolare è da ricollegare alle architetture martiniane, presenti nell’urbinate in esempi numerosi.

Terminata la signoria degli Oliva il Castello è comunque sempre rimasto alla comunità ed è stato nel tempo sempre sede della vita pubblica del paese. Oggi infatti oltre che ospitare una importante documentazione geologico e ambientale del territorio, nonché una pregevole testimonianza del mondo e del lavoro contadino del Montefeltro, il Castello conserva il suo valore di simbolo della comunità di Piandimeleto e si offre per importanti manifestazioni pubbliche.