La chiesa fu costruita dai frati Minori Conventuali nel secolo XIV, un tempo intitolata a San Francesco, dal 1922 è diventata il Santuario della Beata Vergine delle Grazie, patrona della città di Pesaro. Infatti quando fu demolita la chiesa situata a Porta fano, i Frati Servi di Maria traferirono qui l'immagine della Beata Vergine delle Grazie. La primitiva chiesa del secolo XII era dedicata a San Pietro ed aveva la facciata verso Piazza del Popolo, i Conventuali, con l'aiuto dei Malatesta, signori di Pesaro, l'ampliarono e la modificarono come la vediamo oggi.
Nel secolo XVIII la Chiesa subì una radicale trasformazione. La Chiesa in stile gotico comprendeva l'attuale navata centrale con tetto a capriate e la navata destra. Era affrescata e riceveva luce da lunghe finestre ancora visibili dall'esterno. Nel secolo XVI fu aggiunta la navata sinistra, furono chiuse le finestre gotiche e aperte quella della navata centrale, nelle navate laterali furono costruiti dodici altari. Dopo la trasformazione del secolo XVIII l'interno e la facciata presero la forma attuale: a tre navate con nove altari.Ulteriori modifiche furono apportate nel 1953 all'altare maggiore e all'abside. Sull'ampia facciata in mattoni a vista spicca il portale gotico ogivale, di scuola toscana voluto da Pandolfo II Malatesta nel 1366.