D'abord, bien sûr, parce que sa façade de pierre est unique dans la Ville rose. Ensuite, parce qu'elle est chargée d'un décor sculpté hallucinant. En réalité, cet hôtel a deux visages : l'un de pierre, l'autre de brique. Pour les découvrir, il suffit de pénétrer dans la cour intérieure.
C'est en 1537 que Jean de Bagis confia à l'illustre Nicolas Bachelier le soin de concevoir sa demeure. Il en reste les façades intérieures nord et ouest très sobres avec leurs trois étages de fenêtres, ainsi que le portail du logis principal, encadré de deux sculptures de vieillards dont la qualité fait penser à Michel-Ange.
En 1608, François de Clary, président au parlement, devenu entretemps propriétaire de l'hôtel, entreprend de l'embellir. Et il n'y va pas de main morte ! En témoignent les façades sud très ornementées et, surtout, l'écrasante façade sur rue toute en pierre.

Il réussit à faire des envieux et bien des histoires circulent sur son compte. Comme c'est lui qui surveille les travaux du Pont-Neuf, on murmure "qu il y a plus de pierres du pont à l'hôtel de pierre que de pierres au pont neuf".