Лишь немногие белорусы знают о том, что сохранившийся до наших дней монастырь бернардинцев в Дубровно не является его первоначальной версией. Сперва деревянное строение было возведено в 1630 году. Основал его Николай Глебович. Однако простоял он менее двух веков. Связано это со следующей историей.
В 1791 году новым владельцев Дубовенского графства, находившегося в те времена в составе Российской империи, стал генерал-лейтенант Ксавьерия Любимирский. Он считался богатым человеком и настоящим магнатом, занимавшихся различными видами деятельности. У графа была дочь, которая отличалась неописуемой красотой. Многочисленные богатые женихи так и норовили побывать на очередном балу в имении Любимирских с целью поприветствовать молодую княгиню и попытаться добиться ее расположения. Однако сколько ни просили князья руки Клементины у графа, девушка всем отвечала отказом. Но лишь до поры до времени, когда беспамятно влюбилась она в помещика Петра Кроера. Был он симпатичным, но малоизвестным и безденежным. Клементина заранее определила, что кандидатуру Петра в качестве жениха отец ни в коем случае не одобрит. Поэтому решила тайным образом обвенчаться с любимым в монастыре бернардинцев, забрать деньги и сбежать из дома.
Когда граф узнал про побег дочери, он неистово рассвирепел. Решил от злости сжечь монастырь, а двоих монахов, обвенчавших Клементину и Петра, утопить. Уже по прошествии многих лет, будучи в старости, Ксавьерия решил покаяться и возвести на собственные средства новый каменный монастырь на месте прежнего сожженного. Так появилось строение, которое сохранилось по сей день.