Андреевский скит был заложен в середине XVI века. И тогда же была построена первая в России каменная гавань. Служил "морскими воротами" монастыря и выполнял функции таможни.
Во время ГУЛАГа здесь был штрафной женский изолятор.
Почти все постройки сохранились до настоящего времени и большая часть реставрационных работ завершена.
