Den nuvarande stockbryggan framför fästningens huvudport är en kopia av den lastbrygga som stod på samma ställe på 1700-talet. Från Lovisa och från andra platser kom det fartyg till holmen, med mat, ammunition och andra förnödenheter.
Mellan Svartholm och fastlandet finns det några holmar som också tillhörde fästningen. Närmast Svartholm ligger Begravningsön, där man begravde soldater och fångar som dog på Svartholm. På holmen finns fortfarande några gravstenar, och bland annat fängelsedirektören överste Herman Tillo begravdes där. På Krutkällarön fanns ett stort krutlager. Än i dag kan man se delar av krutlagrets fundament på holmen. Till vänster om Krutkällarön ligger Arrestantholmen dit man förde olydigt manskap från Svartholm för några dagars arrest. Det är bara cirka några tiotals meter till stranden från holmen, men uppenbarligen var folket inte allmänt simkunnigt på 1700-talet, vilket innebar att de inte kunde rymma från holmen genom att simma.
