Fästningens alla fyra bastioner såg likadana ut. Väggarna var 7–9 meter höga och i varje bastion fanns 12 välvda kasematter. I dem kunde man bland annat placera kanonerna.
Då fästningen byggdes var tanken att varje bastion vid behov kunde fungera som en fästning innanför fästningen. I bastionerna fanns mat och ammunition, och vatten fick man genom de små hålen i väggarna. De grå konstruktionerna upptill ledde bort regnvattnet från murarna. Syftet var att förhindra att murarna vittrade sönder. Den lilla byggnaden på innergården tillhörde ingenjörsdepartementet.
Svartholm användes som fängelse under både den svenska och den ryska tiden. Fångarna bestod av allt från mördare till lösdrivare. Lösdrivarna var män som inte hade ett arbete och som var tvungna att sitta i fängelset tills de hittade ett arbete åt sig. I praktiken innebar det ofta långa straff.
På Svartholm placerades fångarna bland annat i kasematterna – förhållandena var inte de bästa. Kasematterna var mörka, kalla och fuktiga. Fångarna sov på halm, och i en kasematt kunde det finnas ett tjugotal fångar. På 1700- och 1800-talet ordnades fängelsemåltiderna på ett annat sätt än i dag. Under den svenska tiden etablerades ett system där fångarna fick en viss daglig matpeng som de skulle skaffa sin mat med, i praktiken oftast genom fångvaktarna eller vaktmästaren.
På Svartholm behövde fångarna inte jobba lika hårt som i andra fästningar. De dagliga sysslorna kunde bestå av matlagning, renhållning av fästningen, sotning, tömning av toaletter, snöskottning och rengöring och ventilering av fångrummen. Enligt bevarade dokument brukade fångarna, väktarna och militären på fästningen ibland engagera sig i hejdlöst supande tillsammans.
Fångarna hade möjlighet till fritidssysselsättning. På Svartholm tillverkade fångarna möbler av olika slag och skrin. Skrinen var ofta röda eller mörkbruna och var utsirade med ornament gjorda av rågstrån. Fångarna gjorde också halmarbeten av olika slag, och i fästningen tillverkades faktiskt också en orgel för den egna församlingen. Denna har sedermera flyttats till Strömfors kyrka.
Fångarna på Svartholm skickades 1847 till Sveaborg. Det kom dock nya fångar till Svartholm senare, och fängelseverksamheten upphörde först 1853, då hela fästningen tömdes under Krimkriget. Då blev fångarna skickade till Tavastehus.
På Svartholm har det också funnits ryska politiska fångar, sju dekabrister. De placerades i ett hemligt fängelse utanför huvudporten. Byggnaden var en vaktstuga i trä med fem små rum med jordgolv. Förhållandena i detta fängelse var uppenbarligen inte bättre än för de finska fästningsfångarna. Denna slutsats kan man dra av den dikt som poeten och artilleriofficeren Batjenkoff skrev 1827 under sin tid som fånge på Svartholm. I dikten beskrivs den förtvivlan och längtan som det dystra fängelset framkallade. Det berättas att dekabristerna senare fick välja om de stannade på Svartholm eller blev förvisade till Sibirien. Merparten valde Sibirien.
