Runt hamnen återfinns ett flertal karaktäristiska byggnader. Järnvägsstationen - med karaktär av riddarborg - som stod färdig år 1906. Järnvägslinjen Oskarshamn - Nässjö invigdes redan 1874. Samma år blev första stationshuset färdigt. Stadsborna var dock missnöjda med byggnadens utformning. En ytterligare faktor till att järnvägsbolaget strax efter sekelskiftet började planera för ny station kan vara att dåvarande byggnaden hade uppförts innan bygglov hade lämnats, samt att fasadritningar aldrig lämnats till byggnadsnämnden.
På södra sidan av Skeppsbron tronar Stadshuset, Rådhuset och A Peterssonska fastigheten. Den förstnämnda byggnaden som ursprungligen uppfördes 1883 som transitomagasin, sammanbyggdes med gamla tullhuset till en modern kontorsbyggnad som idag rymmer kommunens förvaltning. Byggnadsarbetena slutfördes 1985.
Transitomagasinet nyttjades från början vid transitering av gods som fraktades sjövägen, framförallt från England, Danmark och Norge, till Baltikum. Trafiken upphörde i och med ryska revolutionen år 1917. Samma år indrogs också den ryske vicekonsuln, en befattning som funnits i Oskarshamn sedan 1857.
Rådhuset, som var stadens första förvaltningsbyggnad, inköptes året innan köpingen erhöll sina stadsrättigheter år 1856. Byggnaden uppfördes under 1840- talet som privatbostad åt en handlande, P Hasselqvist från Kalmar.
I sluttningen mellan Rådhuset och Skeppsbron anlades 1867 en terrass och "Långa soffan" som har en längd på 72 meter.
I hamnbassängen ligger den holme som fram till 1859 kallades Garnholmen. Då byttes namnet till Badholmen. Doktor Bernhard Berman hade samma år uppfört en kallvattenkuranstalt på holmen. Ägaren till Fredriksbergs herrgård, ryttmästare J F Hultenheim, skänkte holmen till staden i samband med att Oskarshamn erhöll sina stadsrättigheter 1856.