Etter Domkirken er nok Valbergtårnet i dag det mest karakteristiske kjennemerket i byens profil. Høyden over Skagen og Vågen har lange tradisjoner som vakt-og utkikkssted, men selve tårnhistorien går tilbake til året 1659. Da ble det bygget et enkelt tretårn for byens vektere, som i tillegg til å varsle brann, også hadde som oppgave å patruljere i byens gater for å opprettholde ro og trygghet. Vekterne skulle hver time rope ut hva klokken var slagen og opplyse om vindens styrke og retning. De skulle holde utkikk, og dersom det oppstod brann, måtte innbyggerne varsles ved hjelp av klokkeringing. Om natten hengte man ut en lykt i retning av brannstedet mens man om dagen benyttet et flagg. Fra midten av 1800 - tallet ble det også avfyrt skudd fra brannkanoner på plassen foran tårnet.
Utover i 1830-årene var tretårnet blitt så skrøpelig at vekterne fryktet for at de kunne få taket i hodet når vinterstormene herjet på land og sjø. Man forsøkte å stive tårnet opp med støtter av tre, men etter hvert råtnet trestøttene og falt ned. Vekterne bad også om å få vinduer i tårnet, slik at de kunne se ut uten å åpne tregluggene, og dermed lettere oppdage en eventuell brann uten å forlate tårnet i all slags vær. Denne henvendelsen førte ikke til noe positivt resultat, og vekterne hadde dermed ikke noe lunt oppholdsrom å se frem til når vaktrunden i gatene var tilbakelagt.
Endelig, helt på slutten av 1849, vedtok kommunestyret å reise et åttekantet tårn i gråstein, etter tegninger av den kjente arkitekten i Christiania, Christian H. Grosch. Tårnet stod ferdig i 1852, men de ni vekterne i tårnet klaget snart på fuktighet og oversvømmelser, slik at det måtte settes i gang reparasjoner. Før de nye økonomiske uttellingene hadde oppførelsen kostet 9.000 spd., dvs. 36.000 kr, en svimlende sum for samtiden. Byens totale budsjett for 1852 var på 8.770 spd. Byggeperioden ble nå forlenget til 1853.
Etter opprettelsen av en fast brannvakt i 1866 ble antallet vektere i tårnet redusert til tre. De skulle avfyre to skudd om de oppdaget flammer i byen. Dersom ilden bredte seg, lød et tredje skudd. Ellers betydde ett slag med tårnklokken: Stra´en, Kleivå og Torget; to slag: Skagen og Holmen, tre slag: Østervåg og Verket og fire slag: Pedersgaten.
Tårnet beholdt sin funksjon som varslingspost i 1880-og 1890-årene og de første tiår av 1900. Tekniske fremskritt og økonomiske lavkonjunkturer førte imidlertid til at det i 1922 ble satt sluttstrek for Valbergtårnet som varslingspost, samtididig som også vekterordningen opphørte. En ny fase i tårnets historie ble innledet.
Under siste krig rev tyskerne av spiret og taket. Det ble laget en platting med plass for en antiluftskytskanon, men etter frigjøringen fikk denne delen av tårnet sin opprinnelige form. Valbergtårnet har blitt rehabilitert flere ganger siden den gang, sist i 1994/95 hvor man fikk frem de gamle bjelkekonstruksjonene mot hvitkalkede vegger. I tårnets 2. etasje har nå Vektermuseet fått sin logiske plassering.
Da bystyret i 1952 vedtok fredning av Valbergtårnet, skrev professor Bugge bl.a. i sin innstilling: ”Bygningen er et av de smukkeste monument som ble reist utenfor Christiania i arkitektens romantiske periode. Foruten den betydelige arkitektoniske og antikvariske verdi tårnet har, er det et meget godt og karakteristisk trekk i bybildet, som har sikkert feste i ens bevissthet.”
Reidar Frafjord