Bispesetet kom til å spille en avgjørende rolle i Stavangers utvikling gjennom de første hundreårene. Det geistlige sentrum skapte grunnlag for andre religiøse og verdslige institusjoner. Fra kirkens landeiendommer ble skatter og skattevarer fraktet inn til byen, men som handelssentrum ble Stavanger liggende fullstendig i skyggen av Bergen i
nord. Bergenserne kontrollerte handelen med de enormt rike fiskeressursene fra kysten nordover langs landet. Byene på Sørlandet og Østlandet eksporterte trelast og jern til det europeiske kontinentet. Borgerne i Stavanger derimot, greide ikke å få tilgang til et overskudd av en handelsvare som kunne omsettes med utenverdenen og skape økonomisk vekst.
Ved begynnelsen av 1500-tallet bodde det ikke stort mer enn 100 mennesker i Stavanger. Under reformasjonen ble alt bispegodset underlagt kongen. Mens den lille byens maktgrunnlag vaklet, begynte det å spire til ny vekst i fjorddistriktene og langs kysten. Bøndene bygde sager i tette furuskoger. Skotter og nederlendere kom seilende og kjøpte trelast og hummer for rede penger. Utenlandske kunsthåndverkere fulgte etter og gjorde Stavanger til et kunstnerisk sentrum på 1600-tallet. Men handelen gikk byborgerne forbi. De klagde over fattigdom og forskjellsbehandling, men ble ikke hørt. I 1682 måtte de finne seg i at bispesetet ble flyttet til den nye byen Kristiansand i sør. Tre år etter var ydmykelsen total: Stavanger ble fratatt sine byprivilegier.