В 1804 году усадьба Колокольцева была приобретена в казну. В 3-этажном доме (ныне улица Советская, 5) разместился губернатор. С тех пор этот дом служил резиденцией для всех губернаторов вплоть до революции 1917 года. В настоящее время в здании располагаются выставки Пензенской картинной галереи.