공주에는 1603년 이후부터 충청감영이 설치되어 있었으며 감영에는 여러가지 부속건물이 자리하고 있었다. 감영이 이전하기 전 부터 있었던 외옥은 군옥으로 추정되며 이곳에 수용된 수인들이 어떠했는지에 대해서는 전해지는 것이 없다. 1895년 공주경찰서내에 감옥서를 설치하면서부터 공주에는 감옥이 2곳이 되었으며 본감과 분감이라고 불렀다. 본감과 분감의 위치느 1913년 충청남도 토목계에서 작성한 지도에 표기되어 있다. 본감은 현재 공주대학교 사범대학 부속고등학교 부근이며 분감은 현재의 교동성당 부근이다.
한편 법부에서 1908년 충청관찰도의 경찰로부터 감옥과 사무일체를 인수받아 공주감옥에 대한 운영을 시작하였으며 당시 건물은 본감(내옥)이 3동, 분감(외옥)이 1동이 있었다. 당시 내감옥은 공주 남부면 하봉리(충청남도 경찰부 부지)의 충청남도 도청내에 있었고 거기서부터 약 1km(10정) 정도 떨어진 곳에 외감옥이 있었다.
1908년 인수 당시의 공주감옥(본감)의 모습은 ‘공주감옥소 각 건물 모양체수 기타 중측도면’ 에서 확인할 수 있다. 이 도면은 1914년 교동에 근대식 감옥건축을 준공하여 이전하기 전의 현황을 보여주는 것으로 조선의 전통가옥을 감방으로 수선하는 내용을 담고 있다. 주요 건물은 총 3동으로 ㄷ 형, 짧은 ㄷ자형, ㅡ자형의 건물이었다. ㄷ자형은 내감방이며 짧은 ㄷ자형은 내감방 사무실, ㅡ자형의 건물이 외감방으로 사용되었다. 주요 수선 내용은 감방의 벽체를 수선하고 창문을 새로 내는 것이었다.
그러나 공주감옥은 본래 근대적 형벌, 특히 자유형을 집행하는 시설로써 적합하지 않았다. 더구나 건물이 오래되고 비좁아 지속적으로 개축하여 사용하였으나 감방의 부족으로 인하여 열악한 상태가 지속되었기 때문에 1912년 금정에 부지를 매입하여(공주읍 교동 3번지) 신축, 이전하기로 하였다.
1914년 1월 공주감옥을 준공하고 같은 해 1월 25일 구 감옥 공주군 남부면 하봉리(충청남도 경찰부 부지)로 부터 이전하였다. 그후 1923년 5월 5일 조선총독부령 제72호로써 공주형무소로 개칭하였다. 당시 본감의 부지에는 그 후 공주경찰서가 들어섰다.