В 1774 году на пустыре за городом был построен каменный пороховой погреб. После постройки нового порохового погреба на Петрушиной горе в старом устроили военный арсенал. Когда город разросся, пустырь превратили в площадь, ее стали называть Арсенальной, или Арсенальской, как и прилегающую улицу. К середине XIX арсенал пришел в ветхость. Вместо пороха и оружия в него для хранения стали складывать известь. В конце концов, долго пустовавшая площадь стала местом городского рынка. В октябре 1848 года сюда перевели сенной и дровяной базары. Площадь стала называться Сенной. Затем были построены рыбный и мясной ряды. В 1859 году сюда перенесли торговлю хлебом, мукой, зерном, и площадь получила название Хлебной. Кроме хлебных, здесь также нахолились мясной, молочный, рыбный, обжорный (где продавали разную снедь), бондарный, железный ряды; места дегтярное, дровяное, конское.

Из-за невыгодного расположения площади: в дождь воды окрестных возвышенностей устремлялись вниз и затопляли базар, грязь там царила непролазная. Санитарная комиссия, осматривавшая базар в 1892 году, нашла "страшное загрязнение площади" и сделала вывод, что, "очевидно, последняя никогда не моется и не чистится, а если иногда и чистится, то только для вида". В 1893 году городская управа вынесла специальное постановление об очистке площадей Мелочного и Хлебного базаров. Предписывалось наиболее болотистые и особенно грязные места площадей завалить мусором и засыпать галькой. Предусматривалось для этой цели воспользоваться мусором и половьем, которые должны были получиться от сломки порохового погреба. В постановлении говорилось: "...приступить ныне же к сломке порохового погреба, причем предварительно снять с погреба фотографию... Весь мусор употребить на утрамбовку Арсенальской площади".

Площадь окружали постоялые дворы, множество питейных заведений, кабаков, посреди расположилась важня. Самое оживленное место города днем, ночью оно превращалось в одно из самых пустынных, безлюдных и небезопасных.

Во времена советской власти на площади был построен рынок, который достраивался и перестраивался множество число раз. Лишь в 1998 г. окончательно была закончена постройка здания рынка. На данный момент рынок выглядит, как на вышепредставленной фотографии и является самым крупным продовольственным рынком города.