Низ улицы Гоголя прежде носил название "Староострожская площадь". Рядом, в слободе Лобановке, находилась городская тюрьма, отсюда площадь и получила свое название. Еще в конце ХIX – начале ХХ века стали высказываться мысли о застройке старинной площади. Сначала курская епархия хотела построить здесь духовное училище, которое все же было возведено на территории нынешней улицы Льва Толстого, и Староострожская площадь сохранилась еще примерно на полвека.
Между Февральской и Октябрьской революциями Староострожская площадь стала местом проведения митингов социалистов. После Октябрьской революции в городе началась волна переименований.
Улица Острожная стала называться Свободной, Староострожская площадь также была переименована в площадь Свободы, но от застройки это ее не спасло. Сначала в 1930-х годах здесь возвели здание общежития педагогического института, а в конце 1950-х годов площадь фактически перестала существовать, - были сданы дома по адресам Сторожевая 16к1/к2/к3/к4.