Деревянный дом на каменном подвале и с мезонином был построен в 1795 году купцом П. С. Хохряковым по проекту губернского архитектора Ф. М. Рослякова. В течение ста лет здание оставалось во владении потомков Хохрякова: сначала у сына, а с 1859 г. - у правнучки Натальи Яковлевны Соболевской. В 1894 г. дом был куплен у нее происходившим из крестьян котельничским купцом И. С. Кардаковым.
Иван Семенович Кардаков — представитель старинного вятского рода Кардаковых, родился в деревне Кардаковская. В 18 лет он как старший сын становится агентом отца по закупке льняных товаров в деревнях и селах уезда. В 23 года стал возглавлять фирму, которая занималась скупкой сырья в Котельничском уезде. К концу XIX в. Кардаков переезжает в Вятку, получает разрешение на торговлю золотыми и серебряными изделиями. С 1897 г. становится купцом 2-й гильдии. В 1914 г. Иван Семенович создает Торговый дом «Иван Семенович Кардаков с С-ми в Вятке». Он вел торговлю в городах России, закупал товар за границей. Открыл первый универсальный магазин в губернском центре, самый крупный по ассортименту товаров, в здании на углу улиц Спасской и Николаевской. Впервые в его магазине появились в Вятке граммофоны и патефоны.
Кардаков вел активную общественную деятельность: избирался членом Вятского губернского общего присутствия казенной палаты по промысловому налогу от земства (1901–1911 гг.), гласным Вятской городской думы (1907 г.), членом совета общества взаимопомощи кредита (1909 г.). В годы Первой мировой войны неоднократно жертвовал денежные суммы в пользу раненых и больных солдат.
Купив новый дом на углу улиц Царевской (Свободы) и Московской, Иван Семенович начинает его перестройку: вместо мезонина здание получило полный второй этаж. К этому времени относится перепланировка здания, замена обшивки фасадов и декорирование их пропильной и накладной резьбой. После революции дом был передан на три года в аренду все тому же И. С. Кардакову, а в 1923 г. — «Транспорттресту». К этому моменту Иван Семенович погиб на фронте Гражданской войны, где воевал против большевиков.
История дома Кардакова очень тесно связана с развитием фотографического искусства в Вятке. В начале XX в. здесь располагалась контора Вятского фотографического общества. Сын последнего владельца дома, купца И. С. Кардакова, Андрей Иванович Кардаков, участвовал в экспедиции Владимира Клавдиевича Арсеньева по Дальнему Востоку, где вел фотографические работы. Любопытно, что второй сын купца — Николай — после 1918 г. эмигрировал в Германию, стал ученым-энтомологом и в 1956 г. даже выдвигался на Нобелевскую премию, но не был отмечен комитетом. Он имел крупные коллекции тропических бабочек и нумизматики. До 1960-х гг. поддерживал связи с родственниками в вятском крае по переписке.
В советское время дом на Московской стал знаменит благодаря истории «кировских людоедов» и был прозван в народе «нехорошим». По наиболее распространенной версии, в голодный 1942 г. на кировских рынках стали замечать двух женщин, которые торговали пирожками с мясом и котлетами. Это были некие Августа Абатурова и Пелагея Клюкина, которые жили в подвале бывшего дома Кардакова. Возник логичный вопрос: откуда у них появилось мясо, когда продукты среди населения распределяются по карточкам? Среди соседей поползли нехорошие слухи, одновременно в городе начали говорить, что стали пропадать дети.
Однажды жильцы дома услышали доносящийся из подвала крик: «Тетенька, не трогай!». Соседи быстро сбежались на шум и увидели убитого ребенка и над ним Абатурову с ножом. Она быстро сориентировалась, выскочила в окно и бросилась бежать по направлению к реке. Абатурова даже успела купить билет на паром, но тут ее задержала милиция. Пелагею Клюкину арестовали прямо дома, ее за волосы выволокли из подвала, огромная толпа, собравшаяся у здания, плевала в нее, била руками и камнями. Милиция спасла людоеда от самосуда.
После милицейского обыска жильцы нашли в подвале дома около дюжины черепов и кучу зарытых костей. Все это они похоронили во дворе, под огромным старым тополем. Обеих людоедок судили, но не расстреляли, а отправили в колонию строгого режима, где их позднее убили сокамерницы. С тех пор за домом закрепилась репутация «нехорошего», а в советское время существовала легенда, что из подвала слышны стоны убитых там детей.
После этой истории еще долго в Кирове прохожие обходили стороной старинный двухэтажный особняк. Краеведы вспоминали, что еще в шестидесятые годы прошлого века люди, проходя мимо, зачастую падали здесь в обморок.
Сегодня один из старейших деревянных домов Вятки наполовину жилой, первый этаж занят магазинами и торговыми учреждениями.