Сколько Каспар помнил себя, он постоянно находился в крохотной каморке, в которой нельзя было ни встать, ни лечь во весь рост. Целыми днями он сидел, прислонившись спиной к стене, или ползал по полу. В каморке было два окна, забитые досками так, что внутрь почти не проникал свет, и потому стояли будто бы вечные сумерки. Кроме того, в каморке была печь, которую топили снаружи, и дверь, постоянно запертая, которую опять же снаружи только и можно было открыть. В полу была проделана дырка, внутри её находилось нечто вроде ночного горшка, куда предполагалось справлять нужду. Кормили его хлебом и водой. К нему приходил «черный человек», который учил его грамоте, а за провинности бил палкой по рукам.
Однажды ночью наставник грубыми движениями разбудил юношу, взвалил его на спину и вынес наружу, после чего, по словам Каспара, «стало совсем темно». Он не знал, сколько времени прошло после того, как неизвестный поднялся с ним вверх по холму или по лестнице, но затем его накормили, неизвестный поставил его на ноги и, обхватив сзади руками, стал учить ходить. Таким образом, кое-как переступая, Каспар продвигался вперёд. Неизвестный раз за разом повторял фразу о кавалеристе, пока мальчик не запомнил её наизусть, не понимая, что она значит. Каждая попытка поднять голову пресекалась окриком и приказом смотреть себе под ноги.
Затем они отправились в путь. Несколько раз, когда он уставал, его клали на землю вниз лицом, потом снова поднимали, и путь продолжался. Так они шли вдвоём два дня и две ночи. Несмотря на проливные дожди, они не останавливались на отдых в постоялых дворах, не разговаривали с встречными крестьянами, спали на голой и грязной от дождя земле. На третий день неизвестный переодел Каспара в чистую одежду, надел на него ботинки, после чего идти стало куда тяжелее; затем незнакомец, показав на ряды домов вдали, назвал их «большой деревней», научил, что спрашивать и как искать дорогу к Новым воротам, сунул ему в руки конверт и исчез навсегда.
Ансельм фон Фейербах отметил, что потрясение ребёнка, когда на него вдруг навалились звуки и краски внешнего мира, вполне естественно. Не исключено, что Каспара везли в телеге, пока он был в бессознательном состоянии, или в его питьё вновь подмешали опий. Поэтому определить, сколько времени продолжался путь, невозможно. Фейербах указал, что момент появления был выбран исключительно удачно – на Троицын день обитатели Нюрнберга имели обыкновение отправляться прочь из города, и шанс появиться незамеченными был велик. Биндер полагал, что неизвестный, доставивший Каспара в Нюрнберг, хорошо знал город и окрестности и, возможно, в прошлом служил в городском гарнизоне или в одном из квартировавших здесь полков.
С 18 июля 1828 до октября 1829 года Каспар жил у Даумера. У него появилась собственная комната и настоящая постель. Каспар уверял, что, лёжа в этой постели, он стал видеть сны. Уже к концу августа он научился говорить и писать (хотя и с орфографическими ошибками), связно выражать свои мысли, заинтересовался собственным прошлым и своей потерянной семьёй.
Следовало приучить Каспара к еде иной, чем хлеб и вода. Ему стали варить овощные супы на воде, постепенно увеличивая количество овощей, что он сам воспринимал как улучшение вкуса. Вместе с хлебом он приучался есть выпечку, сухие овощи, затем в суп стали добавлять несколько капель мясного бульона, а к хлебу – кусочки разваренного мяса. Это разнообразие скоро дало свой результат. Каспар начал расти, прибавив за год пять сантиметров.
17 октября 1829 года, в субботу, Даумер пошел на свою обычную утреннюю прогулку, в то время как его мать и сестра были заняты уборкой. Каспар отправился в уборную и там услышал тихое звяканье дверного колокольчика, словно бы придержанного рукой, затем увидел скользнувшую по двору тень. Он услышал крадущиеся шаги, которые затихли у двери в коридор. Каспар высунул голову в маленькое окно, выходившее на лестницу, и увидел человека, приникшего к стене и кого-то подстерегавшего. Как он вспоминал позднее, убийца был одет в щегольской чёрный костюм, тёмные панталоны, кожаные чёрные (или жёлтые) перчатки, начищенные чёрные изящные башмаки и чёрную же круглую шляпу. Лицо его было замотано чёрным шарфом, а в руках он сжимал широкий нож мясника.
Каспар почувствовал сильный удар в голову и, падая, услышал: «Ты должен умереть раньше, чем успеешь покинуть Нюрнберг!» Каспару показалось, что он узнал этот голос. Очнувшись, юноша понял, что лежит на полу, а лицо у него залито кровью. Кое-как он добрался до дому и, плохо понимая, что он делает, вместо верхнего этажа спустился в подвал. Позднее фрау Даумер, удивляясь, что Каспар не является к обеду, нашла его там по пятнам крови на ступеньках. На лбу у него зияла широкая, но неопасная рана размером с палец. В бреду он бормотал: «Чёрный… чёрный человек… как трубочист… заточён в погреб…»
После покушения бургомистр приставил к Каспару охрану. 15 июня 1831 года Каспар, гостя у фон Фейербаха, рассказал об одном странном инциденте. Когда он остался один, в дом вошли двое неизвестных. Один «весьма злобного вида», с усами и короткой бородой, стал расспрашивать Каспара, что он пишет. Каспар ответил, что автобиографию. Второй взял листы и принялся читать, в то время как чернобородый продолжал расспрашивать Каспара о его жизни. Неизвестного интересовало, часто ли Каспар ходит на прогулки, посещает ли школу и чему учится. Найденыш не скрывал, что выходит из дому редко, так как чувствует боль в ногах. Незнакомцы, закончив расспрашивать и читать, направились к дверям и спросили о небольшом строении во дворе. Каспар ответил им, что это уборная, затем ответил ещё на несколько вопросов. Когда же мальчик поинтересовался, откуда прибыли эти двое, то получил ответ, что они прибыли издалека и название места ему ничего не скажет, после чего ушли.
После Даумера Каспар жил у главы муниципалитета Иоганна Бибербаха. В марте 1830 года Каспара посетили лейтенант фон Пирх и следом за ним известный в то время берлинский комик Сафир. Они предположили, что Каспар, быть может, родом из Венгрии и немецкий для него не родной. Оба решили, что Каспар в детстве слышал, хотя и забыл, венгерские слова и выражения. Однако расспросы произвели гнетущее впечатление на Каспара, и их пришлось прервать. Вскоре Каспар встал на табуретку, чтобы достать с полки книгу, потерял равновесие и, чтобы не упасть, схватился за выступ стенной панели. Однако вместо этого у него в руках оказался заряженный пистолет, висевший тут же на гвозде, и по неосторожности Каспар выстрелил в себя. Пуля оцарапала ему лоб, и вбежавшие немедленно в комнату полицейские обнаружили Каспара на полу без сознания с залитым кровью лицом. Допускали, что это была попытка самоубийства.
После этого Каспар поселился у барона Готлиба фон Тухера. Там он встретил Филиппа-Генри, графа Стенхоупа и племянника Уильяма Питта-младшего. У этого лорда была далеко не блестящая репутация. 31 мая 1831 года он появился в Нюрнберге, собираясь «усыновить Каспара и забрать его с собой в свой замок в Кенте». Тухер ему поверил. Стенхоуп вскружил Каспару голову рассказами о «высоком положении», которое у него отобрали, но справедливость должна быть обязательно восстановлена. Каспар легко поддался на лесть, и их стали постоянно видеть вместе держащими друг друга за руки, причём лорд прилюдно обнимал и целовал мальчика, возбудив тем самым в городе сплетни о «неестественном характере» их отношений. Фон Тухер и Даумер были возмущены поведением лорда, но тот принялся хлопотать перед городским советом о передаче Каспара под его опеку. Получив ответ, что опекуну следует доказать свою платёжеспособность, он уехал в Мюнхен, затем в Инсбрук и вернулся с векселями на очень крупные суммы, выданными почему-то германскими торговыми домами. В это время Каролина, графиня Альберсдорфская, заявила, что Стенхоуп служит орудием кого-то, кто хочет оторвать Каспара от его друзей, чтобы убить мальчика.
В июле 1831 года фон Тухер вместе с Каспаром и полицейским офицером по имени Хикель предприняли поездку в Венгрию, но найдёныш не узнал ничего и не понимал местных наречий. В октябре того же года один венгерский аристократ с сыном посетил Каспара. Тот якобы вспомнил, что в детстве отзывался на имя Иштван и некоторые венгерские слова показались ему знакомыми.
В ноябре 1831 года лорд Стенхоуп отправился в Ансбах, в гости к фон Фейербаху, передав Каспару золотые часы, кольцо и цепочку, а также 500 гульденов наличными. Фон Тухер разрешил Каспару оставить у себя подарки, но деньги забрал, мотивируя это тем, что найдёныш был слишком молод, чтобы распоряжаться столь крупной суммой. Из-за этих денег Каспар впервые рассорился со своим опекуном, требуя, чтобы с ним перестали обращаться как с младенцем. Фон Тухер, понимая, что найдёнышу вскружила голову лесть, написал Стенхоупу отчаянное письмо, умоляя оставить Каспара в покое, но безрезультатно.
21 ноября 1831 года лорд Стенхоуп официально потребовал передачи ему опекунства над Каспаром, обещая дать тому достойное образование и воспитание. Попытки фон Тухера и фон Фейербаха собрать деньги по подписке в фонд Каспара Хаузера и, таким образом, обеспечить его будущее успеха не имели. Каспар 24 ноября поддержал просьбу лорда, и она была удовлетворена. 10 декабря лорд перевёз Каспара в Ансбах и поселил в доме школьного учителя Иоганна Георга Мейера, изводившего Каспара мелкими придирками. Для охраны Каспара в Ансбахе был назначен отставной солдат, который должен был раз в день посещать дом, чтобы убедиться, что с найдёнышем всё в порядке, и сопровождать его во время прогулок. Стенхоуп уехал 28 января 1832 года и прислал Каспару несколько сентиментальных писем, но больше не вернулся в Ансбах.
Тем временем распространились слухи, что Каспар на самом деле является наследным принцем Бадена (официально – умершим в колыбели в 1812 году). В марте 1832 года фон Фейербах поехал в Мюнхен, где беседовал с королевой Баварии Каролиной, и начал своё расследование. Он передал офицеру полиции Эберхардту портрет Каспара и прядь его волос, чтобы определить, не был ли Каспар ребёнком, родившимся у священника Гутенбера и девицы Кинингшайм. Но эта версия не подтвердилась.
Каспара определили переписчиком бумаг в ансбахский апелляционный суд. Работа занимала несколько часов в день, остальное время он продолжал брать уроки у Мейера. Четыре раза в неделю к Каспару ходил учитель латинского языка. 20 мая 1833 года он прошёл лютеранскую конфирмацию.
29 мая 1833 года фон Фейербах, разбитый параличом, скончался. Распространились слухи, что его отравили, так как он слишком близко подошёл к разгадке тайны Каспара Хаузера. Сам фон Фейербах тоже так думал. Правая рука уже не действовала, потому на листе бумаги он с трудом вывел левой: «Мне что-то подсыпали». Записка эта осталась в семье Фейербах и была затем утрачена. Врачи описали болезнь фон Фейербаха как «имевшую нервный характер», но причин её понять не могли. Трижды казалось, что полицай-президенту становится лучше, но всякий раз его состояние вновь резко ухудшалось. Каспар был глубоко потрясен известием о его смерти.
29 сентября 1833 года Каспару Хаузеру предположительно исполнился 21 год. Он совершил поездку в Нюрнберг, где встретился с Биндером и Даумером и был представлен королеве Каролине и её сыну, королю Людвигу. В октябре 1833 года лорд Стенхоуп объявил о возвращении в Ансбах и попросил найти для него гостиницу, но не приехал. В ноябре он вновь написал, что собирается в гости, на сей раз в сопровождении жены и дочери, и вновь обещания не сдержал. В начале декабря Хикель уехал из города. 11 декабря Каспар навестил его жену и во время визита обронил мимоходом, что один «знакомый» приглашает его в городской парк посмотреть, как будут копать артезианский колодец. Фрау Хикель посоветовала ему не ходить, а вместо этого посетить бал, который должен был состояться в ближайшие дни. Каспар последовал её совету.
14 декабря 1833 года Каспар до полудня работал в суде, затем отправился к пастору Фурману, чтобы помочь ему изготовить несколько упаковок для рождественских подарков. Закончив работу, в сопровождении пастора он покинул дом, но на полпути извинился, заявив, что ему нужно зайти к «юной фрейлейн», живущей по соседству, но в три часа дня направился прямиком в городской парк, где неизвестный, отведя его в укромное место под предлогом передачи некоего важного документа, ударил его в грудь длинным ножом. Мейер считал, что «Хаузер сам нанёс себе рану, чтобы снова вызвать к себе внимание». Когда Каспар в этот субботний день около четырёх часов пришёл, шатаясь, к Мейеру, тот не поверил его рассказу.
Он схватил Каспара, получившего, как выяснилось позже, четыре смертельных ранения, и заставил вернуться в городской сад (по другой версии, Каспар сам попросил Мейера побывать на месте преступления, чтобы рассказать ему о произошедшем в деталях, но малодушный профессор пытался уклониться от этой миссии). Всю дорогу Мейер выговаривал смертельно раненному Каспару за ослушание. Каспар смог пройти большую часть пути, прежде чем ноги его подкосились. Его отнесли в дом Мейера, где к Каспару вернулось сознание. Он рассказал, что к нему обратился человек в чёрном пальто с пелериной, в цилиндре, с усами и бакенбардами: «Не вы ли Каспар Хаузер?» Услышав ответ, незнакомец потребовал от Каспара обещания, что тот никому не расскажет о том, что ему предстоит узнать. Получив желаемый ответ от заинтригованного юноши, незнакомец вручил ему кошелёк с пурпурными кистями, тут же упавший на землю. Каспар, нагнувшийся за кошельком, немедленно получил удар ножом в бок, а незнакомец скрылся.