W latach 1819-1822 dla oddziałów pruskiej piechoty i artylerii zbudowano zespół obronny, złożony z gmachu koszar szkoły kadetów i obmurowanych wałów od strony Wisły. Obiekt historycznie zwany jest Koszarami Racławickimi. W latach, gdy budynek stanowił element fortyfikacji miejskich znajdowały się tu między innymi stajnie i budynki gospodarcze.
Ciekawostką fortyfikacyjną budynku była tzw. poduszka bombowa. Stanowiła ona „ślepą” kondygnację budynku, o wysokości ok. 2m, w całości wypełnioną mieszaniną gliny, piasków i popiołu, pomiędzy III i IV kondygnacją użytkową obiektu. Jej przeznaczenie było obronne, stanowiła ona tzw. strop przeciw-bombowy.

W latach 1921-1938 mieściła się tu pierwsza Szkoła Oficerska Marynarki Wojennej w Polsce, przeniesiona następnie do Tczewa, a obecnie mająca swoją siedzibę w Gdyni.
Po wojnie mieścił się tu internat Technikum Budowlanego. Od 1993 roku, po przeniesieniu internatu w inne miejsce, obiekt przez wiele lat popadał w ruinę.

W 2001 roku budynek Koszar Racławickich został sprzedany przez władze miejskie w celu adaptacji na hotel. W zespołach architektów i konserwatorów zabytków wypracowany został projekt hotelu, w którym połączono historię budynku z wymaganiami nowoczesnego obiektu hotelowego o wysokim standardzie.