Po raz pierwszy nazwa miejscowości pojawia się w tzw. "przywileju mogileńskim" z 1065 roku (aczkolwiek zdania historyków są podzielone). W XIII-wiecznych źródłach pojawia się informacja o "byłym grodzie" Grudziądz. Gród powstał być może w czasach Bolesława Chrobrego a nawet wcześniej, znajdował się prawdopodobnie na terenie wzgórza zamkowego. Dotychczas przeprowadzone badania archeologiczne nie dały jednoznacznych dowodów na udowodnienie tej tezy. Gród chronił niewyraźnie jeszcze wykształconą granicę z plemionami pruskimi przebiegającą na niedalekiej rzece Osie. Następne stulecia przebiegały w ciągłych starciach z plemionami pruskimi. Gród grudziądzki był niszczony. W 1218 roku książę Konrad Mazowiecki nadał Ziemię Chełmińską biskupowi Chrystianowi. W 1255  roku Grudziądz przeszedł na własność Zakonu Krzyżackiego, znanego z prowadzenia szerokiej akcji osadniczej i budowlanej. Krzyżacy rozpoczęli budowę zamku, ustanowiono tu także komturstwo. Aż do lat 80-tych XIII wieku gród grudziądzki był jednak kilkakrotnie niszczony przez plemiona pruskie. W 1291 roku nadano osadzie pod zamkiem prawa miejskie.
   Mury budowano stopniowo zapewne od początku XIV wieku. Miasto miało kształt wydłużonego prostokąta. Od strony północnej, wschodniej i południowej istniały 2 linie murów. Mur wewnętrzny był wzmocniony  prostokątnymi basztami otwartymi od strony miasta. Jedynie baszta południowo-wschodnia miała plan zamkniętego czworoboku a baszta na północ od Bramy Bocznej była okrągła lub ośmiokątna. Mur zewnętrzny wybudowano  w drugim etapie budowy, prawdopodobnie około połowy XV wieku i zaopatrzono w baszty półokrągłe, otwarte od strony miasta, przystosowane już do prowadzenia ognia artyleryjskiego.

W średniowieczu istniało 5 bram miejskich:
1) Brama Toruńska
2) Brama Boczna
3) Brama Łasińska (Kwidzyńska)
4) Brama Wodna
5) Brama Zamkowa

BRAMA WODNA jest najlepiej zachowana. 1-piętrowa, z ostrołukowym przejazdem. Wybudowana na początku XIV wieku.
BRAMA ŁASIŃSKA stała w pobliżu obecnego Rynku Rybnego. Nie istnieje.
BRAMA BOCZNA stała w okolicy skrzyżowania ulicy Mickiewicza i Murowej. Zachowane są fragmenty fundamentów w piwnicach okolicznych kamienic.
BRAMA TORUŃSKA stała przy obecnej ulicy Klasztornej (Przychodni Lekarskiej). Zachowany jest łuk przedbramia nad fosą, w dużej części przekształcony w XIX wieku

   Od strony Wisły broniły miasta spichrze, wzmiankowane od 1365 roku. Dostęp do Wisły i wynoszenie nieczystości umożliwiała pomniejsza Furta Gnojna (6). Od strony północnej i wschodniej dodatkową osłonę stanowiła szeroka fosa. Od południa rolę fosy stanowił potok płynący od nieistniejącego już jeziora Tuszewo. Strumień zaopatrywał też miasto w wodę i stanowił siłę napędową młyna wodnego.

   Większość murów miejskich zburzono w połowie XIX wieku. Najlepiej zachowanymi fragmentami murów miejskich jest odcinek południowy i narożnik południowo-wschodni od bramy Wodnej aż do ulicy Szkolnej. Istnieją tu na pewnym odcinku oba pierścienie murów, fosa. Uwagę zwraca baszta narożna muru wewnętrznego i wieżyczka wodociągowa. Odcinki murów zachowane są także w ścianie kamienic przy ulicy Murowej i Tkackiej. Na podwórzu posesji przy ulicy Mickiewicza na północ od miejsca gdzie stała Brama Boczna, zachowały się relikty półokrągłęj baszty artyleryjskiej.