Zbudowany został na planie kwadratu. Cztery skrzydła zamku otaczały wewnętrzny dziedziniec. Wysoka, 50-metrowa wieża posiadała wejście na wysokości drugiej kondygnacji. W narożach zamku umieszczono wieżyczki wysunięte poza linię murów zamkowych. Piwnice zamkowe pełniły rolę pomieszczeń gospodarczych. W poziomie przyziemia umieszczone były pomieszczenia o funkcji reprezentacyjnej: kaplica, refektarz, kapitularz, infirmeria, izba komtura i inne. Wejścia do nich prowadziły z krużganka okalającego dziedziniec. Druga kondygnacja mieściła w sobie: od strony dziedzińca magazyny i spichlerz, strona zewnętrzna to ganek obronny umieszczony wewnątrz murów zamkowych. Obok wieży głównej umieszczona była brama, do której podjeżdżało się przez most zwodzony. W skład całego kompleksu obronnego wchodziło także ufortyfikowane przedzamcze. Położone było pomiędzy miastem a zamkiem. Miało kształt litery „L”, mieściły się w nim stajnie, kuźnie, młyn i browar, spichlerze i mieszkania załogi zamku. Przedzamcze posiadało dwie bramy: od południa - prowadzącą do miasta i od północy - wiodącą do traktu toruńskiego. Całość chroniona była systemem fos, który pozwalał na szybkie piętrzenie wody i zatopienie okolicy wraz z częścią miasta.

Murowany zamek powstał w pierwszej połowie XIV wieku, według niektórych danych w latach 1312-1330 według innych w latach 1305-1317, a według T. Trupindy nie wcześniej niż w latach 30. XIV wieku. Na pewno w 1337 roku zamek był ukończony, ponieważ pomiędzy 1335 a 1337 rokiem utworzono w Brodnicy komturię krzyżacką. W kronikach odnotowany jest zapis dotyczący przyjazdu do Brodnicy wielkiego mistrza Wernera von Orselna i uroczystości konsekracji ołtarza w kaplicy zamkowej. W 1415 roku fortyfikacja została przystosowana do walk z użyciem broni palnej. Prace były prowadzone pod kierunkiem Mikołaja Fellensteina. Pierwszym komturem w Brodnicy (od 1337) był Fryderyk von Spangenberg. Po bitwie pod Grunwaldem zamek i miasto poddały się wojskom polskim, jednak w 1411 roku wróciły pod władzę zakonu. Komturzy sprawowali władzę na zamku w Brodnicy do 1454 roku, czyli do czasu zajęcia miasta i zamku przez oddziały Związku Pruskiego. W 1456 roku bulla papieska nakazywała zwrot ziem pod władzę krzyżacką. Podzamcze zostało zajęte przez czeskie wojska zaciężne w służbie zakonu (załoga polska na zamku poddała się dopiero w 1462 roku). Ziemie i zamek wróciły pod panowanie polskie po pokoju toruńskim w 1466 roku. Załoga czeska, pod wodzą Bernarda Szumborskiego opuściła zamek dopiero w 1479 roku (Krzyżacy zalegali z żołdem, oddziały czeskie zajmowały zamek żądając spłaty zobowiązań. Miało to miejsce dopiero w 1478 roku).

Pierwszym starostą króla polskiego został Wincenty ze Skępego. W latach 1485-1604 ziemie brodnickie znajdowały się w rękach rodu Działyńskich. Najpomyślniejszy okres dla miasta miał miejsce podczas pobytu na zamku Anny Wazówny, siostry Zygmunta III Wazy, która w 1604 roku otrzymała w posiadanie starostwa golubskie i brodnickie. Podczas jej życia nastąpił szybki rozwój tych regionów. Po jej śmierci (6 lutego 1625 roku na brodnickim zamku) rozpoczął się okres konfliktów zbrojnych niszczących gospodarkę.

Po pierwszym rozbiorze Polski Brodnica dostała się pod panowanie pruskie. W 1785 roku Prusacy nakazali rozbiórkę zamku i murów obronnych miasta. Dewastacja została wstrzymana przez króla Fryderyka Wilhelma IV w 1842 roku. Z zamku pozostała wieża i fundamenty oraz piwnice odkopane w 1940 roku. Prace konserwatorskie zostały rozpoczęte w 1953 roku i są kontynuowane.