Согласно легенде замок был построен Утером Пендрагоном, отцом знаменитого Короля Артура. Однако даже если король Утер и является реальным историческим персонажем, то его правление всё равно датируется примерно V-ым веком нашей эры (периодом саксонского вторжения на Британские острова). Это предположение может доказывать лишь нахождение на месте нынешнего замка более раннего укрепления, возведённого либо до саксов (что подтверждается нахождением здесь монет периода Римской империи), либо самими англосаксами.
Нынешний замок имеет норманнское происхождение. Согласно историческим хроникам он был основан графом Честера Ранульфом де Жерноном (1099-1153) во время правления Вильгельма II, а вскоре в 1170-ом году его хозяином стал рыцарь Хью де Морвиль, Лорд Вестморлэнда. Затем владельцем Пендрагона был Робер де Ветерпонт, а после его кончины его супруга Леди Идеона, которую считают основательницей церкви Святой Марии, в близлежащем городке Отгилл.
В дальнейшем, также как и его соседи, замки Эпплби и Бро, Пендрагон стал частью владений знатного рода Клиффорд. В 1309 году Роберт Клиффорд удостоился королевской лицензии, на возведение замка крепости, однако сам он вскоре погиб в знаменитом сражении при Бэннокберне, и строительства замка было продолжено его сыном Роже. В 1341 году, во время очередного шотландского выступления против англичан, замок был захвачен и сожжён. Восстановление замка началось лишь в 1360-ые годы. В 1541 замок вновь был уничтожен огнём и пребывал в забвении до середины XVII столетия, когда его владелица Леди Анна Клиффорд, попыталась возродить его. Но после её смерти, всякие реставрационные работы прекратились окончательно и, к сожалению, к нашему времени от замка остались фрагментарные руины.
