Like sein and haben, the modal verbs nearly always take the Präteritum — in conversation as well as in writing. (Ich habe kommen müssen exists, but it's a mouthful.)

The recipe is regular: drop the umlaut, add -te, then the endings you know from war and hatte.

Pronoun	können	müssen	dürfen	wollen	sollen
ich	konnte	musste	durfte	wollte	sollte
du	konntest	musstest	durftest	wolltest	solltest
er / sie / es	konnte	musste	durfte	wollte	sollte
wir	konnten	mussten	durften	wollten	sollten
ihr	konntet	musstet	durftet	wolltet	solltet
sie / Sie	konnten	mussten	durften	wollten	sollten

• No umlaut in sight: können → konnte, müssen → musste, dürfen → durfte.
• Mögen changes its g as well: mochte — Als Kind mochte ich keinen Spinat. (As a child I didn't like spinach.)
• As with war, ich and er / sie / es share a form: ich konnte, sie konnte.