Frank Bueltge hat ein ausführliches Tutorial zum Thema Plugin-Programmierung geschrieben.

Teil 0 – simples Plugin, Basiswissen
Teil 1 – Plugin schreiben, Tutorial, innerhalb „the loop“
Teil 2 – Plugin schreiben, außerhalb „the loop“
Teil 3 – Plugin schreiben, außerhalb „the loop“

Siehe auch:
Asymptomatic: How to Write a Simple WordPress Plugin
WordPress Codex: Plugin API