SPSiteやSPWebといった、SharePoint オブジェクトは、COMオブジェクトであるために、.NETのガベージコレクタではメモリが解放されません。
従って、きちんとDisposeをしてあげないといけないわけです。
Disposeをするタイミングについてまとまった記事があったのでご紹介します。
http://www.sharepointdevwiki.com/display/public/When+to+Dispose+SharePoint+objects
Disposeが正しく行われるようコードが書かれているかを自動的にチェックするツールが存在します。
私の環境ではエラーが出てうまく動いていません。。。