非表示ディレクトリを404エラーにするには

サーバ内で隠しておきたいディレクトリ(cgiやtestなど)にアクセスがあった際、「404エラー(Not Found)」にしたいのですが、どのように.htaccessを記述すればよろしいでしょうか。 (現在は403エラーになっています) 詳しい方、どうぞよろしくお願い致します。