C# / VB.NET - Controllo esadecimale

Sono da un po' di tempo che sto provando a costruire un editor esadecimale in C#, l'unico problema è dal punto di vista delle prestazioni.
Il controllo esadecimale ha due RichTextBox (uno per il testo in Hex e l'altro ASCII).
Questo è il codice che ho scritto all'evento Load dell'User Control:

byte[] bytes File.ReadAllBytes(fileName);

//Testo in Hex
for(int i = 0; i < bytes.Length; i++)
{
richTextBox1.AppendText(bytes[i].ToString("x02");
} 

//Testo in ASCII
char[] chars =ASCIIEncoding.ASCII.GetChars(bytes);
for(int i = 0; i < chars.Length; i++)
{
richTextBox2.AppendText(chars[i]);
}

Qualcuno ha qualche idea su come leggere più rapidamente i file???

Io proverei ad usare uno StringBuffer per creare l'intera rappresentazione esadecimale e poi richiamare la funzione richTextBox1.AppendText(string), in modo da non doverla richiamare N volte.

Grazie mille per avermi aiutato!!!
Ora il programma non si incanta più!!!