C# / VB.NET - Numeri Random

Ciao a tutti, vorrei capire come posso creare e assegnare ad una matrice 24 numeri random tutti diversi?
Questa è la codifica

Randomize()
        For RigaCalc = 1 To 6
            For ColonnaCalc = 1 To 4
                Randomize()
                Matrice(RigaCalc, ColonnaCalc) = Int(Rnd() * 24) + 1
            Next
        Next

Ci sono diversi metodi, più o meno semplici. Uno abbastanza semplice è

1) assegna i valori da 1 a 24 agli elementi della matrice

2) scegli due valori random (uno per la riga e uno per la colonna)

3) scegli altri due valori random (uno per la riga e uno per la colonna)

4) scambia gli elementi puntati dalle due coppie di riga/colonna appena scelti

5) ripeti i punti 2,3, 4 per un certo numero di volte (100, 200 ...) abbastanza alto ...