C# / VB.NET - Eliminare elementi lista nella quale si sta iterando

Salve a tutti,
Se sto iterando con un For Each in una lista (List(Of T)), e all'interno del ciclo elimino un elemento della stessa lista nella quale ciclo, modifico in qualche modo il ciclo o continua normalmente?
In particolare, io faccio così

For Each Element as Object In Elements
      If Element.Proprietà = Valore Then
            Elements.Remove(Element)
      End If
Next

Posso farlo tranquillamente

Adesso sono di fretta e non posso testare, ma mi sembra che rischi l'eccezione in quanto mi pare cambino gli indici di posizione e lunghezza...

si mi è capitato un po di volte, restituisce un eccezzione come ha detto dedalux...

devi memorizzare gli indici degli elementi da rimuovere su un array e rimuoverli in seguito