Java - leggere txt - esaminarlo - scrivere su txt nuovo

Salve, come si intuisce dal titolo il programma che dovrei realizzare è il seguente:
Devo leggere un file (.txt) che ho (molto grande 10MB), all'interno del quale ci sono scritti dei dati che devo esaminare per poi restituire il risultato in un nuovo txt.
Per leggere il txt penso di utilizzare il BufferedReader e per restituire l'output il PrintWriter (corregetemi se sbaglio).
Il problema principale è esaminare il tutto all'interno del file? Come fare?
In questo file ci sono moltissimi dati (un dato per ogni riga) e devo confrontare solo alcune righe di questo file tra loro, per eliminare quelle che si ripetono.
Mi potete aiutare?
Grazie mille

puoi creare un array che conterrà tutte le righe senza ripetizioni.
Dunque inserirai volta per volta ogni riga letta in una variabile stringa temporanea.
La prima riga la scrivi direttamente nell'array ( in quanto non può essere doppione) dalla seconda in poi basta che controlli se essa è presente già nell'array di stringhe create: se è presente vai avanti, altrimenti, inserisci la nuova riga nell'array e vai avanti col procedimento.

Mi pare ci debba essere una funzione nativa di Java per controllare se un qualcosa sia presente tra gli elementi di un array ma non ricordo bene... prova a googlare

spero di essere stato d'aiuto

Risolto grazie lo stesso