加藤と申します。 データをプログラムの中で他に使うことがないのならば、 SQLに distinct や group by を使って重複のないデータを 取り出すのはいかがでしょうか？ 的外れかもしれませんが。