Поиск дубликатов файлов в Linux

Недавно передо мной стала задача очистить от мусора свой дополнительный жесткий диск. Большое затруднение вызвало огромное количество дубликатов файлов. Дубликаты могут появляться при сохранении резервных копий на диск, одновременном редактировании нескольких версий одного и того же файла или при изменении структуры каталогов. Одни и те же файлы могут быть сохранены несколько раз с различными именами или в разных папках и только засоряют дисковое пространство. Охота на них каждый раз может стать большой проблемой. Но к счастью существует маленькая утилита которая может сберечь ваше время потраченное на поиск и уничтожение дубликатов файлов на компьютере — DupeGuru. Она написана на Python и распространяется под лицензией GPLv3. Время навести порядок и удалить старые файлы.

Установка DupeGuru

В Ubuntu необходимо добавить PPA репозиторий Hardcoded Software:

$ sudo apt-add-repository ppa:hsoft/ppa
$ sudo apt-get update

Затем можно устанавливать:

$ sudo apt-get install dupeguru-se

Использование DupeGuru

DupeGuru разрабатывался как быстрый и безопасный. Это означает что программа не будет работать без вашего вмешательства в вашей системе. И почти нет риска удаления файлов которые вы не собираетесь удалять. Но это все еще удаление поэтому нужно быть бдительным и осторожным. Не забываете делать резервные копии важных файлов.

Как только примете все меры предосторожности запустите DupeGuru командой:

$ dupegure_se

В первом окне вам нужно выбрать папки которые будут проверены на дубликаты:

После того как вы выберите каталоги и запустите сканирование DupeGuru начнет выводить обнаруженные дубликаты файлов на экран группируя их в списке:

Обратите внимание, что по умолчанию утилита ищет дубликаты не по названию, а по содержимому. чтобы вы не удалили чего нибудь нужного программа показывает точность совпадения. Выберите файлы которые хотите удалить, а затем нажмите кнопку Actions чтобы увидеть доступные действия:

Действий достаточно много. Вы можете удалить, переместить, игнорировать, открыть, переименовать дубликаты, или даже выполнить для них произвольную команду. Если вы решите удалить дубликат вы будете приятно удивлены доступным функционалом:

Можно не только отправить файл в корзину или удалить его на всегда, а еще оставить символическую ссылку на оригинал. Таким образом фактически на диске останется только один файл, но пользователь увидит два, это сэкономит место на диске. Это может быть особенно полезно если это файлы какой либо программы.

Также вы можете экспортировать результаты проверки в HTML или CSV файл. Не знаю зачем вам это может понадобиться, возможно вы просто хотите следить за дубликатами, ничего не удаляя.

И наконец последнее но не менее важное.

В меню настроек вы можете выбрать режим поиска по имени или содержимому, а также настроить порог схожести и количество результатов. Также здесь можно задать пользовательскую команду, которая будет выполнена для дубликатов.

Заметьте что по умолчанию программа игнорирует файлы размером меньше 10 килобайт.

Для получения более подробной информации, вы можете посетить официальный сайт 

DupeGuru достаточно мощный инструмент для продвинутых пользователей, и в тоже время интуитивно понятный для новичков. Еще одна фишка программы — кроссплатформенность. Это означает что вы можете ее использовать на компьютере с Mac и Windows. Если вы хотите найти дубликаты музыки или фото существуют специальные инструменты: DupeGuru-ME и DupeGuru-PE соответственно для работы с аудио и фото. Отличие от стандартной версии состоит в том что здесь принимаются в расчет особенности формата специфических метаданные такие как скорость воспроизведения и битрейт.