Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

• Синхронизировать каталоги;
• Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

• Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
• Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»

Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

• «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
• «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
• «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .

Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»

В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

Проведение эффективной генеральной уборки на дисковом пространстве компьютера, наряду с использованием программ для автоматической очистки Windows, требует еще выполнения ручной работы по удалению ненужных файлов и файлов-дубликатов. Для отслеживания ненужных файлов предназначены специальные программы – анализаторы дискового пространства, они помогают отфильтровать содержимое дисков компьютера по определенным критериям (в частности, по весу), чтобы пользователь мог принять решение об удалении файлов или их оставлении. Для поиска дубликатов файлов также существует специальный софт – либо в виде отдельных программ или небольших утилит, либо в составе комплексного ПО для чистки и оптимизации Windows. Ниже рассмотрим пятерку программ для поиска дубликатов файлов. В пятерку вошли полностью бесплатные программы с поддержкой русского языка.

При проведении поиска дубликатов файлов на системном диске С лучше указывать не весь раздел целиком, а лишь отдельные папки, где хранятся пользовательские файлы. Дубликаты, обнаруженные в рабочих папках Windows, удалять нельзя. При обнаружении на диске С отдельных увесистых папок или файлов с незнакомыми названиями рекомендуется получить о них справку в Интернете.

1. AllDup

Программа AllDup оснащена множеством различных опций для тонкой настройки поиска дубликатов файлов. В числе настраиваемых опций – выбор метода сравнения, критериев поиска, приоритета проверки дубликатов, задействование исключающих фильтров, включение содержимого архивных файлов и пр. Предусматривается даже смена тем оформления и отдельных настроек интерфейса. Программа хорошая, правда, с несколько непродуманным интерфейсом. На ее панели инструментов все вкладки – хоть основных операций, хоть дополнительных функций – значатся как равнозначные. И чтобы помочь пользователю, впервые запустившему AllDup, освоить специфику программы, ее создатели оснастили интерфейс плавающим виджетом в виде краткого руководства, какой шаг за каким нужно сделать. Во вкладке «Исходные папки» указывается область поиска – разделы диска, подсоединяемые устройства или отдельные пользовательские папки на системном диске С.

Далее во вкладке «Метод поиска» устанавливаются критерии поиска. Здесь поиск дубликатов можно конкретизировать и к предустановленному критерию поиска по именам файлов добавить расширение, размер, содержимое и пр.

Результаты поиска дубликатов можно сортировать по размеру, пути, дате изменения файлов и т.п. Обнаруженные файлы можно удалять, открывать их расположение в проводнике Windows, применять прочие действия, предусматриваемые программой.

Чтобы вернуться к анализу результатов поиска дубликатов, выполненных AllDup, позднее, но не ждать завершения сканирования, текущие результаты можно сохранить в файл формата программы или экспортировать в файлы TXT и CSV.

У программы AllDup есть портативная версия, не требующая установки в систему.

2. Duplicate Cleaner

Еще одна функциональная программа для гибко настраиваемого поиска дубликатов файлов – Duplicate Cleaner. Программа Duplicate Cleaner существует в двух редакциях – в платной Pro и бесплатной Free. Хоть последняя и ограничена недоступностью некоторых функций, ее возможностей будет достаточно для эффективного поиска дубликатов. Duplicate Cleaner Free позволяет задавать критерии поиска по именам, содержанию, размеру, дате создания файлов. Предусматриваются дополнительные критерии поиска по данным аудиофайлов, а также фильтрация по типам контента и расширениям файлов. Все эти моменты настраиваются в первой вкладке программы «Критерии поиска».

Во второй вкладке программы – «Сканировать путь» – выбирается область поиска.

В окне результатов поиска дубликаты можно сортировать, удалять, открывать их расположение в проводнике, а также применять к ним прочие опции программы.

Результаты поиска Duplicate Cleaner могут быть экспортированы в файл формата табличных данных CSV. Экспорт данных осуществляется как для всего перечня дубликатов, так и для только помеченных пользователем файлов. Из преимуществ Duplicate Cleaner – удобный интерфейс и продуманная организация.

3. DupeGuru

DupeGuru – это простейший поисковик дубликатов файлов для тех, у кого нет времени или желания осваивать все тонкости функциональных узкоспециализированных программ типа рассмотренных выше. Внизу небольшого окошка программы выбирается область поиска и запускается сканирование.

Результаты поиска дубликатов могут быть отсортированы по пути размещения и размеру файлов. Контекстное меню результатов поиска DupeGuru содержит лишь необходимые для работы с найденными дубликатами операции.

Результаты поиска сохраняются в файл программы или экспортируются в HTML.

DupeGuru – кроссплатформенная программа, но под Windows адаптированы только ее старые версии. Предлагаемый на официальном сайте инсталлятор программы для Windows 7 подойдет также для версий системы 8.1 и 10.

4. CCleaner

На одном из этапов своего совершенствования популярнейший чистильщик для Windows CCleaner получил функцию поиска дубликатов файлов. Воспользоваться этой функцией можно в разделе «Сервис». Для поиска дубликатов доступны критерии поиска по именам, дате создания, содержимому файлов, их размеру.

Как и предыдущий участник обзора, программа CCleaner в среде результатов поиска дубликатов не особо богата функционалом, но базовые операции присутствуют. Это, в частности, сортировка результатов поиска и удаление файлов.

5. Glary Utilities 5

Комплексная программа для чистки и оптимизации Windows Glary Utilities 5 в числе арсенала содержит утилиту для поиска дубликатов файлов. Эту же утилиту при желании с официального сайта программы можно скачать отдельно, если не требуется всей мощи программного пакета.

Поисковик дубликатов в составе Glary Utilities 5 простенький, но удобный и настраиваемый. Сканирование дубликатов можно запустить сразу, выбрав лишь область поиска – разделы диска, съемные устройства или отдельные папки. А можно конкретизировать поиск, нажав кнопку «Опции».

В опциях настраиваются критерии поиска дубликатов – по именам, по размеру, по времени создания файлов. В отдельных случаях проведения тщательной чистки дискового пространства можно сменить предустановленный выбор поиска лишь среди распространенных типов файлов на сканирование всех типов.

Результаты поиска предусматривают только необходимые операции для работы с дубликатами, в частности, удаление и открытие пути размещения в проводнике Windows.

Для удобства пользователя найденные дубликаты Glary Utilities 5 каталогизирует по типам контента – документам, картинкам, видео, программам и т.п. По каждому типу отображается общий вес найденных файлов.

Отличного Вам дня!

Здравствуйте дорогие читатели. Сегодня мы с вами поговорим о дубликатах файлов, а также о методах борьбы с ними.

Исходя из самого названия вы, наверное, уже догадались, что это за файлы. Такие вот повторяющиеся файлы очень загрязняют жесткий диск, поэтому от них нужно периодически избавляться.

Дубликаты появляются на компьютере произвольно и из-за невнимательности пользователей. Хотя все мы люди и нам свойственно накапливать всякую всячину. Какой бы большой объем памяти не имел ваш жесткий диск – после удалению дубликатов он станет намного свободнее, нежели был до совершения этого процесса.

К большому сожалению, удаление дубликатов файлов невозможно произвести без посторонних программ. Разработчики Windows почему-то упустили этот момент, но люди нашли выход. В интернете есть масса бесплатных программ для избавления от дублирующих файлов. Ниже я приведу три лучшие из них, а также дам вам возможность их скачать.

CloneSpy

Очень простая и удобная утилита для очистки вашего компьютера от дубликатов файлов. После запуска CloneSpy производит поиск по контрольным суммам файлов, игнорируя при этом дату и время их создания, размер и т.д. Такой метод поиска дубликатов файлов позволяет сделать более точный и детальный поиск.

Но CloneSpy имеет также и минус, поскольку в результатах поиска, помимо копий может отобразить файлы с одинаковым именем.

Скачать бесплатно утилиту CloneSpy

Auslogics Duplicate File Finder

Более мощная программа поиска файлов-дублей. Делает детальный анализ жесткого диска на наличие одинаковых файлов, в конце которого вы получите список со всеми найденными дубликатами.

Я заметил, что Auslogics Duplicate File Finder хорошо специализируется на поиске мультимедийных файлов-дублей, а это гигабайты одинаковых музыкальных треков, фильмов, картинок и т.д.

Скачать бесплатно программу Auslogics Duplicate File Finder

DupKiller

Тоже очень хорошая программа для поиска и удаления дубликатов файлов. Очень понравилась функция установки процента допустимого совпадения, который вы можете установить вручную перед запуском анализа жесткого диска.

Одним из самых быстрых способов забить жесткий диск — хранение дубликатов файлов. Наверняка многие даже не подозревают об их существовании… они могут иметь разное происхождение: случайные копии, множество одинаковых загрузок и так далее. Одно можно сказать точно — они действительно могут создавать вам некоторые проблемы.

Множество дубликатов создаются из-за необходимости держать файл в «безопасности»… например перед редактирование документа я мог сделать копию на всякий случай, а потом забыть… или у меня уже есть такой документ, а я его еще раз скачал из почты. К сожалению таких дублей может быть очень много и получается что вы забиваете свободное место бесполезной информацией.

С помощью этих инструментов вы можете вычислить и удалить дубликаты файлов за считанные минуты и освободить много ценного места на жестком диске. Я буду рассматривать только бесплатные утилиты, поэтому вы ничего не теряете!

Поиск дубликатов файлов. Обзор лучших инструментов

Эта утилита наверное мой фаворит в инструментах для поиска и удаления дубликатов, потому что имеет массу замечательных возможностей: Она является кросс платформенной, полностью бесплатная, а так же имеет продвинутый алгоритм меток и отбора.

Что такое не явные дубли? Несколько одинаковых файла могут иметь разное имя. Например у вас на компьютере может быть два файла: пример-файла.avi и пример файла(1).avi — утилитка это прекрасно понимает и тоже может пометить их как дубликат.

Кстати утилита имеет и другие издания: Music Edition и Picture Edition, оптимизированные для поиска дублей графических и аудио файлах — даже если они записаны в разных форматах. Это очень важно, ведь именно аудио и графические файлы наиболее часто становятся дублями.

Duplicate Files Finder представляет собой приложение, которое осуществляет поиск дублированных файлов (которые имеют одинаковое содержание, но не обязательно с таким же именем) и позволяет удалить пользователю ненужные файлы.

Duplicate Files Finder может находить только точные дубликаты. Принцип ее работы — перебор всех файлов на компьютере по размеру и сравнение их по содержанию. С одной стороны это логично, но это совсем печально для видео и графики (ведь они в зависимости от алгоритма сжатия могут иметь разный размер) , но для всего остального программа просто отличная.

Благодаря такому алгоритму сравнения Duplicate Files Finder работает гораздо быстрее своих конкурентов.

AllDup является мощным инструментов для поиска дубликатов созданный одним человеком, Michael Thummerer. Утилита имеет ряд настроек для поиска дублей из: имени файла, расширения и типа данных, даты создания и изменения и еще много разных параметров.

AllDup имеет много полезных функций и большую гибкость в условиях поиска дубликатов, однако за функционал нужно заплатить. Интерфейс тут совсем не дружелюбный и это может загнать неуверенного пользователя в тупик. Однако если вы сможете разобраться в программе, то это приложение будет хорошим инструментом для поиска повторяющихся файлов.

Duplicate Cleaner требует тонкой ручной настройки, прежде чем вы сможете использовать функционал данной программы на все сто процентов.

При ручной настройке вы можете выбрать в какой папке нужно найти дубли, а не сканировать весь компьютер как предлагают нам некоторые другие программы. В итоге вы можете эти дубли удалить, переместить их все в отдельную папку или вместо них создать ярлыки на единственный нужный файл. В целом впечатления положительные — так что рекомендую.

Если вы пользователь Windows, и хотите избавиться от бесконечных копий изображений, то SimilarImages будет вам как никогда кстати. Изображения на мой взгляд самый частый источник дублированного контента на компьютере. Я например знаю что у меня есть куча дублирующихся фотографий в разных папках… а учитывая их количество разбираться с ними вручную у меня нет никакого желания.

Программа имеет гибкие настройки и может обнаруживать неточные дубликаты — это особенно актуально из-за присутствия артефактов появившимся в процессе сжатия изображения.

Самое замечательное в SimilarImages — она показывает вам два изображения когда находит дубли, и вы можете сделать вывод — оставить их или удалить дубль.

Заключение

Все как в реальной жизни, когда ненужное барахло создает ужасный беспорядок в вашем доме, так и дубликаты файлов могут накапливаться на вашем жестком диске. Такие файлы очень трудно удалить, потому что вы о нем забыли, а обычные программы для очистки системы не найдут их — так как они обосновалить на винчестере на вполне законных основаниях.

Используйте программы которые я вам перечислил для поиска дубликатов файлов чтобы освободить место на вашем жестком диске. Если вы знаете о других утилитах — поделитесь с нами в комментариях.

Вконтакте

Здравствуйте Уважаемый Друг.

При работе с файлами и документами, мы достаточно часто делаем резервные копии важных данных. В одной папке в другой в третьей… А потом даже забываем сколько копий того или иного файла мы сделали и где на диске они хранятся.

В результате свободное дисковое пространство отъедается ненужными копиями файлов и папок. Как же найти дубликаты файлов на всех ваших дисках и удалить их?

Всё очень просто, мы воспользуемся небольшой бесплатной утилитой с поддержкой русского языка – Soft4Boost Dup File Finder .

Скачать программу можно тут:

После установки программы откроется главное окно:

Если мы поставим галочку напротив пункта «Игнорировать имена файлов», то при поиске не будет использоваться совпадение имён файлов, поиск будет происходить по внутреннему содержанию файла. Это очень важно, ведь одинаковые файлы могут называться по-разному. Благо все подсказки в программе на русском языке.

Чуть ниже можно выбрать тип файлов для поиска дубликатов.

Выбираем нужные диски или отдельные папки (по нажатию на плюсики). Затем нужно нажать на изображение папки со стрелочкой вправо, чтобы добавить нужный список папок для сканирования программой.

В этом окошке выбираем способ удаления файлов. Первый вариант в корзину с возможностью восстановления. Нужно помнить, что размер корзины ограничен. Для того чтобы увеличить размер корзины, зайдите в свойства значка корзины на рабочем столе и установите размер в мегабайтах.

Также можно выбрать вариант безвозвратно, но я рекомендую сначала удалять в корзину. Если что то не так, то всегда можно восстановить файл.

Нажимаем кнопку «Поиск».

После того как сканирование закончится перед вами откроется окошко с найденными дубликатами файлов.

Выберите галочками файлы, которые нужно удалить и нажмите на кнопку в верхней части окна «Исправить проблемы», выбранные дубликаты удаляться.

Вот таким простым способом можно избавиться от многочисленных дубликатов файлов на ваших дисках.

Из минусов программы я бы отметил невозможность просмотра найденных файлов по нажатию двойным кликом мыши. Было бы очень удобно сразу же просмотреть файл и вспомнить, что это за файл такой.

P.S. Делитесь статьёй со своими друзьями в социальных сетях, все необходимые кнопки ниже. Чем больше людей меня читает, тем больше полезных материалов выходит.

Ну и, конечно же, не забывайте подписываться на мой YouTube канал: http://www.youtube.com/user/ArtomU

Вступайте в группу Вконтакте: