Как найти дубликаты в Excel. Поиск и удаление дубликатов в Microsoft Excel

При работе с таблицей или базой данных с большим количеством информации возможна ситуация, когда некоторые строки повторяются. Это ещё больше увеличивает массив данных. К тому же, при наличии дубликатов возможен некорректный подсчет результатов в формулах. Давайте разберемся, как в программе Microsoft Excel отыскать и удалить повторяющиеся строки.

Найти и удалить значения таблицы, которые дублируются, возможно разными способами. В каждом из этих вариантов поиск и ликвидация дубликатов – это звенья одного процесса.

Способ 1: простое удаление повторяющихся строк

Проще всего удалить дубликаты – это воспользоваться специальной кнопкой на ленте, предназначенной для этих целей.

Способ 2: удаление дубликатов в «умной таблице»

Дубликаты можно удалить из диапазона ячеек, создав умную таблицу.

Этот способ является наиболее универсальным и функциональным из всех описанных в данной статье.

Способ 3: применение сортировки

Данный способ является не совсем удалением дубликатов, так как сортировка только скрывает повторные записи в таблице.

После этого, повторяющиеся записи будут скрыты. Но их показ можно в любой момент включить повторным нажатием на кнопку «Фильтр» .

Способ 4: условное форматирование

Найти повторяющиеся ячейки можно также при помощи условного форматирования таблицы. Правда, удалять их придется другим инструментом.

После этого произойдет выделение ячеек с повторяющимися значениями. Эти ячейки вы потом при желании сможете удалить вручную стандартным способом.

Внимание! Поиск дублей с применением условного форматирования производится не по строке в целом, а по каждой ячейке в частности, поэтому не для всех случаев он является подходящим.

Способ 5: применение формулы

Кроме того, найти дубликаты можно применив формулу с использованием сразу нескольких функций. С её помощью можно производить поиск дубликатов по конкретному столбцу. Общий вид данной формулы будет выглядеть следующим образом:

ЕСЛИОШИБКА(ИНДЕКС(адрес_столбца;ПОИСКПОЗ(0;СЧЁТЕСЛИ(адрес_шапки_столбца_дубликатов: адрес_шапки_столбца_дубликатов (абсолютный); адрес_столбца;)+ЕСЛИ(СЧЁТЕСЛИ(адрес_столбца;; адрес_столбца;)>1;0;1);0));"")

После этих действий в столбце «Дубликаты» отобразятся повторяющиеся значения.

Но, данный способ все-таки слишком сложен для большинства пользователей. К тому же, он предполагает только поиск дублей, но не их удаление. Поэтому рекомендуется применять более простые и функциональные решения, описанные ранее.

Как видим, в Экселе есть множество инструментов предназначенных для поиска и удаления дублей. У каждого из них есть свои особенности. Например, условное форматирование предполагает поиск дублей только по каждой ячейке в отдельности. К тому же, не все инструменты могут не только искать, но и удалять повторяющиеся значения. Наиболее универсальный вариант – это создание «умной таблицы». При использовании данного способа можно максимально точно и удобно настроить поиск дубликатов. К тому же, их удаление происходит моментально.

Воспользуемся возможностями условного форматирования. Эту тему мы уже рассматривали в статье , а теперь применим для решения другой задачи.

Ищем повторяющиеся записи в Excel 2007

Выделим столбец, в котором будем искать дубликаты (в нашем примере это столбец с каталожными номерами), и на главной вкладке ищем кнопку «Условное форматирование». Далее по пунктам, как на рисунке.

В новом окне нам остается только согласиться с предлагаемым цветовым решением (или выбрать другое) и нажать «ОК».

Теперь повторяющиеся значения у нас окрашены в красный цвет. Но они разбросаны по всей таблице и это неудобно. Нужно отсортировать строки, чтобы собрать их в кучку. Обратите внимание, что в приведенной таблице есть столбец «№ п/п», содержащий номера строк. Если у вас его нет, его следует сделать, чтобы мы потом смогли восстановить исходный порядок данных в таблице.
Выделяем всю таблицу, переходим на вкладку «Данные» и жмем на кнопку «Сортировка». В новом окне нам нужно задать порядок сортировки. Выставляем нужные нам значения и добавляем следующий уровень. Нам нужно отсортировать строки сначала по цвету ячеек, а потом по значению в ячейке, чтобы дубликаты оказались рядом друг с другом.

Разбираемся с найденными дубликатами. В данном случае повторяющиеся строки можно просто удалить.

Обратите внимание, что по мере удаления дубликатов красные ячейки возвращают себе белый цвет.
Избавившись от цветных ячеек, снова выделим всю таблицу и отсортируем ее по столбцу «№п/п». После этого останется только поправить сбившуюся из-за удаленных строк нумерацию.

Как это сделать в Excel 2003

Здесь будет немного сложнее – придется использовать логическую функцию «СЧЕТЕСЛИ()».
Войдите в ячейку с первым значением, среди которых вы будете искать дубликаты.

Формат.
Условное форматирование.

В первом поле выберите «Формула» и введите формулу «=СЧЕТЕСЛИ(C;RC)>1». Только не забудьте вовремя переключить раскладку – «СЧЕТЕСЛИ» набирается в русской раскладке, а «(C;RC)>1» в английской.

Цвет выберите, нажав на кнопку «Формат» на закладке «Вид».
Теперь нам нужно скопировать этот формат на весь столбец.

Правка.
Копировать.

Выделяем весь столбец с проверяемыми данными.

Правка.
Специальная вставка.

Выбираем «Форматы», «ОК» и условное форматирование скопировалось на весь столбец.
Покоряйте Excel и до новых встреч!

Рассмотрим, как найти повторяющиеся значения в Excel , как выделить одинаковые значения словами, знаками , посчитать количество одинаковых значений , узнаем формулу для поиска одинаковых значений в Excel , т.д.
В Excel можно не только выделять и удалять дублирующие данные, но и работать с ними – посчитать дубли перед удалением, обозначить дубли словами, числами, знаками, найти повторяющиеся строки, состоящие из нескольких ячеек, т.д.

Как выделить цветом одинаковые значения в Excel условным форматированием, читайте в статье "Условное форматирование в Excel ".
Рассмотрим, как выделить и обозначить дубли. У нас такая таблица, в которой рассмотрим варианты работы с дублями. Дублирующие данные подкрасили условным форматированием.
Есть два варианта выделять ячейки с одинаковыми данными. Первый вариант, когда выделяются все ячейки с одинаковыми данными. Например, как в таблице (ячейки А5 и А8). Второй вариант – выделяем вторую и следующие ячейки в одинаковыми данными. А первую ячейку не выделять (выделить только ячейку А8). Будем рассматривать оба варианта.
Первый способ.
Как выделить повторяющиеся значения в Excel.
Нам нужно в соседнем столбце напротив данных ячеек написать слово «Да», если есть дубль, у ячеек с уникальными данными написать слово «Нет».
В столбце А устанавливаем фильтр. Как установить и работать с фильтром, смотрите в статье «Фильтр в Excel ». В ячейке B2 пишем слово «Нет».

Нажимаем два раза левой мышкой на зеленый квадратик в правом нижнем углу ячейки (на картинке обведен красным цветом). Слово скопируется вниз по столбцу до последней заполненной ячейки таблицы.
Теперь в столбце A отфильтруем данные – «Фильтр по цвету ячейки». Можно по цвету шрифта, зависит от того, как выделены дубли в таблице.

В таблице остались две строки с дублями. В верхней ячейке отфильтрованного столбца B пишем слово «Да». Копируем по столбцу.

Возвращаем фильтром все строки в таблице. Получилось так.

Мы подсветили ячейки со словом «Да» условным форматированием. Вместо слов, можно поставить числа. Получится так.

Этот способ подходит, если данные в столбце A не меняются. Или, после изменения, повторить процедуру с обозначением дублей.
Второй способ.
Как выделить повторяющиеся ячейки в Excel.
Установим формулу в столбце D, чтобы автоматически писались слова. Формула такая. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"Да";"Нет")
Копируем формулу по столбцу. Получится так.

Обратите внимание , что такое выделение дублей, выделяет словом «Да» следующие повторы в ячейках, кроме первой ячейки.
Слова в этой формуле можно писать любые или числа, знаки. Например, в столбце E написали такую формулу. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"Повторно";"Впервые")
В столбце F написали формулу. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"+";"-") Получилось так.

Идея.
Можно в таблице использовать формулу из столбца E или F, чтобы при заполнении соседнего столбца было сразу видно, есть дубли в столбце или нет. Например, создаем список фамилий в столбце А. В столбце B установили формулу.
=ЕСЛИ(СЧЁТЕСЛИ(A$5:A5;A5)>1;"+";"-") Если в столбце В стоит «+», значит такую фамилию уже написали.
Третий способ.
Посчитать количество одинаковых значений Excel.
Нам нужно не только выделить повторы, но и вести их подсчет, написать в ячейке их количество.
В ячейке G5 пишем такую формулу. =ЕСЛИ(СЧЁТЕСЛИ(A$5:A$10;A5)>1;СЧЁТЕСЛИ(A$5:A5;A5);1) Копируем по столбцу. Получился счетчик повторов.

Изменим данные в столбце А для проверки. Получилось так.

Ещё один способ подсчета дублей описан в статье "Как удалить повторяющиеся значения в Excel ".
Как посчитать данные в ячейках с дублями, а, затем, удалить их, смотрите в статье «Как сложить и удалить ячейки с дублями в Excel» .
Четвертый способ.
Формула для поиска одинаковых значений в Excel.
Нам нужно выделить дубли формулой в условном форматировании. Выделяем ячейки. Вызываем диалоговое окно условного форматирования. Выбираем функцию «Использовать формулу для определения форматируемых ячеек».
В строке «Форматировать формулу для определения форматируемых ячеек» пишем такую формулу. =СЧЁТЕСЛИ($A:$A;A5)>1 Устанавливаем формат, если нужно выбрать другой цвет ячеек или шрифта.

Нажимаем «ОК». Все ячейки с повторяющимися данными окрасились.
Идея.
Можно в условном форматировании установить белый цвет заливки и шрифта. Получится так.
Первые ячейки остались видны, а последующие повторы не видны. При изменении данных в первом столбце меняются и пустые ячейки, в зависимости от того, где находятся дубли.
Пятый способ.
Как найти повторяющиеся строки в Excel.
Нужно сравнить и выделить данные по трем столбцам сразу. У нас такая таблица.

В столбцах A, B, C стоят фамилии, имена и отчества. Чтобы сравнить сразу по трем столбцам, нужно соединить данные трех столбцов в одной ячейке. В ячейке D15 пишем формулу, используя функцию «СЦЕПИТЬ» в Excel. =СЦЕПИТЬ(A15;" ";B15;" ";C15)
Про функцию «СЦЕПИТЬ» читайте

Приветствую Вас, уважаемый читатель! Сегодня я Вам покажу программу, которая ищет одинаковые файлы на компьютере. Программа не только находит копии файлов, но и по желанию пользователя, тут же их удаляет. Очень удобно в этом плане. А копий файлов может столько накопится, что Вы даже не будете подозревать об этом. Просто они могут находится в разных папках и даже на разных дисках. Одними Вы может постоянно пользуетесь, а про их копии возможно и забыли.

Вот к примеру, скачали картинку с интернета использовали её в своих целях и забыли о ней. Через некоторое время Вам понадобилась эта картинка, а искать на компьютере лень. Легче найти её в интернете. Снова скачиваете и получаете уже существующий на компьютере дубликат файла.

Так же может произойти и с музыкальными файлами. Скачали в разные папки и считаете что он у Вас в единственном экземпляре. Многие пользователи ПК совершают одну ошибку. Когда зацепив какой-то файл левой клавишей мышки перетаскиваешь его в другую папку, находящуюся на другом диске, то происходит не перемещение, а копирование. А это значит что файл остался на прежнем месте, а в новую папку на другом диске попала его копия.

Получается что один файл лишний и только занимает свободное пространство в памяти компьютера.

Поиск одинаковых файлов

В этой программе есть гибкие настройки с помощью которых мы можем ускорить поиск.

Допустим ищем только на одном или двух дисках. Отмечаем их галочками и жмём кнопку «Сканировать »

Но при этом программа отыщет все файлы у которых есть копии. А нам это не нужно, потому что мы, к примеру, хотим найти только изображения.

Поиск по типу файла

В таком случае переходим на вкладку «Файлы и папки «. Отмечаем галочками формат файла. Изображения бывают разных форматов, но нам программа предлагает только четыре jpg, jpeg, gif, bmp. Это самые популярные форматы изображений, которые есть у практически у каждого пользователя.

Остальные которых нет в списке нужно прописать вручную. Жмём кнопку «Добавить » В открывшемся окошке прописываем нужный формат картинки. Например от программы Photoshop-(*.PSD)

Окей! Сканируем и получаем кучу копий для удаления. Стоп! А они ведь могут быть системные. Значит едем дальше.

Сканируем только нужные папки

Выберем отдельные папки для сканирования. Программа проверит только их. В нижней части программы есть настройка «Искомые папки » Отмечаем пункт «Только указанные папки » при таких параметрах диск во вкладке «Диски » можно не выбирать. Да, и не забудьте выставить галочку здесь «Включать эти папки, даже если соответствующий диск не выбран«

Сканируем и получаем результат. DupKiller по завершению проверки переключится на вкладку «Список » где будут показаны все найденные дубликаты файлов.

Файлы, в нашем случае, это картинки, отсортированы по группам. Группа состоит из двух или нескольких файлов. Они все одинаковые, так как являются копиями друг друга.

Какие файлы удалять?

Щёлкните по любому из файлов в группе, и в окошке предпросмотра Вы увидите миниатюру изображения. Теперь просто прокручивайте колёсико мышки, что бы передвигаться по списку и сравнивать копии между собой.

Вся информация о файле видна на экране программы. И даже если изображение не отображается в окне предпросмотра мы можем сравнить файлы по имени, размеру и типу. В первом столбце под названием «Путь» показано расположение файла.

Удаление одинаковых файлов

Смотрим на эти данные и выделяем по одному файлу в каждой группе. Теперь отмеченные файлы можно удалить нажав на кнопку «Удалить » или «» Так же для удаления можно применить клавишу на «Delete » на клавиатуре.

Если файлов для удаления слишком много, тогда лучше воспользоваться автоматическим удалением файлов. При этом Вы сами выбираете из какой папки удалять одинаковые файлы. как это работает? Выделяете правой клавишей мышки один файл в группе и нажимаете на кнопку «Автовыбор»

В появившемся окошке в верхнем блоке будут отображены пути к папкам в которых есть схожесть между файлами. В нижнем блоке прописаны те же папки, но не отмечены галочками. Нам нужно выбрать одну из этик папок в которой файлы должны быть удалены. Жмём «Ок»

Здесь ещё одна неприятность. Каждый раз при удалении одной из копий появляется окно подтверждения.
Замучаетесь подтверждать. Отключите это уведомление перейдя в настройки «Удаление » и снимите галочки с пункта «Спрашивать подтверждение перед удалением «

Ну, вот и всё. Я поверхностно Вам показал принцип работы программы DupKiller .

Есть желание покопайтесь в дополнительных настройках «Настройки поиска » и «Другие настройки «

А по мне она и так хорошо справляется со своей задачей.

Пишите в комментариях, как вам эта программа и как Вы чистите дисковое пространство то ненужных копий?

Это полезно знать:

Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
высокая скорость работы;
бесплатная и с поддержкой русского языка;
очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

ImageDupeless

Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.

Пример работы ImageDupeless

Кстати, вот небольшой пример личного испытания:

подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
галерея заняла: 71.4Мб
время создания: 26 мин. 54 сек.
время сравнения и вывода результатов: 6 мин. 31 сек.
результат: 961 похожее изображение в 219 группах.

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…