Реклама на сайте Advertise with us

Как можно удалить повторяющиеся слова из текст. документа ?

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

Firestarter

С нами с 16.09.04
Сообщения: 3066
Рейтинг: 2960


Передовик Master-X (16.02.2005) Передовик Master-X (01.06.2005) Передовик Master-X (16.06.2005)
Ссылка на сообщениеДобавлено: 18/02/06 в 00:49       Ответить с цитатойцитата 

Есть файл с множеством слов / сочетаний цифр, нужно чтобы каждое слово/комбинация цифр присутсвовала только 1 раз в документе.
Может кто-нибудь в курсе как это можно осуществить ?
Может есть макрос типа search and remove duplicate words
/Искать одинаковые слова через search and replace не реально уж очень много разных слов повторяются/

Обмен Epass(+Biz) - Wmz - Finex - PayPal(4%!) + Ваеры.
Жду в аське 6759990 :)

0
 

Криптоботчик

С нами с 09.07.04
Сообщения: 8360
Рейтинг: 1162

Ссылка на сообщениеДобавлено: 18/02/06 в 01:01       Ответить с цитатойцитата 

Может не правильно понял...
Но вообще в блокноте есть функция заменить,меняешь повторные слова на пробел...

Криптоботы на заказ

1
 

Firestarter

С нами с 16.09.04
Сообщения: 3066
Рейтинг: 2960


Передовик Master-X (16.02.2005) Передовик Master-X (01.06.2005) Передовик Master-X (16.06.2005)
Ссылка на сообщениеДобавлено: 18/02/06 в 01:21       Ответить с цитатойцитата 

flashers писал:
Может не правильно понял...

Угу, неправельно понял.

В файле несколько тысяч слов, какие из них повторяются а какие нет я не знаю, но мне нужно чтобы каждое слово/комбинация цифр присутствовала всего 1 раз, т.е я не буду сам перебирать и сравнивать несколько тысяч слов на предмет повторения( т.к это займёт месяц, а может и больше), поэтому мне нужен макрос или прога которая это сможет сделать..

Обмен Epass(+Biz) - Wmz - Finex - PayPal(4%!) + Ваеры.
Жду в аське 6759990 :)

0
 



С нами с 07.02.05
Сообщения: 691
Рейтинг: 435

Ссылка на сообщениеДобавлено: 18/02/06 в 01:46       Ответить с цитатойцитата 

Код:
<html>
<head>
<title>Doubles</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<SCRIPT LANGUAGE="Javascript">
<!--
function dedupe_list()
{
   var count = 0;
   var mainlist = document.form1.mainlist.value;
   mainlist = mainlist.replace(/\r/gi, "\n");
   mainlist = mainlist.replace(/\n+/gi, "\n");
   
   var listvalues = new Array();
   var newlist = new Array();
   
   listvalues = mainlist.split("\n");
   
   var hash = new Object();
   
   for (var i=0; i<listvalues.length; i++)
   {
      if (hash[listvalues[i].toLowerCase()] != 1)
      {
         newlist = newlist.concat(listvalues[i]);
         hash[listvalues[i].toLowerCase()] = 1
      }
      else { count++; }
   }
   document.form1.mainlist.value = newlist.join("\r\n");
   alert('Removed ' + count + ' duplicate values from list. . .');
}
//-->
</SCRIPT>
</head>
<body>
<CENTER>
<FORM ACTION="" NAME="form1" ID="form1">
<TABLE BORDER=1 CELLPADDING=5 BORDERCOLOR="#FF0000" BGCOLOR="#FFFFFF">
<TR>
<TD>Paste list to be de-duped here<BR>(one value per line)<P><TEXTAREA NAME="mainlist" COLS=30 ROWS=20></TEXTAREA></TD>
</TR>
<TR><TD align="center"><input type="button" onClick="dedupe_list();" value="De-Dupe List!"></TD></TR>
</TABLE>
</FORM>
</center>
</body>
</html>

Только надо чтобы слова по одному на строку были

8
 

Firestarter

С нами с 16.09.04
Сообщения: 3066
Рейтинг: 2960


Передовик Master-X (16.02.2005) Передовик Master-X (01.06.2005) Передовик Master-X (16.06.2005)
Ссылка на сообщениеДобавлено: 18/02/06 в 01:50       Ответить с цитатойцитата 

WinXXXP писал:
.....
Только надо чтобы слова по одному на строку были

Слова разбросаны по всему файлу icon_sad.gif

Обмен Epass(+Biz) - Wmz - Finex - PayPal(4%!) + Ваеры.
Жду в аське 6759990 :)

0
 

Злостный выхухоль

С нами с 07.04.03
Сообщения: 4636
Рейтинг: 3207

Ссылка на сообщениеДобавлено: 18/02/06 в 03:26       Ответить с цитатойцитата 

А текст реальный? Т.е. со знаками препинания, абзацами и т.д.?

8
 

Firestarter

С нами с 16.09.04
Сообщения: 3066
Рейтинг: 2960


Передовик Master-X (16.02.2005) Передовик Master-X (01.06.2005) Передовик Master-X (16.06.2005)
Ссылка на сообщениеДобавлено: 18/02/06 в 03:41       Ответить с цитатойцитата 

Всем спасибо, уже не актуально, сам нашёл решение smail93.gif

Обмен Epass(+Biz) - Wmz - Finex - PayPal(4%!) + Ваеры.
Жду в аське 6759990 :)

0
 



С нами с 02.04.04
Сообщения: 298
Рейтинг: 56

Ссылка на сообщениеДобавлено: 18/02/06 в 17:00       Ответить с цитатойцитата 

просим озвучить!

0
 



С нами с 03.01.06
Сообщения: 99
Рейтинг: 34

Ссылка на сообщениеДобавлено: 18/02/06 в 17:10       Ответить с цитатойцитата 

есть такой замечательный редактор
UltraEdit
ultraedit.com

есть такая замечательная вещь, как "регулярные выражения"
(regular expression)
которые позволяют задавать условия поиска-замены сложных сочетаний

never happens

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »