Подскажите скрипт, команду или софт для работы с текстом

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 19/11/16 в 11:52       Ответить с цитатойцитата 

Задача такая
есть файл txt
в нем записи в таком формате

СЛОВО СЛОВО2 СЛОВО2
СЛОВО СЛОВО2 СЛОВО2
СЛОВО СЛОВО2 СЛОВО2

разделитель пробел или TAB

нужно, чтобы в каждой строке осталось только СЛОВО, а все после него удалилось
т.е. получить такой формат

СЛОВО
СЛОВО
СЛОВО

файл большой, 8ГБ с миллионами строк

чем можно сделать ?

Охуенный попандер, до 20$ за К неадалт

1
 



С нами с 14.10.03
Сообщения: 332
Рейтинг: 518


Передовик Master-X (01.10.2016)
Ссылка на сообщениеДобавлено: 19/11/16 в 12:08       Ответить с цитатойцитата 

Сделай масс реплейс " СЛОВО2 СЛОВО2" на "" icon_smile.gif

Пам пам

1
 



С нами с 11.10.12
Сообщения: 428
Рейтинг: 1032


Передовик Master-X (16.11.2012)
Ссылка на сообщениеДобавлено: 19/11/16 в 13:04       Ответить с цитатойцитата 

Код:

awk '{print $1}' < input.txt > output.txt

apache, bash, css, elasticsearch, html, js, mysql, mongo, nginx, php; *nix only

8
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 19/11/16 в 14:45       Ответить с цитатойцитата 

vi[:RuS] писал:
Сделай масс реплейс " СЛОВО2 СЛОВО2" на "" icon_smile.gif


так они разные
во второй строке уже будет СЛОВО4 СЛОВО5 и тд

я не правлино в первом посте написал
формат такой

СЛОВО_первое1 СЛОВО2 СЛОВО3
СЛОВО_первое2 СЛОВО4 СЛОВО5
СЛОВО_первое3 СЛОВО6 СЛОВО7
и тд

Последний раз редактировалось: Crimean (19/11/16 в 14:51), всего редактировалось 1 раз

Охуенный попандер, до 20$ за К неадалт

0
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 19/11/16 в 14:48       Ответить с цитатойцитата 

johndoe2: сколько стоит такое написать ?
+ удалить повторы
+ концу каждой строки прибавить .com .info и тд по выбору

чтоб с денвера или с консоли работало

Охуенный попандер, до 20$ за К неадалт

0
 



С нами с 11.10.12
Сообщения: 428
Рейтинг: 1032


Передовик Master-X (16.11.2012)
Ссылка на сообщениеДобавлено: 19/11/16 в 16:57       Ответить с цитатойцитата 

Crimean писал:
+ удалить повторы
+ концу каждой строки прибавить .com .info и тд по выбору


Код:

awk '{print $1}' < input.txt | sort | uniq | awk '$0=$0".com"' > output.txt


Если на винде - поставь cygwin. Там полный набор утилит

apache, bash, css, elasticsearch, html, js, mysql, mongo, nginx, php; *nix only

7
 



С нами с 25.08.08
Сообщения: 13260
Рейтинг: 778

Ссылка на сообщениеДобавлено: 19/11/16 в 17:00       Ответить с цитатойцитата 

если на винде, то просто импортируй как таблицу в майкрософт аксцессе
он тебе сразу и повоторения уберет.

-4
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 19/11/16 в 18:07       Ответить с цитатойцитата 

микрософт такие большие файлы не открывает

Охуенный попандер, до 20$ за К неадалт

0
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 19/11/16 в 18:10       Ответить с цитатойцитата 

johndoe2: это PHP ?

Охуенный попандер, до 20$ за К неадалт

0
 



С нами с 18.10.02
Сообщения: 3983
Рейтинг: 3246

Ссылка на сообщениеДобавлено: 19/11/16 в 18:16       Ответить с цитатойцитата 

это shell, открываешь терминал и запускаешь команду.

5
 



С нами с 11.10.12
Сообщения: 428
Рейтинг: 1032


Передовик Master-X (16.11.2012)
Ссылка на сообщениеДобавлено: 19/11/16 в 18:18       Ответить с цитатойцитата 

Crimean писал:
johndoe2: это PHP ?


Это стандартные команды *nix

apache, bash, css, elasticsearch, html, js, mysql, mongo, nginx, php; *nix only

-1
 

мы, цари - народ работящий!

С нами с 11.06.05
Сообщения: 11406
Рейтинг: 4097

Ссылка на сообщениеДобавлено: 19/11/16 в 19:09       Ответить с цитатойцитата 

звгони в excell с разделением по табуляции и удали колонки 2 и з

- отбор категорий в tube /делаем / даем работу

-1
 

UmbrellaCoders

С нами с 25.12.14
Сообщения: 602
Рейтинг: 441


Передовик Master-X (16.04.2017) Передовик Master-X (01.05.2017) Передовик Master-X (16.05.2017) Передовик Master-X (01.06.2017)
Ссылка на сообщениеДобавлено: 19/11/16 в 19:09       Ответить с цитатойцитата 

тот самый момент, когда ты жалеешь о том, что не юзаешь *nix shell trollface.png

Фарма под РФ, СНГ траффик. отчисления до 11к руб за ордер. icq 314-850

5
 



С нами с 21.10.09
Сообщения: 191
Рейтинг: 321

Ссылка на сообщениеДобавлено: 19/11/16 в 20:02       Ответить с цитатойцитата 

Если не подходит awk и прочие nix-утилиты (excel и access не подойдут на таком объеме), то легко сделать такое при помощи textpipe:



В other пишем пробел или иной разделитель.

8 gb - не проблема

Нишевые ENG-сателлиты - 100% уник. текст, теперь и ADULT

5
 



С нами с 04.03.07
Сообщения: 8340
Рейтинг: 5032

Ссылка на сообщениеДобавлено: 19/11/16 в 20:18       Ответить с цитатойцитата 

notepad++ выделение столбцом еще можно icon_cool.gif

Подпись сдается, пишите в личку!

-1
 



С нами с 21.10.09
Сообщения: 191
Рейтинг: 321

Ссылка на сообщениеДобавлено: 19/11/16 в 20:56       Ответить с цитатойцитата 

np++ 8 gb не откроет

Нишевые ENG-сателлиты - 100% уник. текст, теперь и ADULT

5
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 19/11/16 в 22:09       Ответить с цитатойцитата 

MattCutts писал:
(excel и access не подойдут на таком объеме), то легко сделать такое при помощи textpipe:

картинка не грузится,

textpipeом давно пользуюсь, но он не удвлет столбцы моя null версия почемуто )

other это где там ? icon_smile.gif

Охуенный попандер, до 20$ за К неадалт

0
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 19/11/16 в 22:10       Ответить с цитатойцитата 

за cygwin спасибо!

Охуенный попандер, до 20$ за К неадалт

0
 



С нами с 21.10.09
Сообщения: 191
Рейтинг: 321

Ссылка на сообщениеДобавлено: 19/11/16 в 22:44       Ответить с цитатойцитата 

Crimean писал:


other это где там ? icon_smile.gif


Remove fields

Нишевые ENG-сателлиты - 100% уник. текст, теперь и ADULT

5
 

Годзилла Аркадьевна

С нами с 23.03.05
Сообщения: 11446
Рейтинг: 2771

Ссылка на сообщениеДобавлено: 19/11/16 в 22:51       Ответить с цитатойцитата 

Я для подобных задач пользуюсь http://csved.sjfrancke.nl/

Монетизация любых Adult ресурсов

5
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 20/11/16 в 10:40       Ответить с цитатойцитата 

MattCutts писал:
Remove fields

вот такое только там


columns ничего не удаляет icon_confused.gif

Охуенный попандер, до 20$ за К неадалт

0
 



С нами с 21.10.09
Сообщения: 191
Рейтинг: 321

Ссылка на сообщениеДобавлено: 20/11/16 в 12:09       Ответить с цитатойцитата 

Crimean писал:
вот такое только там


columns ничего не удаляет icon_confused.gif


Delimeted fields

Тебе нужно удалить поля с разделителем на каждой строке. Разделитель в данном случае - это пробел. Сколько именно полей и с какого начинать - задаешь в настройках справа. Понятно? icon_smile.gif

Нишевые ENG-сателлиты - 100% уник. текст, теперь и ADULT

5
 

Инженер

С нами с 09.05.11
Сообщения: 525
Рейтинг: 32

Ссылка на сообщениеДобавлено: 20/11/16 в 13:30       Ответить с цитатойцитата 

Здесь было нативное виндоус решение.

Больше не будет. icon_smile.gif

-3
 

Мы Русские, с нами Бог!

С нами с 03.01.11
Сообщения: 11155
Рейтинг: 390

Ссылка на сообщениеДобавлено: 20/11/16 в 14:47       Ответить с цитатойцитата 

MattCutts: Спасибо smail54.gif icon_smile.gif

Охуенный попандер, до 20$ за К неадалт

0
 



С нами с 25.08.08
Сообщения: 13260
Рейтинг: 778

Ссылка на сообщениеДобавлено: 20/11/16 в 15:51       Ответить с цитатойцитата 

Crimean писал:
микрософт такие большие файлы не открывает

facepalm.gif

-1
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Опросы

Пользуетесь ли вы анонимайзерами?

  • Пользуюсь VPN, прокси
  • Использую анонимные сети (TOR и другие)
  • Не пользуюсь



Обсудите на форуме обсудить (64)
все опросы »