» Poradna » Programy

Utilita na vyhledávání a náhradu znaků v log souborech

 |   |  Microsoft Windows 8.1 Chrome 74.0.3729.169

Máte někdo tip na software, který prohledá velké množství souborů, nahradit části řetězců a umí využít pokud možno všechny systémové prostředky, potřebuju zanalyzovat cca 20GB logů, před tím, abych dostal ty hodnoty, co potřebuju je musím upravit, tj zkrátit některé řetězce - příkladpors/19-287567-179600 - 80pors/19-2876-179608 - 80pors/19-28556-1796518 - 80lab/19-287567-179600 - 80lab/19-2876-179608 - 80lab/19-28556-1796518 - 80potřebuju udělatpors - 80pors - 80pors - 80lab - 80lab - 80lab - 80skusil jsem to přes regulerní výrazy v pspadu, hw absolutně nevytížený, ale to by mi jelo dle toho, jak dlouho se dělal 1 log soubor cca měsíc. Pokud možno pro windows.

Odpovědi na otázku

 |   |  Microsoft Windows 10 Chrome 74.0.3729.169

awk nebo sednevím, jestli je i windowsová verze, ale s cygwinem respektive WSOL to nebude problém ani na widlích

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Linux Chrome 61.0.3163.79

Všechny tyto linuxácké utility lze pod windows používat pomocí http://win-bash.sourceforge.net/ A žádný cygwin není potřeba, jsou to všechno win .exe binárky....

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 7 Firefox 60.0

Nebo libovolny skriptovaci jazyk. Na logy je asi nejrychlejsi Perl, ale v pohodne to zvladne i treba Python.20GB jsou drobne, bezne zpracovavam i vetsi soubory.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 7 Firefox 60.0

PSPad a jine GUI editory nejsou k takovemu uziti vhodne - maji jine priority nez rychle nacist a ulozit obrovske soubory.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 74.0.3729.172

Doplnil bych pro WIndowsFreeware Command Line Sort Utility CMSorthttp://www.chmaas.handshake.de/delphi/freeware/cmsort/cm...

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Firefox 67.0

VIM by to možná mohl dát.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 74.0.3729.169

Díky všem za tipy, myslel jsem, že něco existuje s guičkem, tohle bude na trochu delší lokty

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 7 Firefox 60.0

Nebude - Jestli jsi schopny spustit "sed" pod Windows, nebo nainstalovat Python, tak ten zbytek uz bude celkem jednoduchy.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Linux Chrome 72.0.3626.122

Není důvod cpát GUI někam, kde jde o základní manipulaci s textem. Jo, je to na delší (možná i pětiminutové) lokty.    declare -ir LIMIT="$(nproc)"    declare -i nproc=0    find /adresář/kde/hledat -type f -iname '*.log' | while read file; do        sed -r 's|([^/]+)/.*( - [0-9]+)$|\1\2|' < "${file}" > "${file}.shortened" &        if ((nproc >= LIMIT)); then wait -n; else ((++nproc)); fi    done    waitTohle^^^ mi přijde paralelní až dost. Cestu/cesty pro hledání, glob i regexp je samozřejmě potřeba si poupravit podle potřeby. Opravdové zrychlení to přinese jedině s dost velkými soubory. S malými soubory převáží overhead na vytváření procesů. U velmi malých souborů může být nakonec rychlejší napřed celý adresář rekurzivně zkopírovat a potom editovat soubory jenom jedním procesem:    find /adresář/kde/hledat -type f -iname '*.log' -exec sed -i -r 's|([^/]+)/.*( - [0-9]+)$|\1\2|' '{}' +Zlatá střední cesta může být spustit tohoto^^^ několik instancí na několik adresářů s logy.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 7 Firefox 60.0

Nerad bych se pletl, ale mam takovy pocit, ze tvuj regularni vyraz neni idealni. Resp. bude fungovat pouze v pripade, se se ten retezec nebo jemu podobny na jednom radku nevyskytne vicekrat. Dalo by se to napsat lepe, "bezpecneji".Ale hlavne jsi prehledl, ze se tazatel ptal na Windows, takze tohle mu bude dost nanic (a ne, WSL neni spravna odpoved).

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Linux Chrome 75.0.3770.80

Výslovně jsem psal, že regexp je potřeba si poupravit podle potřeby.Na Shitdows se dá spustit aspoň základní rozumný unixový userspace už asi tak 10+ let, takže v tomhle bych opravdu neviděl problém.Jestli Shitdows něco nezvládnou ani po dlouhém hloubání a psaní do poradny, zatímco normální systém to dává jen tak jako vestavěnou samozřejmost, je to možná i tak trochu námět k zamyšlení, řekl bych.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 67.0

Widle hlavně docela dlouho uměly POSIX. Cygwin za rozumné řešení nepovažuji, zato WSL docela už jo, takže v tom problém nevidím.Jinak myslím, že to vůči Jirkovi trochu přeháníte. A vůči widlím také. Jednak já, a jsem si vcelku jistý, že ani vy, netušíme, jestli widle něco takového vestavěného mají. A jednak netuším, proč by systém pro běžné uživatele, takové věci měl mít - v mém Androidu bych sed nebo awk také nenašel. A když se nad tím zamyslím, sed jsem v posledním roce využil dvakrát, awk vůbec.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 67.0

já na podobný věci používám notepad++ ale jsou to vždycky jen html soubory s pár stovkama-tisícema řádek tak nevim. Výkon by mohl být lepší než pspad, mají i 64bit verzi..

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Edge 18.18362

grepVe W10 spustit bash (resp. doinstalovat).

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 67.0

Nevim jestli na 20GB... ale, notepad a F3? Najit a nahradit?

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 67.0

Nevím, jak do Find&Replace chcete narvat výraz, který je pokaždé trochu jiný.Krom toho notepad má s 20GB soubory skutečně problémy. Vezměte si nějaký 4GB film a otevřte v notepadu, abyste si to vyzkoušel.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Chrome 74.0.3729.169

Doporučuji na to python. Jde stáhnout i pro windows. Např. https://www.activestate.com/products/activepython/Skript na požadovanou náhradu je poměrně jednoduchý. Viz https://pastebin.com/5jWyc9f6 Podle komentářů a/nebo google (stackoverflow) to doladíš.

Souhlasím  |  Nesouhlasím  |  Odpovědět

Související témata: Utilita


Určitě si přečtěte

Antivir zdarma: 8 bezplatných řešení, která zatočí s havětí v počítači

Antivir zdarma: 8 bezplatných řešení, která zatočí s havětí v počítači

** Součástí Windows 10 je integrovaný antivirový program. Stačí to? ** Představíme vám sedm aplikací na boj proti virům a malwaru ** Všechny jsou k dispozici zdarma a některé ani nemusíte instalovat

Karel Kilián | 30

Wi-Fi 6 konečně začíná dostávat smysl. Poradíme, jak ji využít

Wi-Fi 6 konečně začíná dostávat smysl. Poradíme, jak ji využít

** Na trh míří první levné Wi-Fi 6 routery ** Nabídka zařízení, zejména notebooků, každý den roste ** Poradíme, jak nejlépe přejít s domácností na Wi-Fi 6

Tomáš Holčík | 28

Jak doma vylepšit signál Wi-Fi: Pomůže repeater, více routerů, ale nejlépe systémy mesh

Jak doma vylepšit signál Wi-Fi: Pomůže repeater, více routerů, ale nejlépe systémy mesh

** Máte špatný signál Wi-Fi? Mesh systémy to vyřeší ** Už vás nezruinují, meziročně ceny příjemně spadly ** Jak systém funguje a čím je výjimečný?

Jiří Kuruc | 106

Šmírování kamerami Googlu: Koukněte, co šíleného se objevilo na Street View

Šmírování kamerami Googlu: Koukněte, co šíleného se objevilo na Street View

Google stále fotí celý svět do své služby Street View. A novodobou zábavou je hledat v mapách Googlu vtipné záběry. Podívejte se na výběr nejlepších!

redakce | 6

Jak funguje kontroverzní program, který ženám krade plavky. Mají se čeho bát?

Jak funguje kontroverzní program, který ženám krade plavky. Mají se čeho bát?

** Strojové učení ještě nepřitáhlo takový zájem jako na začátku prázdnin ** Ne, umělá inteligence nenašla lék na rakovinu ** Naučila se svlékat ženy nejen z plavek

Jakub Čížek | 35


Aktuální číslo časopisu Computer

Megatest 20 procesorů

Srovnání 15 True Wireless sluchátek

Vyplatí se tisknout fotografie doma?

Vybíráme nejlepší základní desky