» Poradna » Hardware

Hardware vhodný pro práci s velkými daty

 |   |  Microsoft Windows 7 Chrome 83.0.4103.116

Můžete mi poradit, když pracuji na počítači s databázemi a velkými balíky dat, který hardware toto nejvíce ovlivní? Je to záležitost disku, RAM a nebo procesoru?Děkuji

Odpovědi na otázku

avatar
 | Microsoft Windows 7 Firefox 68.0

co se bude používat za software? Jde o "obyčejné" databáze a práce s čísly, stringy, nebo se bude dělat nějaká vizualizace dat?

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Chrome 83.0.4103.116

Práce s čísly, s textem, filtrování, vyhledávání. Databáze mají i desítky GB. Zajím.á mě hlavně když v nich hledám, tak který hardware by to urychlil. Jméno softwaru vám nic neřekne, ale podobný problém mám u velkých souborů v excelu, že přepočítávání dat trvá i několik minut

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 68.0

Excel má své limity, především má problém s využitím více jader CPU při výpočtech (hodně záleží na použitých vzorcích). Od určité velikosti tabulek je výrazně rychlejší právě databáze.Použitý SW je důležitý - jestli umí využívat více jader CPU, zda je 32/64-bit (32-bit má limit paměti 2 GB), apod.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 68.0

=> Jméno softwaru vám nic neřekne...Pre špecifický software je vhodné sa pýtať na správnom mieste. Možno vám povedia, že potrebujete k tomu mainfarame. Napríklad počasie sa v Česku počíta na superpočítači Amálka.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Chrome 81.0.4044.142

Tak v Excelu trvá práce s velkými daty výrazně déle, než když totéž třeba budu dělat v SQL... Ten program na to prostě není stavěný.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

V Excelu? Pak nejde o problem s HW, ale o problem s nevhodnym SW. Na praci s timhle je Excel naprosto nevhodny / neefektivni.Prostym prechodem na nejakou vhodnou DB (treba i zdarmovni) usetrite spoustu penez na HW.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 10 Firefox 78.0

Desitky GB jsou male databaze a vetsinou na ne staci bezne PC nebo maly server. Excel na tohle neni vhodny vubec.U databazi je primarni spravna struktura dat, pak spravne vytvorene indexy, pak spravne napsane SQL dotazy, pak mnozstvi pameti a pak rychlosti disku.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.116

Co ty víš, třeba ten tvůj tajemný SW tady někdo zná...ptáš se na něco a podceňuješ ostatní...?

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Macintosh OS X AppleMAC-Safari 5.0

No to bys to musel dost upřesnit... Co jsou to velké? Je reálné, aby se data vešla do RAM? Jaké úkony nad daty budeš provádět - jen něco hledat, nebo naopak třeba dat řadit, provádět nad nimi výpočty, komprimovat, hledat podobnosti, simulovat proudění kapalin a plynů, simulovat vývoj počasí...Na tom všem záleží a může ti na to stačit pc za 8t, nebo ti taky na to nemusí stačit superpočítač za stamiliony.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.97

Je to záležitost disku, RAM i procesoru

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Chrome 83.0.4103.116

A co týče disku, tak jaké parametry jsou pro takovou práci nejdůležitější, rychlost čtení či zápisu nebo spíš vyrovnávací paměť?

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.97

To samozřejmě záleží na tom jakým způsobem se bude s těmi daty pracovat, zda se bude hodně zapisovat nebo se bude převážně jen číst (vyhledávat). Obecně pro práci s databázemi čím rychlejší disk, tím lépe. Důležitá je hlavně rychlost sekvenčního zápisu a sekvenčního čtení. Vyrovnávací paměť si databázové programy obvykle vytvářejí v ramce, proto je vhodná velká ram.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 8.1 Chrome 84.0.4147.89

Sekvenční rychlosti jsou k ničemu.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.97

A pročpa asi? Databázové systémy pracují tak že načtou poměrně velké bloky dat do své souborové keše a teprve tam, v paměti, s daty pracují. Pak opět data po blocích zapisují.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 8.1 Chrome 84.0.4147.89

blok != sekvenční zápis

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 8.1 Chrome 84.0.4147.89

Paralelní práce s frontou - takže jakékoliv lepší NVMe. Ideální je Intel Optane, „lidovka“ jsou Samsungy PM983, protože mají garantované relativně vysoké množství přepisů.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Firefox 78.0

je to záležitost procesoru i ram .. ale dnes už i disku, kde sou data uložená.. chce to hodně RAM, rychlé M.2 disky a rychlej vícejádrovej procesor .. takže to buse stát spoustu peněz .. :))) jako vždy koukni na tohlehttps://www.cerebras.net/

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Chrome 83.0.4103.116

A ty M.2 disky, na to jsem včera narazil prvně. Na to bych ale potřeboval zase koupit novou desku, nebo existuje nějaká redukce?

Souhlasím  |  Nesouhlasím  |  Odpovědět
 | Android AppleMAC-Safari 5.0

Aha, vy pracujete s velkými databázemi, máte na to specifický software, o kterém zřejmě ani nevíte, jak se jmenuje, pracujete s tím i v Excelu, a na M.2 SSD jste včera narazil prvně. No, tím je asi řečeno vše - nechte to raději na někom, kdo tomu opravdu rozumí, než co celé nenávratně rozdrbete. Mimochodem - víte, co je to "záloha"?

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Chrome 83.0.4103.116

Dobře, tak když je to tak nutné vědět, tak se to jmenuje HLd2.018, ale jak jsem psal, k ničemu vám to nebude, protože je to software na zakázku a název vám nic neřekne.Dřív jsme to dělali všechno v excelu, dnes máme toto ale stejně je to pomalé. Rychlejší než excel ale pořád pomalé. Ale ta zásadní věc, co mě zajímá, jestli se tomu dá nějak pomoct hardwarem, a nebo je to bezpředmětné.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Macintosh OS X Chrome 81.0.4044.138

Tak pokud je ten SW takhle atypický, tak přesnou radu na dálku dá někdo asi těžko. Doporučuju spustit Správce úloh a sledovat při práci kartu Výkon. Ideálně pod Win 10, tam je myslím více možností, včetně vytížení GPU a HDD - to se může hodit. Zobrazit vytížení jednotlivých jader CPU a sledovat, jak se grafy budou při práci chovat. CPU, RAM, HDD, síť (jestli to běží po síti) . Tam, kde bude největší vytížení je pravděpodobně brzda. Pokud např. 4jádrový CPU bude ukazovat v zátěži celkové vytížení okolo 25-30%, rozdělené rovnoměrně mezi všechny jádra, tak ta aplikace běží v jednom vlákně a tam by pomohl nějaký vysokotaktovaný, ale málojádrový CPU. Vícejádrový CPU by nebyl přínosem. Taková situace by byla těžko řešitelná. Výkon jednoho jádra nelze šroubovat do nekonečna, kdežto mnohojádrových procesorů je na výběr dostatek.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 68.0

Pokud to je tedy zakázkový SW, nejlepší rady na zrychlení práce dá přímo autor programu - ten ví, umí-li jeho aplikace využít více jader CPU, jestli je úzké hrdlo rychlost disku, veliksot a rychlost RAM apod.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 | Android AppleMAC-Safari 5.0

Kdo tomu rozumí, tak pozná, v čem to bylo napsané a jaké to má HW nároky. Z vás to evidentně nikdy nedostaneme, takže znovu opakuji - nechte to na někom, kdo tomu doopravdy rozumí. Jak už bylo řečeno, můžete se obrátit i na toho autora programu.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

V jiném příspěvku jsi psal "Potřebuji to především na práci s databázemi, např. 1GB velké soubory." Takto "velký" soubor je samozřejmě prd, který se dá načíst najednou do paměti. Jakékoliv hledání v něm musí být max. do 1 sekundy vč. načtení souboru do paměti z SSD disku. Pokud to myslíš vážně, na zakázku ti udělám program na míru, který všechna data zpracuje do max. 10 sekund (odpovídající RAM, SSD a CPU).

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Linux Chrome 84.0.4147.89

Taky to asi bude záležitost dobré konektivity, že jo. Nicméně na takhle vágní dotaz se nedá nijak odpovědět. Taky je to záležitost replikace a redundance. Na tomhle světě neexsituje poskytovatel cloudových nebo obecně datových služeb, který by používal nějaké jednotlivé výjimečně obrovské počítače. Naopak drtivá většina slavných internetových poskytovatelů má (sta)tisíce až milióny strojů poměrně běžné velikosti (a software, zpravidla in-house, který s nimi dokáže rozumně pracovat).Někdo mylně považuje třeba terabyty za velká data. Inu, počítač s 2 TB RAM si dnes člověk může snadno koupit a dát na stůl, jako kterýkoliv jiný počítač.Pokud je řeč o petabytech nebo exabytech, začíná to být sice zajímavější téma, ale bez konkrétního dotazu (co se má vypočítat, kolik bude vstupních dat, jaký algoritmus nebo transformace na nich poběží, kolik bude výstupních dat) se nedá nijak spekulovat o konkrétním hardwaru.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Android AppleMAC-Safari 5.0

Obecně je samozřejmě potřeba co nejvíce RAM, ale je otázka, kolik bude schopen využít tvůj SW

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Android AppleMAC-Safari 5.0

Zpravidla 16 EiB.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Linux Chrome 80.0.3987.122

Asi ostatním neudělám radost, ale "tohle" je profláklý troll.https://www.zive.cz/poradna/stolni-pocitac-do... - jen příklad.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 | Microsoft Windows 10 Firefox 78.0

... a jak poznáš, že je to Troll? ...

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Linux Chrome 80.0.3987.122

Ten jeho e-mail poznám z jiných vláken s obdobnými "tématy". Ono se stačí se ta ten dotaz podívat.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Chrome 83.0.4103.116

To že jsem trol mi "ms" napsal už po třetím dotazu během jednoho roku. Asi existuje nějaká hranice, nejspíš 3 dotazy za rok, a když jich položíš víc, tak jsi trol..nebo nevím jak to funguje.Jestli je nějaký takový limit, tak by to mělo být někde uvedeno.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Chrome 83.0.4103.116

Jinak pro vysvětlení, ptal jsem se před několika měsíci na sestavu, protože počítač vypadal na odpis. Nakonec mi jeden šikovný člověk pomohl ho dát dokupy (nebyl to ms), ale pořád je to stará herka, nicméně než bych vrážel peníze do celého nového, tak jsem se rozhodl poptat po nějakém upgradu pro mé specifické účely.Tušil jsem že mě místní "guru" bude zase šikanovat (nejsem jediný komu to v dotazech dělá), ale lepší poradnu zaměřenou na PC prostě neznám, tak mi to promiňte.https://www.google.com/search

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 84.0.4147.89

Hmmm, tak to asi špatně hledáš. Např. https://pc.poradna.net/

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Android AppleMAC-Safari 5.0

Řekl bych, že naopak uděláš. Všichni, kteří neodpovídali, to tušili.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 79.0

Záleží na jaké DB stroji to pojede a jak pracuje s daty. Zda využívá všechny jádra CPU nebo jen jedno, zda všechna data natáhne do RAM a tam s nimi pracuje nebo to všechno řeší na disku. A hlavně co s těmi daty chcete dělat. Excel je celkem Out pokud se jedná o velké množství dat. A někdo to tu psal může stačit PC za pár korun nebo server za balík.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.106

Technicky na velikosti v GB moc nezalezi (maximalne se cela databaze nevejde do pameti). U databaze jde spis o pocty zaznamu (v miliardach zaznamu se hleda relativne pomaleji, zvlast pokud nejde pouzit index), jejich strukturu (je dost rozdil mit 3 int polozky a treba 70 intu, stringu, datetimu, atd. na radku), indexy*, typy dotazu (tuny joinu, atp.) a tak dale. Pokud jde o nedatabazova data, tak opet zalezi o co jde - jine je zpracovavat 5 udaju o teplote kazdou sekundu a jine analyzovat 4K video sekvenci v realnem case, a tak podobne.* spatny navrh databaze/indexu muze bezne znamenat potrebu X krat vykonnejsiho HW

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Pro filtraci/vyhledání můžeš k Excelu (Power Query) snadno připojit externí soubory, včetně textových, bez jakýchkoliv omezení. Výstup máš pak v Excel tabulce (pokud výsledek nepřekročí 1 048 576 řádků a 16 384 sloupců). Samozřejmě to není moc svižné a hledání chvíli trvá. Někdy ale nejsou dost rychlé ani běžně používané databáze. Ideální je samozřejmě "narvat" všechna data do paměti, setřídit a pak v tom hledat. Při použití C++/x64 ASM to pak vyhledá data do několika sekund. Sám jsem opakovaně (14 268x) hledal v souboru 4GB (35 702 067 GPS souřadnic) a včetně vynesení tras na mapu světa to trvalo cca 3 sekundy. Pokud se data nevejdou do paměti najednou, má na rychlost zpracování zásadní vliv rychlost disku. Pokud se velkými soubory zabýváš často, doporučuji pořídit PC s RAM, aby se tam najednou vešel celý soubor. Data je samozřejmě dobré mít na rychlém SSD NVMe disku, já např. na NB s 24 GB RAM používám Samsung NVMe SSD 960 PRO. Ve Windows 10 lze jedním příkazem (C++) načíst do paměti 2 501 566 399 bytů, což taky zásadně urychlí zpracování, než data načítat po jednom řádku. Jak máš velké soubory, konkrétně kolik GB ?

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

Používat Excel na geodata je jeden z nejhorších nápadů - od tohohle jsou geodatabáze a patřičné programy. To je jako míchat beton na základy rodinného domu v kýblu pomocí vrtačky s nástavcem - ono to taky jde, ale dělat bych to tak nechtěl... I když je jako moc "super", že nepotřebuju kupovat ani učit se se specializovaným nástrojem (zde míchačka na beton)... ani platit odborníka...

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Ty geodatabáze, např QGIS jsou úplně na ... Jen pouhé načtení dat trvalo asi 45 minut. Zpracování jsem po 2 hodinách vzdal...

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Ještě doplním, že Excel umí standardně zobrazit data na mapě světa viz Vložení a 3D mapa .

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

to je tím, že s tím prostě neumíš pracovat - ono to taky není žádná sranda - ale serverovým specialistou se taky nestaneš za týden i kdybys byl na Windows PC power user. Sorry. Takže si přiohýbáš nástroje které znáš, lepíš na ně nadstavby apod. Odborník nic takového v životě v Excelu dělat nebude.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Nemyslím si, že jsem nějaké ořezávátko, i když nejsem expert na databáze. Data jsem převedl do nativního formátu QGIS. Zkus si to sám. Vygeneruj si náhodně 50 mil. GPS souřadnic a pak v tom něco v QGISu hledej... .

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

však říkám, to není něco, co by ses naučil za chvilku. A není to nic, za co by se člověk styděl. Když jsem se jednou chtěl naučit dělat něco v 3D modeleru, tak jsem si zpočátku připadal jak retard s Malováním.... a ani po několika týdnech občasného učení to pořád není nic moc...U jakýchkoliv DB dat, co se nějak vykreslují, brutálně záleží na tom, co "skrytě" běžící DB posílá k vykreslení a jak se to překresluje. Google maps ti taky na satelitní mapě Evropy nevykresluje data pro podrobné zobrazení, ale natáhne si "méně kvalitní" a mnohem méně objemná data pro méně podrobné měřítko.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Usnadním ti to, reálná data s GPS souřadnicemi si můžeš stáhnout v odkazu nížehttps://www.aoml.noaa.gov/phod/gdp/Ideálně všechna data ze čtyř souborů *.dat.gz sluč, po jejich rozbalení, do jednoho souboru a s tím pak pracuj .

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

a jak pracovat? Tohle přece nebudu celé vykreslovat. Jsou toho 3 (_!_), takže na mapě celého světa to stejně nebude vidět celé a pokud to je potřeba nějak filtrovat, tak to nejdřív vyfiltruju a pak teprv budu výsledek nějak dozpracovávat. Konkrétní postup bude záviset na tom, k čemu to má být...

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Z dat tras NOAA bójí lze zpětným hledáním zjistit nejpravděpodobnější místo (čtverec o souřadnicích 1°x1°), kterým musely projít všechny nalezené bóje, které z tohoto místa současně dopluly do blízkosti +-2° všech 12ti míst s nalezenými troskami letu MH370. Daný čtverec tedy bude obsahovat největší počet nalezených bójí (to lze zajistit násobením počtu nalezených bójí k jednotlivým troskám, pokud se v daném čtverci nenajdou bóje, které odtud dopluly ke všem nalezeným troskám bude součet bójí 0, tj. "sčítat" lze jen nenulové výsledky). Úlohou je zjistit nejpravděpodobnější místo, tj. souřadnice čtverce 1°x1° v Indickém oceánu, např. 36S 102E v oblasti 0-40S a 80-108E, čísla konkrétních bójí, které splňují všechny výše uvedené podmínky a závěrem vykreslit jejich trasy na mapě světa. Svůj výsledek samozřejmě znám včetně mapy s vykreslenými trasami, který zde pak mohu uveřejnit.Souřadnice 12ti nalezených trosek:float debris[12][2]{ {-20.916, 55.649}, {-34.094, 22.150}, {-25.060, 33.696}, {-22.089, 35.519}, {-19.739, 63.472}, {-20.023, 57.701}, {-25.863, 32.746}, {-20.522, 57.538}, {-24.078, 35.500}, {-5.077, 39.851}, {-16.849, 49.808}, {-23.739, 35.399}};

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

tohle mi přijde jak nějaká analýza trajektorií - něco jsem o tom svého času četl:https://anitagraser.com/2018/12/02/movement-data-... https://anitagraser.com/movingpandas/ale ono je to dost o zpracování dat ve smyslu matematiky a algoritmů, což není zrovna moje parketa. Podstatné ale je i to, že není potřeba ta data načítat do mapy, ani je vůbec nějak vykreslovat na to, abys je mohl analyzovat. Protože to načítání a vykreslování sežere spoustu výkonu.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 10 Firefox 68.0

Tohle jsme tady pred lety resili, dokonce mam jeste nekde ten kousek kodu, ktery jsem mu na to psal... Myslim ze to bylo prave filtrovani relevantnich souradnic.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Řešili, řešili, ale nikdo to nevyřešil...

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 10 Firefox 68.0

A ten muj skript na filtrovani dat jsi pouzil? Pokud se spravne pamatuju, tak ses pak uz neozval.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Před rokem se na to vrhlo hodně expertů, kteří řešili načtení velkého souboru a prvotní hledání viz dotaz "C++ Načtení velkého souboru najednou" https://www.zive.cz/poradna/c-nacteni-velkeho... Skript jsem nezkusil, protože jsem tehdy nevěděl, jak ho spustit ani jak ta data načíst. Pod Windows 10 mám na NB dostupný PowerShell nebo DOS okno.Zajímalo by mě, zda by někdo podle nového zadání data vyhledal a napsal sem co mu vyšlo - konkrétní čtverec v Indickém oceánu o velikosti 1°x1°. Pak jsem dám své řešení včetně vynesených tras bójí na mapě světa a můžeme to porovnat .

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 10 Firefox 78.0

Psal jsem ti uz tenkrat, ze ten skript dokaze vyfiltrovat zajimava data (spadajici do konkretniho ctverce podle souradnic) z 5GB souboru za cca 2 minuty (na starem PC s plotnovym diskem). Dal jsem ti skript i prikaz pro jeho spusteni. Nevim, co vic. Pokud jsi ho nedokazal spustit, stacilo se zeptat.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Teď jsem to znovu zkoušel spustit vlastní program C++/x64 ASM na NB a výběr dat (z 22 795 bójí s 35 702 067 GPS souřadnic) včetně vynesení tras nalezených bójí na mapu světa trvalo 5 sekund .

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

ty ale pořád nechápeš, že ty ten soubor nemusíš načítat celý. Pro filtrování souřadnic co spadají do určitého rozsahu můžeš využít konzolovou aplikaci, co pojede na totálním šrotu a bude tupě číst ze vstupního souboru dat řádek po řádku a volit, zda daný řádek do výstupu zapíše (data odpovídají podmínce) nebo nezapíše (vyhodí). Myslím, že podobný skript mi někdo svého času navrhl tady nebo na StackExchange. Proti Excelu to bylo o několik řádů rychlejší, navíc u takhle velkého souboru míval Excel tendenci někdy spadnout při načítání, v průběhu operací, nebo při ukládání...

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Programováním se denně nezabývám. Rád si ale nechám poradit, jak na to . Těžko lze ale nějak jednoduše vyfiltrovat data. V daném případě musíš projet všechna data a v prvním kroku vybrat bóje, jejichž trasa splňuje podmínku, že se dostaly do vzdálenosti <= +-2° od některé z 12ti nalezených trosek. Je také nutné počíta pouze s pohybem bóje z východu na západ. V dalším kroku je potřeba si vytvořit tzv. "heat mapu" Indického oceánu, zapisovat do ní počet nalezených bójí v daném čtverci 1°x1° a současně aktualizovat souřadnice buňky (a čísla konrétních bójí) s nejvyšším počtem nazených bójí. Postupně by to asi zvládl i Excel (Power Query), ale trvalo by to. Textová data lze do Excelu snadno externě připojit a pak v nich hledat.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.116

Data sa daju vyfiltrovat pomerne lahko, napriklad SQL databazy maju na to specialny jazyk, ktory sa neprekvapivo vola SQL (structured query language) , ktory ma iba 4 prikazy (SELECT, INSERT, DELETE, UPDATE) a ktory je prave urceny na taketo ulohy a v geometricky nasobne vacsich objemoch dat, ktore ty mas k dispozicii.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

tohle jsem párkrát dělal v SQL. Data defakto můžeš "přesypávat" z jedné DB do druhé, v druhé jsou jen data splňující podmínky. Jak jsem psal, tohle jde udělat i konzolovým skriptem a s daty v textovém formátu (CSV apod.), načítá se to řádek po řádku, takže je to "blbuvzdorné" a rychlé. Pokud se nepletu, tak Jirka Vejrazka ti na to ten skript snad i napsal.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

Loni napsal Vejrazka:https://pastebin.com/mpG4sAp2ma to o tri radky vic, nez jsem vcera avizoval, protoze jsem tam pridal mereni casu zpracovani.Pousti se to "pypy bojky.py <jmeno_DAT_souboru> <lat_min> <lat_max> <lon_min> <lon_max> > filtrovany_vysledek.txt"pypy jsem na svém NB neměl a odkaz na script již dnes nefunguje... Bylo by bezva, pokud by Vejrazka mohl upravit script podle plného popisu, co to má najít viz v tomto vlákně výše. Ideálně by stačilo (pro kontrolu) zde napsat jaký čtverec 1°x1° to našlo a případně i čísla bójí, je jich jen několik . pomohlo by to ověřit, že jsem se nikde nesekl.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Firefox 78.0

S matematikou a algoritmy to nemá celkem nic společného, jde o výběr/filtraci dat s více podmínkami ze souboru .

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

tak ale na to je databáze jak dělaná. Ale jak říkám, je pitomost to všechno načítat a zobrazovat. S těmi daty můžeš pracovat v nějaké SQL databázi (poněvadž jde o prostorová data, tak asi PostGIS), aniž by se v průběhu filtrování něco zobrazovalo. Do mapy si načteš až výsledek. A nepotřebuješ na to celé žádný komerční software, dokonce ani komerční OS ne. SW výbava může být komplet zdarma...

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.116

SQL databazy ako je MS SQL, Oracle a dalsie nativne podporuju pracu so suradnicami.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

včetně prostorových dotazů? Samozřejmě, že můžeš se souřadnicemi pracovat jako s čísly, ale dokážou ty databáze pracovat s elipsoidem?proto se používají věci jako Postgis:https://postgis.net/

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 10 Firefox 68.0

Ano, vsechny maji sve "spatial" nadstavby.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

Ok, nadstavby. Na druhou stranu celkem mne nenapadá důvod, proč bych měl volit proprietární MS SQL nebo Oracle, když to můžu postavit na otevřených standardech s Postgre/Postgis a zobrazení pro online klienty třeba použít GeoServer... To jsou celkem vyzkoušené cesty. Ale to už jsme celkem odběhli od tématu.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.116

Ja len doplnim alebo poopravim kolegu Vejrazku, ze MS SQL nepotrebuje nadstavbu, Chapem,ze ako kovany Linuxak (ja som Wintelak, ale som aj registrovany Red Hat Solutions Provider ) mas obscesiu na open source software, ale keby som si mal vybrat medzi MS SQL a PostreSQL a MS SQL, bez vahania vyberiem MS SQL...

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 10 Firefox 78.0

Diky, vim ze u Oracle je to volitelny doplnek, u MS SQL jsem si nebyl jisty.

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Linux Firefox 78.0

mno, obsesi na OSS nemám, ale bohužel vím, kolik stojí proprietární řešení Microsoftu a pokud jsme u toho online "GUI" tak Esri. Takže to vždycky skončilo u GeoServeru apod. a upřímně řečeno, na serveru - pokud nepotřebuju MS specialitky typu Exchange tak jednoznačně upřednostním Debian, případně CentOS (ale ne Debian je mnohem víc informací a umí ho víc lidí).

Souhlasím  |  Nesouhlasím  |  Odpovědět
avatar
 | Microsoft Windows 10 Firefox 78.0

PostGIS je taky nadstavba nad PostgreSQL - u Oracle a MS SQL je princip uplne stejny. Jestli PostGIS nebo Oracle Spatial je samozrejme volba kazdeho. Kazdy ma jine potreby, pozadavky a moznosti.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 10 Chrome 83.0.4103.116

Nie s cislami, normalne suradnicami. MS SQL ma data typu geometry (suradnice vyjadrene cislami) a geography (suradnice) , ktore su nativnou sucastou MS SQL uz ani neviem od ktorej verzie. Takysto MySQL vie narabat so spatial datami nativne.

Souhlasím  |  Nesouhlasím  |  Odpovědět
 |   |  Microsoft Windows 7 Firefox 78.0

to už je nějaká nemoc ty bóje .. pořád tady někdo votravuje s bójema na foru itnetwork.cz, na foru programujte.com, na foru builder.cz to bylo taky ...už takhle votravuje šestej rok .. https://www.itnetwork.cz/cplusplus/diskuzni-forum-...

Souhlasím  |  Nesouhlasím  |  Odpovědět


Určitě si přečtěte

Na měsíc jsem opustil Google a potupně se zase vrátil zpět (komentář)

Na měsíc jsem opustil Google a potupně se zase vrátil zpět (komentář)

** Zkusil jsem se zbavit závislosti na vyhledávači od Googlu ** Jako alternativy posloužily Bing, Seznam a DuckDuckGo ** Mají své silné stránky, ale i nepřekonatelná negativa

Lukáš Václavík | 57

Z rozmazané šmouhy krásná fotka. Takhle kouzlí nová umělá inteligence MyHeritage

Z rozmazané šmouhy krásná fotka. Takhle kouzlí nová umělá inteligence MyHeritage

** MyHeritage slibuje nejlepší neuronovou síť pro vylepšování fotek ** Funguje tím líp, čím horší fotku upravuje ** Otestovali jsme desítky různých snímků

Marek Lutonský, Lukáš Václavík | 39

Windows 10 May 2020 Update je venku. Odstraňuje hesla a přináší Linux

Windows 10 May 2020 Update je venku. Odstraňuje hesla a přináší Linux

** Jarní aktualizace Desítek přináší dost novinek, jsou ale spíš menší ** Zlepšují se stabilita, rychlost i komfort ovládání ** Revoluce ve Windows 10 teprve přijde

Vladislav Kluska | 93

WindowsFX: Nainstalujte to mamce a taťkovi. Ani nepoznají, že to je Linux

WindowsFX: Nainstalujte to mamce a taťkovi. Ani nepoznají, že to je Linux

** Po dvou měsících tu máme další linuxovou kopii ** Tentokrát jde o imitaci Desítek ** Sestavili ji brazilští geekové nad Ubuntu

Jakub Čížek | 135

Apple vychrlil novinky: Nové operační systémy a příprava na vlastní procesory

Apple vychrlil novinky: Nové operační systémy a příprava na vlastní procesory

** Apple dnes představuje novinky ** Tradiční keynote v rámci konference WWDC probíhá jen online ** Nové operační systémy, ale i něco navíc

David Polesný | 108


Aktuální číslo časopisu Computer

Megatest: nejlepší notebooky do 20 000 Kč

Test 8 levných IP kamer

Jak vybrat bezdrátová sluchátka

Testujeme Android 11