Pomôžte rozvoju stránky a zdieľajte článok s priateľmi!
Úvod do príkazov HDFS
Big data je výraz pre množiny údajov, ktoré sú také veľké alebo zložené, že konvenčný aplikačný softvér na spracovanie údajov nestačí na to, aby sa s nimi potom skĺbil. Hadoop je open source programovací rámec založený na jazyku Java, ktorý reťazí priestor na spracovanie a ukladanie enormne objemných súborov údajov v rozšírenom výpočtovom prostredí. Softvérový základ Apache je kľúčom k inštalácii Hadoop. V tejto téme sa dozvieme o rôznych príkazoch HDFS
Funkcie HDFS
- HDFS beží na architektúre Master/Slave
- HDFS používa súbory na ukladanie údajov súvisiacich s používateľom
- obsahuje obrovskú množinu adresárov a súborov, ktoré sú uložené v hierarchickom formáte.
- Súbor je vo vnútri roztrhnutý na menšie bloky a tieto bloky sú uložené v sade Datanodes.
- Namenode a Datanode sú časť softvéru určená na spustenie na produktových počítačoch, ktoré klasicky bežia na OS GNU/Linux.
Namenode
- Tu je súborový systém spravovaný názvom node.
- Namenode je tiež zodpovedný za zaznamenávanie všetkých zmien súborového systému a navyše udržiava obraz kompletného menného priestoru súborového systému a súboru Blockmap v pamäti.
- Kontrola sa vykonáva pravidelne. Preto tu možno dosiahnuť ľahké zotavenie do štádia pred bodom havárie.
Datanode
- A Datanode poskytuje údaje v súboroch vo svojom lokálnom súborovom systéme
- Údajový uzol posiela tlkot srdca názvovému uzlu, aby informoval o svojej existencii
- Pre každý 10. prijatý tep sa vygeneruje správa o blokovaní
- Replikácia je zahrnutá v údajoch uložených v týchto dátových uzloch.
Replikácia údajov
- Tu tvorí sekvencia blokov súbor s predvolenou veľkosťou bloku 128 MB
- Všetky bloky v súbore okrem finále majú podobnú veľkosť.
- Z každého dátového uzla v klastri dostane prvok namenode tlkot srdca.
- BlockReport obsahuje všetky bloky na Datanode.
- Uchováva obrovskú množinu adresárov a súborov, ktoré sú uložené v hierarchickom formáte.
- Súbor je vo vnútri roztrhnutý na menšie bloky a tieto bloky sú uložené v sade Datanodes.
- Namenode a Datanode sú časť softvéru určená na spustenie na produktových počítačoch, ktoré klasicky bežia na OS GNU/Linux.
Sledovanie úloh: Diskusia o nástroji JobTracker s NameNode, aby sa uzavrela poloha údajov. Nájdite tiež najprijateľnejšie uzly TaskTracker na vykonávanie úloh na základe lokality údajov.
Sledovač úloh: TaskTracker je uzol v klastri, ktorý prijíma úlohy – operácie Map, Reduce a Shuffle – z JobTrackera.
Uzol sekundárneho mena (alebo) uzol kontrolného bodu: Získa EditLog z názvového uzla v pravidelných intervaloch a aplikuje ho na svoj obraz FS. A skopíruje späť dokončený obraz FS do uzla názvu počas jeho reštartu. Celým účelom sekundárneho uzla Name je mať kontrolný bod v HDFS.
PRIADZA
- YARN má centrálny komponent správcu zdrojov, ktorý spravuje zdroje a priraďuje zdroje každej aplikácii.
- Správca zdrojov je tu hlavný, ktorý rozhoduje o zdrojoch spojených s klastrom; správca zdrojov pozostáva z dvoch komponentov: správcu aplikácií a plánovača. Tieto dva komponenty spravujú úlohy v klastrových systémoch. Ďalší komponent volá Node Manager (NM), ktorý je zodpovedný za riadenie úloh a pracovného postupu používateľov na danom uzle.
- Pohotovostný NameNode obsahuje presnú replikáciu dátovo neaktívneho namenode. Funguje ako slave, udržiava dostatočný stav na zabezpečenie rýchleho núdzového prepnutia, ak je to nevyhnutné.
Základné príkazy HDFS
Uvedené nižšie sú základné príkazy:
|
Základné príkazy HDFS |
||
| Vlastnosť príkazu HDFS | príkaz HDFS | |
| Vytlačiť verziu Hadoop | $ Verzia Hadoop | |
| Zobraziť obsah koreňového adresára v HDFS | $ Hadoop fs -ls | |
| Nahláste množstvo využitého a dostupného priestoru na aktuálne pripojenom súborovom systéme | $ Hadoop fs -df hdfs:/ | |
| Vyrovnávač HDFS opätovne vyvažuje dáta naprieč DataNodes, presúva bloky z nadmerne využívaných uzlov na nedostatočne využívané. | $ Hadoop balancer | |
| Príkaz pomocníka | $ Hadoop fs -help | |
Stredné príkazy HDFS
Uvedené nižšie sú medzipríkazy:
|
Stredné príkazy HDFS |
||
| Vlastnosť príkazu HDFS | príkaz HDFS | |
| vytvorí adresár v určenom umiestnení HDFS | $ Hadoop fs -mkdir /user/Cloudera/ | |
| Kopíruje údaje z jedného miesta na druhé | $ Hadoop fs -put data/sample.txt /user/training/Hadoop | |
| Zobraziť priestor, ktorý zaberá konkrétny adresár v HDFS | $ Hadoop fs -du -s -h /user/Cloudera/ | |
| Odstráňte adresár v Hadoop | $ Hadoop fs -rm -r /user/cloudera/pigjobs/ | |
| Odstráni všetky súbory v danom adresári | $ hadoop fs -rm -skipTrash hadoop/retail/ | |
| Vyprázdniť kôš | $ hadoop fs -expunge | |
| kopíruje dáta z a do miestneho do HDFS | $ hadoop fs -copyFromLocal /home/cloudera/sample/ /user/cloudera/flume/
$ hadoop fs -copyToLocal /user/cloudera/pigjobs/ /home/cloudera/oozie/ |
|
Pokročilé príkazy HDFS
Uvedené nižšie sú pokročilé príkazy:
|
Stredné príkazy HDFS |
||
| Vlastnosť príkazu HDFS | príkaz HDFS | |
| zmeniť povolenia súboru | $ sudo -u hdfs hadoop fs -chmod 777 /user/cloudera/flume/ | |
| nastaviť faktor replikácie dát pre súbor | $ hadoop fs -setrep -w 5 /user/cloudera/pigjobs/ | |
| Spočítajte počet adresárov, súborov a bajtov pod hdfs | $ Hadoop fs -count hdfs:/ | |
| umožniť namenode ukončiť bezpečný režim | $ sudo -u hdfs hdfs dfsadmin -bezpečný režim odísť | |
| Hadoop naformátujte namenode | $hadoop namenode -format | |
Tipy a triky na používanie príkazov HDFS
1) Môžeme dosiahnuť rýchlejšie zotavenie, keď je počet uzlov klastra vyšší.
2) Nárast úložného priestoru za jednotku času predlžuje čas obnovenia.
3) Hardvér názvového uzla musí byť veľmi spoľahlivý.
4) Sofistikované monitorovanie je možné dosiahnuť pomocou ambari.
5) Hladovanie systému možno znížiť zvýšením počtu redukujúcich látok.