Sådan oprettes en høj tilgængelighed for Namenode - Del 5


Hadoop har to kernekomponenter, som er HDFS og GARN. HDFS er til lagring af data, YARN er til behandling af data. HDFS er Hadoop Distribueret Filsystem, det har Namenode som Master Service og Datanode som Slave Service.

Namenode er den kritiske komponent i Hadoop, der lagrer metadata for data, der er gemt i HDFS. Hvis Namenode går ned, er hele klyngen ikke tilgængelig, det er det eneste fejlpunkt (SPOF). Så produktionsmiljøet har Namenode høj tilgængelighed for at undgå produktionsafbrydelse, hvis en Namenode går ned på grund af forskellige årsager som maskinkrasj, planlagt vedligeholdelsesaktivitet osv.

Hadoop 2.x giver mulighed for, hvor vi kan have to navneoder, en vil være aktiv navneode og en anden vil være standby-navn.

  • Active Namenode – It manages all client operations.
  • Standby Namenode – It is redundant of Active Namenode. If Active NN goes down, then Standby NN will take all the responsibility of Active NN.

Aktivering af Namenode høj tilgængelighed kræver Zookeeper, hvilket er obligatorisk for automatisk failover. ZKFC (Zookeeper Failover Controller) er en Zookeeper-klient, der bruges til at opretholde tilstanden Namenode.

  • Best Practices for Deploying Hadoop Server on CentOS/RHEL 7 – Part 1
  • Setting Up Hadoop Pre-requisites and Security Hardening – Part 2
  • How to Install and Configure the Cloudera Manager on CentOS/RHEL 7 – Part 3
  • How to Install CDH and Configure Service Placements on CentOS/RHEL 7 – Part 4

I denne artikel vil vi aktivere Namenode høj tilgængelighed i Cloudera Manager.

Trin 1: Installation af Zookeeper

1. Log ind på Cloudera Manager.

http://Your-IP:7180/cmf/home

2. I handlingsprompten Cluster (tecmint) skal du vælge “Add Service”.

3. Vælg tjenesten “Zookeeper”.

4. Vælg de servere, hvor Zookeeper skal installeres.

5. Vi vil have 3 Zookeepers til at danne Zookeeper Quorum. Vælg serverne som nævnt nedenfor.

6. Konfigurer Zookeeper-egenskaberne, her har vi standardegenskaberne. I realtid skal du have separate biblioteks-/monteringspunkter til lagring af Zookeeper-data. I del-1 har vi forklaret om lagringskonfiguration for hver tjeneste. Klik på 'fortsæt' for at fortsætte.

7. Installationen begynder, når Zookeeper er installeret, startes. Du kan se baggrundshandlingerne her.

8. Efter vellykket afslutning af ovenstående trin bliver Status 'Færdig'.

9. Nu er Zookeeper med succes installeret og konfigureret. Klik på 'Udfør'.

10. Du kan se Zookeeper-tjenesten på Cloudera Manager Dashboard.

Trin 2: Aktivering af høj tilgængelighed på Namenode

11. Gå til Cloudera Manager -> HDFS -> Handlinger -> Aktivér høj tilgængelighed.

12. Indtast navneservicenavnet som “nameservice1” - Dette er et almindeligt navneområde for både aktiv og standby Namenode.

13. Vælg den anden Namenode, hvor vi skal have standby Namenode.

14. Her vælger vi master2.linux-console.net til standby Namenode.

15. Vælg Journal-noder, dette er obligatoriske tjenester til synkronisering af Active og Standby Namenode.

16. Vi laver kvorumjournal ved at placere journalknudepunktet i 3 servere som nævnt nedenfor. Vælg 3 servere, og klik på 'OK'.

17. Klik på 'Fortsæt' for at fortsætte.

18. Indtast stien til journalnoden. Bare vi skal nævne stien, mens installationen af denne mappe oprettes automatisk af selve tjenesten. Vi nævner som ‘/ jn’ . Klik på 'Fortsæt' for at fortsætte.

19. Det begynder at aktivere den høje tilgængelighed.

20. Når alle baggrundsprocesser er afsluttet, får vi status 'Færdig'.

21. Endelig modtager vi en meddelelse 'Høj tilgængelighed aktiveret med succes'. Klik på 'Udfør'.

22. Bekræft den aktive og standby-namenode ved at gå til Cloudera Manager -> HDFS -> Instanser.

23. Her kan du wee to Namenoder, en vil være i 'Aktiv' tilstand og en anden vil være i 'Standby' tilstand.

I denne artikel har vi gennemgået trin for trin-proces for at aktivere Namenode høj tilgængelighed. Det anbefales stærkt at have Namenode høj tilgængelighed i alle klynger i et realtidsmiljø. Venligst skriv din tvivl, hvis du oplever en fejl, mens du udfører denne proces. Vi vil se Ressource Manager høj tilgængelighed i den næste artikel.