Sådan installeres CDH og konfigurering af serviceplaceringer på CentOS / RHEL 7 - Del 4
I en tidligere artikel har vi forklaret installationen af Cloudera Manager. I denne artikel lærer du, hvordan du installerer og konfigurerer CDH (Cloudera Distribution Hadoop) i RHEL/CentOS 7.
Når vi installerer CDH-pakken, skal vi sikre Cloudera Manager og CDH-kompatibilitet. Cloudera-versionen består af 3 dele -
For eksempel bruger vi Cloudera Manager 6.3.1 og CDH 6.3.2. Her er 6 større og 3 er mindre version. Major og Minor skal være de samme for at undgå kompatibilitetsproblemer.
- Best Practices for Deploying Hadoop Server on CentOS/RHEL 7 – Part 1
- Setting Up Hadoop Pre-requisites and Security Hardening – Part 2
- How to Install and Configure the Cloudera Manager on CentOS/RHEL 7 – Part 3
Vi tager nedenstående 2 noder til installation af CDH. Vi har allerede installeret Cloudera Manager i master1, og vi bruger også master1 som reposerver.
master1.linux-console.net worker1.linux-console.net
Trin 1: Download CDH-pakker på Master Server
1. Opret først forbindelse til master1-serveren og download CDH Parcels-filer i/var/www/html/cloudera-repos/cdh-biblioteket. Vi er nødt til at downloade nedenstående 3 filer, som skal være kompatible med RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Inden du downloader disse filer, skal du sørge for at oprette en cdh-mappe under/var/www/html/cloudera-repos/location.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Download derefter de ovennævnte 3 filer ved hjælp af følgende wget-kommando.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Trin 2: Opsætning af Cloudera Manager Repo på arbejdsklienter
4. Opret nu forbindelse til arbejderservere og kopier repofilen (cloudera-manager.repo) fra reposerveren (master1) til alle de resterende arbejdsservere. Denne repofil sikrer serverne, at alle de nødvendige pakker og RPM'er downloades fra reposerveren under installationen.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Når repoen er tilføjet, skal du liste de aktiverede repositories for at sikre, at cloudera-manager repo er aktiveret.
$ yum repolist
Trin 3: Installer Cloudera Manager-dæmoner og agent på arbejdsservere
6. Nu skal vi installere cloudera-manager-dæmoner og cloudera-manager-agent i alle de resterende servere.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Dernæst skal du konfigurere Cloudera Manager-agenten til at rapportere Cloudera Manager-serveren.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Udskift localhost med Cloudera Manager-serverens IP-adresse.
8. Start Cloudera Manager Agent, og kontroller status.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Trin 4: Installer og opsæt CDH
Vi har CDH-pakker i master1 - repo-server. Sørg for, at alle serverne har Cloudera Manager repo-fil i /etc/yum.repos.d/, hvis du følger automatisk installation ved hjælp af Cloudera Manager.
9. Log ind på Cloudera Manager ved hjælp af nedenstående URL i port 7180, og brug standardbrugernavnet og adgangskoden til Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Når du logger ind, vil du blive mødt med velkomstsiden. Her kan du finde udgivelsesnotater, nye funktioner i Cloudera Manager.
11. Accepter licensen og fortsæt.
12. Vælg udgave. Testversionen er valgt som standard, det kan vi fortsætte med.
13. Følg nu trinene til klyngeinstallation. Fortsæt velkomstsiden.
14. Navngiv klyngen og fortsæt, vi har navngivet som “tecmint”. Der er to typer klynger, du kan definere. Vi fortsætter med Regular Cluster.
- Regular Cluster: Will consist of storage nodes, compute nodes, and other necessary services.
- Compute Cluster: Will consist only of compute nodes. External storage can be used for storing data.
15. Vi har allerede installeret Cloudera Manager Agents på alle serverne. Du kan finde disse servere i "Aktuelt administrerede værter". For automatisk installation skal du indtaste serverne FQDN eller IP i "Nye værter" og søge. Cloudera Manager registrerer automatisk de værter, som vi skal installere CDH på.
Klik her på "Aktuelt administrerede værter", vælg alle værter ved at vælge 'Værtsnavn' og fortsæt.
16. Vælg lager - brug af pakke er den anbefalede måde. Klik på 'Flere indstillinger' for at konfigurere lageret.
17. Indtast den lokale opbevarings-URL som nævnt nedenfor. Fjern alle de resterende offentlige arkiver, der peger på nettet (Cloudera Repositories).
Dette er den lokale CDH-arkiv-URL, som vi har i master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Når først URL-adressen til arkivet er indtastet, viser denne side kun tilgængelige pakker. Fortsæt dette trin.
19. Nu downloades pakkerne, distribueres, pakkes ud og aktiveres på alle de tilgængelige servere.
20. Når CDH-pakkerne er aktiveret, skal du inspicere klyngen. Dette trin udfører en helbredskontrol af klyngen. Her springer vi videre og fortsætter.
Trin 5: Klyngekonfiguration
21. Her skal vi vælge de tjenester, der skal installeres i Cluster. Nogle pakkede kombinationer vil være tilgængelige som standard, vi går med Custom Services.
22. I Custom Services installerer vi kun Core Components (HDFS og YARN) til dette demo-formål.
23. Tildel rollerne til serveren. Vi kan tilpasse efter vores krav. Find nedenstående diagram, der beskriver den anbefalede rollefordeling til en grundlæggende lille klynge med 5 til 20 noder med høj tilgængelighed.
24. Vælg databasetype, værtsnavn, DB-navn, brugernavn og adgangskode. Da vi bruger Embedded PostgreSQL, vælges det som standard. Test forbindelsen, den skal være vellykket.
25. Denne side viser standardkonfigurationsparametrene for HDFS og Garn inklusive datakataloger. Gennemgå alle konfigurationsoplysningerne, og du kan foretage ændringer, hvis det kræves. Fortsæt derefter med dette.
26. Denne side viser detaljerne i kommandoen 'First Run'. Du kan udvide den for at se detaljerne i kørende kommandoer. Hvis der er problemer med netværket eller tilladelser i klyngen, mislykkes dette trin. Normalt bestemmer dette trin den glatte installation af Cluster Building.
27. Når ovenstående trin er afsluttet, skal du klikke på 'Udfør' for at afslutte installationen. Dette er Dashboard af Cloudera Manager efter installation af CDH.
http://104.211.95.96:7180/cmf/home
Vi har gennemført installationen af Cloudera Manager og CDH med succes. I Cloudera Manager Dashboard kan du finde et foruddefineret sæt diagrammer, hvor du kan overvåge Cluster CPU, Disk IO osv. Vi kan styre hele Cluster ved hjælp af denne Cloudera Manager. Vi vil se alle de administrative operationer i de kommende artikler.