HDP Developer: Apache Spark 2.3 (Online-Canlı)

Eğitim Süresi

4 GÜN

Kontenjan

12

Ön Koşullar

Temel programlama ve Scala ile yazılım geliştirme bilgisine sahip olmak.

Eğitim Hakkında

HDP Developer: Apache Spark 2.3 eğitimi, katılımcıların Spark mimarisi ve Spark’ın temel bilgilerine sahip olmasına imkan sağlar. Apache Spark, açık kaynaklı dağıtılmış, genel amaçlı bir küme bilgi işlem çerçevesi olarak iş görür. Spark sayesinde örtülü veri paralelliği ve hata toleransı ile tüm kümelerin programlanması için bir arayüze sahip olunur.

 

 

Eğitim İçeriği

Skalayı Arttırmak, Spark’ a Giriş

  • Skala Tanıtımı
  • Değişkenler, Veri Türleri ve Kontrol Akışı ile Çalışma
  • Skala Tercümanı
  • Koleksiyonlar ve Standart Yöntemleri ( Örneğin; Harita )
  • İşlevler, Yöntemler ve İşlev İle Çalışma
  • Sınıf, Nesne ve Vaka Sınıfını Skala İle İlişkili Olarak Tanımlayın
  • Genel Bakış, Motivasyonlar, Spark Sistemleri
  • Spark Ekosistemi
  • Spark ve Hadoop
  • Spark’ ı Edinme ve Yükleme
  • Spark Shell, SparkContext

RDD’ ler ve Spark Mimarisi, Spark SQL, Veri Çerçeveleri ve Veri Kümeleri

  • RDD Kavramları, Yaşam Döngüsü, Tembel Değerlendirme
  • RDD Bölümleme ve Dönüşümler
  • Oluşturma ve Dönüştürme İçeren RDD’ lerle Çalışma
  • RDD’ lere Genel Bakış
  • SparkSession, Veri Yükleme / Veri Kaydetme, Veri Biçimleri
  • Veri Kaydetme ve Veri Biçimleri ile Tanışma
  • Desteklenen Veri Biçimlerini Tanımlama
  • Veri Çerçevesi ( türsüz ) Sorgu DSL ile Çalışma
  • SQL Tabanlı Sorgular
  • Veri Kümesi API’ sı ile Çalışma
  • Haritalama ve Bölme
  • Veri Kaydetme ve Veri Biçimleri ve RDDs

Karıştırma, Dönüşümler ve Performans, Performans Ayarlama

  • Gruplama, Küçültme, Birleştirme ile Çalışma
  • Karıştırma, Dar ve Geniş Bağımlılıklar ve Performans Etkileri
  • Katalizör Sorgu Optimize Edici’ yi Keşfetme
  • Tungsten Optimizer
  • Kavramlar, Depolama Türü, Yönergeler İçeren Önbelleği Tartışma
  • Artırılmış Performans İçin Karıştırmayı En Aza İndirme
  • Yayın Değişikliklerini ve Akümülatörlerini Kullanma
  • Genel Performans Yönergeleri

Bağımsız Uygulamalar ve Spark Gruplandırma Oluşturma

  • Çekirdek API, Spark Oturum Oluşturucu
  • Bir Spark Oturumunu Yapılandırma ve Oluşturma
  • Uygulama Oluşturma ve Çalıştırma
  • Uygulama Yaşam Döngüsü ( Sürücü, Yürütücüler ve Görevler )
  • Küme Yöneticileri ( Bağımsız, YARN, Mesos)
  • Günlüğe Kaydetme ve Hata Ayıklama
  • Giriş ve Akış Temelleri
  • Spark Akışı (Spark 1.0+)
  • Yapısal Akış (Spark 2+)
  • Kafka Verilerini Kullanma

 

 

Eğitimde Neler Öğreneceksiniz?

HDP Developer: Apache Spark 2.3 eğitimi sonrasında katılımcılar için;

  • Koleksiyonlar ve standart metotları hakkında bilgi edinilmesi,
  • Spark Ekosistemi’nin öğrenilmesi,
  • Spark’a giriş,
  • Dönüşümlerin ve performans ayarlamalarının yapılması,
  • Spark ve Hadoop arasında karşılaştırılma yapılması,
  • Spark’ın mimarisinin tanımlanması,
  • Spark’ın yüklenmesi,
  • Bağımsız uygulamaların hazırlanması,

Scala ile ilgili esas bilgilerin öğrenilmesi amaçlanmaktadır.

 

Eğitime Kimler Katılabilir

  • HDP Developer: Apache Spark 2.3 eğitimi, bellek içi uygulamalar konusunda kendisini geliştirmek isteyen yazılım mühendisleri.

 

HDP Developer: Apache Spark 2.3 Eğitimi Sonrası Alabileceğiniz Diğer Eğitimler

HDP Developer: Apache Spark 2.3 eğitimini tamamladıktan sonra HDP Operations: HDP Administration Fast Track, HDP Developer: Storm and Trident ve HDP Operations: Security eğitimlerine göz atabilirsiniz.