Spark_Zaawansowana_analiza_danych_sparkz.pdf

(617 KB) Pobierz

Tytuł oryginału: Advanced Analytics with Spark

Tłumaczenie: Andrzej Watrak

ISBN: 978-83-283-1461-0

Authorized Polish translation of the English edition of Advanced Analytics with Spark, ISBN

This translation is published and sold by permission of O’Reilly Media, Inc., which owns or controls all

rights to publish and sell the same.

electronic or mechanical, including photocopying, recording or by any information storage retrieval system,

without permission from the Publisher.

Wszelkie prawa zastrzeżone. Nieautoryzowane rozpowszechnianie całości lub fragmentu niniejszej

publikacji w jakiejkolwiek postaci jest zabronione. Wykonywanie kopii metodą kserograficzną,

fotograficzną, a także kopiowanie książki na nośniku filmowym, magnetycznym lub innym powoduje

naruszenie praw autorskich niniejszej publikacji.

Wszystkie znaki występujące w tekście są zastrzeżonymi znakami firmowymi bądź towarowymi ich

właścicieli.

Autor oraz Wydawnictwo HELION dołożyli wszelkich starań, by zawarte w tej książce informacje były

kompletne i rzetelne. Nie biorą jednak żadnej odpowiedzialności ani za ich wykorzystanie, ani za związane

z tym ewentualne naruszenie praw patentowych lub autorskich. Autor oraz Wydawnictwo HELION nie

ponoszą również żadnej odpowiedzialności za ewentualne szkody wynikłe z wykorzystania informacji

zawartych w książce.

Wydawnictwo HELION

ul. Kościuszki 1c, 44-100 GLIWICE

tel. 32 231 22 19, 32 230 98 63

e-mail:

helion@helion.pl

WWW:

http://helion.pl

(księgarnia internetowa, katalog książek)

Drogi Czytelniku!

Jeżeli chcesz ocenić tę książkę, zajrzyj pod adres

http://helion.pl/user/opinie/sparkz

Możesz tam wpisać swoje uwagi, spostrzeżenia, recenzję.

Pliki z przykładami omawianymi w książce można znaleźć pod adresem:

ftp://ftp.helion.pl/przyklady/sparkz.zip

Printed in Poland.

•

Kup książkę

•

Poleć książkę

•

Oceń książkę

•

Księgarnia internetowa

•

Lubię to! » Nasza społeczność

Spis treści

Przedmowa .............................................................................................................................9

S owo wst pne ......................................................................................................................11

1. Analiza wielkich zbiorów danych ............................................................................. 13

Wyzwania w nauce o danych

Przedstawiamy Apache Spark

O czym jest ta książka

2. Wprowadzenie do analizy danych za pomoc Scala i Spark ................................... 21

Scala dla badaczy danych

Model programowania w Spark

Wiązanie rekordów danych

Pierwsze kroki — powłoka Spark i kontekst SparkContext

Przesyłanie danych z klastra do klienta

Wysyłanie kodu z klienta do klastra

Tworzenie list danych i klas wyboru

Agregowanie danych

Tworzenie histogramów

Statystyki sumaryzacyjne ciągłych wartości

Tworzenie współdzielonego kodu wyliczającego statystyki sumaryczne

Prosty wybór zmiennych i ocena zgodności rekordów

Następny krok

3. Rekomendowanie muzyki i dane Audioscrobbler ...................................................47

Zbiór danych

Algorytm rekomendacyjny wykorzystujący metodę

naprzemiennych najmniejszych kwadratów

Przygotowanie danych

Kup książkę

Poleć książkę

Utworzenie pierwszego modelu

Wyrywkowe sprawdzanie rekomendacji

Ocena jakości rekomendacji

Obliczenie metryki AUC

Dobór wartości hiperparametrów

Przygotowanie rekomendacji

Dalsze kroki

4. Prognozowanie zalesienia za pomoc drzewa decyzyjnego ................................. 65

Szybkie przejście do regresji

Wektory i cechy

Przykłady treningowe

Drzewa i lasy decyzyjne

Dane Covtype

Przygotowanie danych

Pierwsze drzewo decyzyjne

Hiperparametry drzewa decyzyjnego

Regulacja drzewa decyzyjnego

Weryfikacja cech kategorialnych

Losowy las decyzyjny

Prognozowanie

Dalsze kroki

5. Wykrywanie anomalii w ruchu sieciowym metod grupowania

wed ug k- rednich ................................................................................................... 85

Wykrywanie anomalii

Grupowanie według k-średnich

Włamania sieciowe

Dane KDD Cup 1999

Pierwsza próba grupowania

Dobór wartości k

Wizualizacja w środowisku R

Normalizacja cech

Zmienne kategorialne

Wykorzystanie etykiet i wskaźnika entropii

Grupowanie w akcji

Dalsze kroki

100

Spis treści

Kup książkę

Poleć książkę

6. Wikipedia i ukryta analiza semantyczna ................................................................101

Macierz słowo – dokument

Pobranie danych

Analiza składni i przygotowanie danych

Lematyzacja

Wyliczenie metryk TF-IDF

Rozkład według wartości osobliwych

Wyszukiwanie ważnych pojęć

Wyszukiwanie i ocenianie informacji za pomocą niskowymiarowej

reprezentacji danych

Związek dwóch słów

Związek dwóch dokumentów

Związek słowa i dokumentu

Wyszukiwanie wielu słów

Dalsze kroki

102

104

105

106

108

110

113

114

115

116

117

118

7. Analiza sieci wspó wyst powa za pomoc biblioteki GraphX ............................121

Katalog cytowań bazy MEDLINE — analiza sieci

Pobranie danych

Analiza dokumentów XML za pomocą biblioteki Scala

Analiza głównych znaczników i ich współwystępowań

Konstruowanie sieci współwystępowań za pomocą biblioteki GraphX

Struktura sieci

Połączone komponenty

Rozkład stopni wierzchołków

Filtrowanie krawędzi zakłócających dane

Przetwarzanie struktury EdgeTriplet

Analiza przefiltrowanego grafu

Sieci typu „mały świat”

Kliki i współczynniki klastrowania

Obliczenie średniej długości ścieżki za pomocą systemu Pregel

Dalsze kroki

122

123

125

126

128

131

133

135

136

138

139

141

145

8. Geoprzestrzenna i temporalna analiza tras nowojorskich taksówek .................. 147

Pobranie danych

Przetwarzanie danych temporalnych i geoprzestrzennych w systemie Spark

Przetwarzanie danych temporalnych za pomocą bibliotek JodaTime i NScalaTime

148

149

Spis treści

Kup książkę

Poleć książkę

Plik z chomika:

P.Kuba-47

Spark_Zaawansowana_analiza_danych_sparkz.pdf

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika: