weka explorer visualization
In deze tutorial wordt uitgelegd hoe u datavisualisatie, K-means Cluster Analysis en Association Rule Mining uitvoert met WEKA Explorer:
In de Vorige tutorial leerden we over WEKA Dataset, Classifier en J48 Algorithm for Decision Tree.
Zoals we eerder hebben gezien, is WEKA een open-source datamining-tool die door veel onderzoekers en studenten wordt gebruikt om veel machine learning-taken uit te voeren. De gebruikers kunnen ook hun machine learning-methoden bouwen en experimenten uitvoeren met voorbeelddatasets in de WEKA-directory.
Datavisualisatie in WEKA kan worden uitgevoerd met behulp van voorbeelddatasets of door gebruikers gemaakte datasets in .arff, .csv-indeling.
Lees de complete serie Machine Learning-trainingen door
Association Rule Mining wordt uitgevoerd met behulp van het Apriori-algoritme. Het is het enige algoritme dat door WEKA wordt geleverd om regelmatig patroonmining uit te voeren.
Er zijn veel algoritmen aanwezig in WEKA om clusteranalyse uit te voeren, zoals FartherestFirst, FilteredCluster en HierachicalCluster, enz. Hiervan zullen we SimpleKmeans gebruiken, de eenvoudigste methode van clustering.
Wat je leert:
- Associatieregel Mijnbouw met behulp van WEKA Explorer
- K-betekent algoritme met behulp van WEKA Explorer
- Implementeer datavisualisatie met behulp van WEKA
- Gevolgtrekking
Associatieregel Mijnbouw met behulp van WEKA Explorer
Laten we eens kijken hoe Association Rule Mining geïmplementeerd kan worden met WEKA Explorer.
Associatieregel Mijnbouw
Het is ontwikkeld en ontworpen door Srikant en Aggarwal in 1994. Het helpt ons patronen in de gegevens te vinden. Het is een dataminingproces dat kenmerken vindt die samen voorkomen of kenmerken die gecorreleerd zijn.
tools die worden gebruikt bij big data-analyse
Toepassingen van associatieregels zijn onder meer Marktmandanalyse, om de items die in een enkele mand zijn gekocht te analyseren; Crossmarketing, om samen te werken met andere bedrijven die onze zakelijke productwaarde verhogen, zoals autodealer en oliemaatschappij.
Associatieregels worden ontgonnen nadat frequente itemsets in een grote dataset zijn gevonden. Deze datasets worden achterhaald met behulp van mining-algoritmen zoals Apriori en FP Growth. Frequente Itemset-mijnbouw van gegevens met behulp van ondersteunings- en betrouwbaarheidsmaatregelen.
Steun en vertrouwen
Ondersteuning meet de kans dat twee artikelen samen in één transactie worden gekocht, zoals brood en boter. Vertrouwen is een maat die de kans aangeeft dat twee items na elkaar worden gekocht, maar niet samen, zoals antivirussoftware voor laptops en computers.
Er wordt aangenomen dat minimale drempelondersteuning en minimale drempelbetrouwbaarheidswaarden de transacties snoeien en de meest voorkomende itemset achterhalen.
Implementatie met behulp van WEKA Explorer
WEKA bevat een implementatie van de Apriori-algoritme voor regels voor leerassociaties. Apriori werkt alleen met binaire attributen, categorische gegevens (nominale gegevens), dus als de gegevensset numerieke waarden bevat, converteer deze dan naar de nominale eerst.
Apriori ontdekt alle regels met een minimale ondersteuning en vertrouwensdrempel.
Volg onderstaande stappen:
# 1) Bereid een Excel-bestandsdataset voor en noem deze ' apriori.csv
#twee) Open WEKA Explorer en kies onder het tabblad Preprocess het bestand “apriori.csv”.
# 3) Het bestand wordt nu geladen in de WEKA Explorer.
# 4) Verwijder het veld Transactie door het selectievakje aan te vinken en op Verwijderen te klikken, zoals weergegeven in de onderstaande afbeelding. Sla nu het bestand op als 'aprioritest.arff'.
# 5) Ga naar het tabblad Associate. De apriori-regels kunnen vanaf hier worden gewonnen.
# 6) Klik op Kies om de ondersteunings- en vertrouwensparameters in te stellen. De verschillende parameters die hier kunnen worden ingesteld, zijn:
- lowerBoundMinSupport 'En' upperBoundMinSupport ”, Dit is het ondersteuningsniveau-interval waarin ons algoritme zal werken.
- Delta is de toename van de ondersteuning. In dit geval is 0,05 de ondersteuningsstap van 0,1 naar 1.
- metricType kan zijn 'Vertrouwen', 'Lift', 'Hefboomwerking' en 'Conviction'. Dit vertelt ons hoe we de associatieregels rangschikken. Over het algemeen wordt voor Vertrouwen gekozen.
- numRules vertelt het aantal associatieregels dat moet worden gedolven. Standaard is dit ingesteld op 10.
- mate van belangrijkheid geeft weer wat de betekenis is van het betrouwbaarheidsniveau.
# 7) Het tekstvak naast de keuzeknop toont de ' Apriori-N-10-T-0-C-0.9-D 0.05-U1.0-M0.1-S-1.0-c-1 ”, Die de samengevatte regels weergeeft die voor het algoritme op het tabblad Instellingen zijn ingesteld.
# 8) Klik op de Start-knop. De koppelingsregels worden gegenereerd in het rechterpaneel. Dit paneel bestaat uit 2 secties. De eerste is het algoritme, de dataset die is gekozen om uit te voeren. Het tweede deel toont de Apriori-informatie.
Laten we de run-informatie in het rechterpaneel begrijpen:
- Regeling gebruikte ons Apriori.
- Instanties en attributen: Het heeft 6 instanties en 4 attributen.
- Minimale ondersteuning en minimaal vertrouwen zijn respectievelijk 0,4 en 0,9. Van de 6 instanties zijn er 2 gevonden met min-ondersteuning,
- Het aantal uitgevoerde cycli voor de regel van de mijnbouwassociatie is 12.
- De gegenereerde grote itemsets zijn 3: L (1), L (2), L (3), maar deze zijn niet gerangschikt omdat hun maten respectievelijk 7, 11 en 5 zijn.
- Gevonden regels zijn gerangschikt. De interpretatie van deze regels is als volgt:
- Boter T 4 => Bier F 4: betekent van de 6, 4 gevallen laten zien dat voor boter waar is, bier niet waar is. Dit geeft een sterke associatie. Het betrouwbaarheidsniveau is 0,1.
Uitvoer
De associatieregels kunnen worden ontgonnen met behulp van WEKA Explorer met Apriori-algoritme. Dit algoritme kan worden toegepast op alle soorten datasets die beschikbaar zijn in de WEKA-directory, evenals op andere datasets die door de gebruiker zijn gemaakt. De ondersteuning en vertrouwen en andere parameters kunnen worden ingesteld met behulp van het venster Instellingen van het algoritme.
K-betekent algoritme met behulp van WEKA Explorer
Laten we eens kijken hoe we het K-mean-algoritme voor clustering kunnen implementeren met WEKA Explorer.
Wat is clusteranalyse
Clusteringalgoritmen zijn leeralgoritmen zonder toezicht die worden gebruikt om groepen gegevens met vergelijkbare kenmerken te creëren. Het aggregeert objecten met overeenkomsten in groepen en subgroepen, wat leidt tot het partitioneren van datasets. Clusteranalyse is het proces waarbij datasets in subsets worden verdeeld. Deze subsets worden clusters genoemd en de set clusters wordt clustering genoemd.
Clusteranalyse wordt in veel toepassingen gebruikt, zoals beeldherkenning, patroonherkenning, zoeken op internet en beveiliging, in bedrijfsinformatie, zoals het groeperen van klanten met vergelijkbare voorkeuren.
Wat is K-betekent clustering
K betekent dat clustering het eenvoudigste clusteralgoritme is. In het K-Clustering-algoritme wordt de dataset onderverdeeld in K-clusters. Een objectieve functie wordt gebruikt om de kwaliteit van partities te vinden, zodat vergelijkbare objecten zich in een cluster bevinden en ongelijksoortige objecten in andere groepen.
Bij deze methode wordt gevonden dat het zwaartepunt van een cluster een cluster vertegenwoordigt. Het zwaartepunt wordt genomen als het centrum van het cluster, dat wordt berekend als de gemiddelde waarde van punten binnen het cluster. Nu wordt de kwaliteit van clustering gevonden door de Euclidische afstand tussen het punt en het centrum te meten. Deze afstand moet maximaal zijn.
Hoe werkt het K-Mean Clustering-algoritme
Stap 1: Kies een waarde van K waarbij K het aantal clusters is.
Stap 2: Herhaal elk punt en wijs het cluster toe dat het dichtstbijzijnde middelpunt heeft. Wanneer elk element wordt herhaald, bereken dan het zwaartepunt van alle clusters.
Stap 3: Herhaal elk element uit de dataset en bereken de Euclidische afstand tussen het punt en het zwaartepunt van elk cluster. Als er een punt in het cluster aanwezig is dat er niet het dichtst bij is, wijs dat punt dan opnieuw toe aan het dichtstbijzijnde cluster en bereken na dit aan alle punten in de dataset opnieuw het zwaartepunt van elk cluster.
Stap 4: Voer stap 3 uit totdat er geen nieuwe toewijzing heeft plaatsgevonden tussen de twee opeenvolgende iteraties.
K-betekent Clustering Implementatie met behulp van WEKA
De stappen voor implementatie met Weka zijn als volgt:
# 1) Open WEKA Explorer en klik op Open File op het tabblad Preprocess. Kies de dataset “vote.arff”.
#twee) Ga naar het tabblad 'Cluster' en klik op de knop 'Kiezen'. Selecteer de clustermethode als 'SimpleKMeans'.
# 3) Kies Instellingen en stel de volgende velden in:
- Afstandsfunctie als Euclidiaan
- Het aantal clusters is 6. Met een groter aantal clusters zal de som van de kwadratische fouten afnemen.
- Zaad als 10. van
Klik op Ok en start het algoritme.
# 4) Klik op Start in het linkerpaneel. Het algoritme geeft resultaten weer op het witte scherm. Laten we de run-informatie analyseren:
- Schema, Relation, Instances en Attributes beschrijven de eigenschap van de dataset en de gebruikte clustermethode. In dit geval heeft de stem.arff-dataset 435 instanties en 13 attributen.
- Met het Kmeans-cluster is het aantal iteraties 5.
- De som van de gekwadrateerde fout is 1098,0. Deze fout zal afnemen naarmate het aantal clusters toeneemt.
- De 5 laatste clusters met centroïden worden weergegeven in de vorm van een tabel. In ons geval zijn centroids van clusters 168,0, 47,0, 37,0, 122,0,33,0 en 28,0.
- Geclusterde exemplaren vertegenwoordigen het aantal en percentage van het totale aantal exemplaren dat in het cluster valt.
# 5) Kies “Classes to Clusters Evaluations” en klik op Start.
Het algoritme wijst het klassenlabel toe aan het cluster. Cluster 0 vertegenwoordigt republikein en cluster 3 vertegenwoordigt democraat. De onjuist geclusterde instantie is 39,77%, wat kan worden verminderd door de onbelangrijke kenmerken te negeren.
# 6) Om de onbelangrijke attributen te negeren. Klik op de knop 'Attributen negeren' en selecteer de attributen die u wilt verwijderen.
# 7) Gebruik het tabblad 'Visualiseren' om het resultaat van het clusteralgoritme te visualiseren. Ga naar het tabblad en klik op een willekeurig vak. Verplaats de Jitter naar de max.
- De X-as en Y-as vertegenwoordigen het attribuut.
- De blauwe kleur staat voor klasse label democraat en de rode kleur staat voor klasse label republikeins.
- Jitter wordt gebruikt om clusters te bekijken.
- Klik op het vak aan de rechterkant van het venster om het x-coördinaatattribuut te wijzigen en clustering te bekijken met betrekking tot andere attributen.
Uitvoer
K betekent dat clustering een eenvoudige methode voor clusteranalyse is. Het aantal clusters kan worden ingesteld via het tabblad instellingen. Het zwaartepunt van elk cluster wordt berekend als het gemiddelde van alle punten binnen de clusters. Met de toename van het aantal clusters, wordt de som van kwadratische fouten verminderd. De objecten binnen het cluster vertonen vergelijkbare kenmerken en eigenschappen. De clusters vertegenwoordigen de klassenlabels.
Implementeer datavisualisatie met behulp van WEKA
Data visualisatie
De methode om gegevens weer te geven door middel van grafieken en plots met als doel gegevens duidelijk te begrijpen, is datavisualisatie.
Er zijn veel manieren om gegevens weer te geven. Sommigen van hen zijn als volgt:
# 1) Pixelgeoriënteerde visualisatie: Hier vertegenwoordigt de kleur van de pixel de dimensiewaarde. De kleur van de pixel vertegenwoordigt de bijbehorende waarden.
# 2) Geometrische weergave: De multidimensionale datasets worden weergegeven in 2D-, 3D- en 4D-spreidingsdiagrammen.
vr headset voor xbox one s
# 3) Pictogramgebaseerde visualisatie: De gegevens worden weergegeven met de gezichten en stokfiguren van Chernoff. De gezichten van Chernoff gebruiken het vermogen van de menselijke geest om gezichtskenmerken en verschillen daartussen te herkennen. Het stokje gebruikt 5 stokjes om multidimensionale gegevens weer te geven.
# 4) Hiërarchische gegevensvisualisatie: De datasets worden weergegeven met behulp van treemaps. Het vertegenwoordigt hiërarchische gegevens als een set geneste driehoeken.
Datavisualisatie met WEKA Explorer
Datavisualisatie met behulp van WEKA gebeurt op de dataset IRIS.arff.
De betrokken stappen zijn als volgt:
# 1) Ga naar het tabblad Preprocess en open de dataset IRIS.arff.
#twee) De dataset heeft 4 attributen en 1 klasselabel. De attributen in deze dataset zijn:
- Uitdaging: Typ -numeriek
- Kelkbladbreedte: Typ numeriek
- Petalengte: Type-numeriek
- Bloemblaadje breedte: Type-numeriek
- Klasse: Type nominaal
# 3) Om de dataset te visualiseren, gaat u naar het tabblad Visualiseren. Het tabblad toont de plotmatrix van de attributen. De datasetattributen zijn gemarkeerd op de x-as en y-as terwijl de instanties worden geplot. Het vak met attribuut x-as en attribuut y-as kan worden vergroot.
# 4) Klik op het vak van de plot om te vergroten. Bijvoorbeeld, x: petallength en y: bloembladbreedte. De klassenlabels zijn in verschillende kleuren weergegeven.
- Klasse label - Iris-setosa: blauwe kleur
- Klasse label - Iris-versicolor: rood
- Klasse label-Iris-virginica-groen
Deze kleuren kunnen worden gewijzigd. Om de kleur te veranderen, klik je op het klassenlabel onderaan, er verschijnt een kleurenvenster.
# 5) Klik op de instantie die wordt voorgesteld door ‘x’ in de plot. Het geeft de instantie details. Bijvoorbeeld:
- Instancenummer: 91
- Sepalength: 5.5
- Kelkbladbreedte: 2.6
- Petalengte: 4.4
- Bloembreedte: 1.2
- Klasse: Iris-versicolor
Sommige punten in de plot worden donkerder weergegeven dan andere. Deze punten vertegenwoordigen 2 of meer instanties met hetzelfde klasselabel en dezelfde waarde van attributen die in de grafiek zijn uitgezet, zoals bloembladbreedte en petagenda.
De onderstaande afbeelding geeft een punt weer met 2 instantie-informatie.
# 6) De attributen van de X- en Y-as kunnen worden gewijzigd in het rechterpaneel in Grafiek visualiseren. De gebruiker kan verschillende plots bekijken.
# 7) De Jitter wordt gebruikt om willekeur aan de plot toe te voegen. Soms overlappen de punten elkaar. Met jitter vertegenwoordigen de donkere vlekken meerdere instanties.
# 8) Om een duidelijker beeld van de dataset te krijgen en uitschieters te verwijderen, kan de gebruiker een exemplaar uit de vervolgkeuzelijst selecteren. Klik op de vervolgkeuzelijst 'selecteer instantie'. Kies 'Rechthoek'. Hiermee kan de gebruiker punten in de plot selecteren door een rechthoek uit te zetten.
# 9) Klik op 'Verzenden'. Alleen de geselecteerde gegevenssetpunten worden weergegeven en de andere punten worden uitgesloten van de grafiek.
De onderstaande afbeelding toont de punten van de geselecteerde rechthoekige vorm. De plot vertegenwoordigt punten met slechts 3 klassenlabels. De gebruiker kan op 'Opslaan' klikken om de dataset op te slaan of op 'Reset' om een ander exemplaar te selecteren. De dataset wordt opgeslagen in een apart .ARFF-bestand.
Uitgang:
Datavisualisatie met WEKA wordt vereenvoudigd met behulp van de boxplot. De gebruiker kan elk detailniveau bekijken. De attributen worden uitgezet op de X-as en de y-as, terwijl de instanties worden uitgezet tegen de X- en Y-as. Sommige punten vertegenwoordigen meerdere gevallen die worden weergegeven door punten met een donkere kleur.
Gevolgtrekking
WEKA is een efficiënte tool voor datamining om veel dataminingtaken uit te voeren en om te experimenteren met nieuwe methoden voor datasets. WEKA is ontwikkeld door het Department of Computer Science, de University of Waikato in Nieuw-Zeeland.
De wereld van vandaag wordt overspoeld met gegevens, van winkelen in de supermarkt tot beveiligingscamera's bij ons thuis. Datamining gebruikt deze ruwe data, zet deze om in informatie om voorspellingen te doen. WEKA helpt met de hulp van het Apriori-algoritme bij de regels voor mijnbouwassociaties in de dataset. Apriori is een algoritme voor frequent patroon mining dat het aantal keren dat een itemset in de transactie voorkomt, telt.
Clusteranalyse is een techniek om clusters van gegevens te vinden die vergelijkbare kenmerken vertonen. WEKA biedt veel algoritmen om clusteranalyses uit te voeren, waarvan eenvoudige middelen veel worden gebruikt.
Datavisualisatie in WEKA kan worden uitgevoerd op alle datasets in de WEKA-directory. De onbewerkte dataset kan worden bekeken, evenals andere resulterende datasets van andere algoritmen, zoals classificatie, clustering en associatie, kunnen worden gevisualiseerd met behulp van WEKA.
Bezoek hier voor de exclusieve Machine Learning-serie
Aanbevolen literatuur
- Weka-zelfstudie - Weka-tool downloaden, installeren en gebruiken
- WEKA-gegevensset, classificatie en J48-algoritme voor beslissingsboom
- 15 BESTE datavisualisatietools en -software in 2021
- D3.js Tutorial - Data Visualization Framework voor beginners
- D3.js Zelfstudie over gegevensvisualisatie - Vormen, grafiek, animatie
- 7 principes van softwaretests: clustering van defecten en het Pareto-principe
- Datamining: proces, technieken en grote problemen bij gegevensanalyse
- Technieken voor datamining: algoritme, methoden en toptools voor datamining