Kurs 4 im Überblick: Setzen Sie Ihre Erwartungen
Willkommen zum vierten Kurs des Programms! Auf Ihrem Weg durch das Zertifikat werden sich dieser Kurs und die folgenden Kurse mehr auf praktische, kompetenzbasierte Aufgaben und Projekte konzentrieren.
In diesem Kurs lernen Sie, Daten zu bereinigen, indem Sie sie auf Vollständigkeit und Korrektheit überprüfen. Sie lernen eine Vielzahl von Ansätzen zur Bereinigung von Daten in Tabellen und Datenbanken kennen. Anschließend erlernen Sie wichtige Fähigkeiten zur Fehlerbehebung, mit denen Sie eventuelle Fehler beheben können. Ein wichtiger Schritt bei der Bereinigung von Daten ist die Erstellung von Berichten, um die von Ihnen vorgenommenen Änderungen anderen mitzuteilen. Sie werden verstehen, wie Sie dies tun können, um die Genauigkeit und Zuverlässigkeit der Daten zu gewährleisten. Zusammengenommen werden diese Fähigkeiten dazu beitragen, dass Ihre Datenanalyse erfolgreich ist.
Überblick über den Kurs
Fragen stellen, um datengesteuerte Entscheidungsfindungen zu treffen
Daten von Schmutzig bis Bereinigt verarbeiten (dieser Kurs)
Google Data Analytics Capstone: Vervollständigen Sie eine Fallstudie
Inhalt von Kurs 4
Jeder Kurs ist in Module unterteilt. Hier ein kurzer Überblick über die Fähigkeiten, die Sie in jedem der fünf Module von Kurs 4 erwerben werden.
Modul 1: Die Bedeutung der Integrität
Die Integrität der Daten ist für eine erfolgreiche Analyse entscheidend. In diesem Teil des Kurses lernen Sie die Methoden und Schritte kennen, die Analysten unternehmen, um ihre Daten auf Integrität zu prüfen. Dazu gehört auch zu wissen, was zu tun ist, wenn Sie nicht genügend Daten haben. Sie lernen auch etwas über Stichproben und erfahren, wie Sie Voreingenommenheit bei Stichproben vermeiden können. All diese Methoden werden Ihnen auch dabei helfen, sicherzustellen, dass Ihre Analyse erfolgreich ist.
Modul 2: Bereinigte Daten für genauere Statistiken
Jede Fachkraft für Datenanalyse möchte saubere Daten analysieren. In diesem Teil des Kurses lernen Sie den Unterschied zwischen bereinigten und verschmutzten Daten kennen. Anschließend üben Sie die Bereinigung von Daten in Tabellen und anderen Tools.
Modul 3: Datenbereinigung mit SQL
Die Kenntnis einer Vielzahl von Möglichkeiten, Daten zu bereinigen, kann die Arbeit einer Fachkraft für Datenanalyse erheblich erleichtern. In diesem Teil des Kurses werden Sie SQL verwenden, um Daten aus Datenbanken zu bereinigen. Insbesondere erfahren Sie, wie Sie mit SQL-Abfragen und -Funktionen Ihre Daten vor einer Analyse bereinigen und umwandeln können.
Modul 4: Überprüfen und Berichten der Bereinigungsergebnisse
Wenn Sie Daten bereinigen, nehmen Sie Änderungen an dem ursprünglichen Dataset vor. Es ist wichtig, dass Sie die Richtigkeit der vorgenommenen Änderungen überprüfen und Ihre Teamkollegen über die Änderungen informieren. In diesem Teil des Kurses lernen Sie, wie Sie überprüfen, ob die Daten bereinigt sind, und wie Sie über die Ergebnisse der Datenbereinigung berichten. Mit den bereinigten Daten können Sie nun mit der Analyse beginnen!
Modul 5: Optional: Daten zu Ihrem Lebenslauf hinzufügen
Die Erstellung eines effektiven Lebenslaufs wird Ihnen bei Ihrer Data Analytics-Karriere helfen. In diesem Teil des Kurses werden Sie alles über den Prozess der Bewerbung lernen. Sie werden sich auf die Erstellung eines Lebenslaufs konzentrieren, der Ihre Stärken und relevanten Erfahrungen hervorhebt.
Modul 6: Nachbereitung des Kurses
Überprüfen Sie das Kursglossar und bereiten Sie sich auf den nächsten Kurs des Google Data Analytics Zertifikatsprogramms vor.
Was Sie erwarten können
Jedes Modul umfasst eine Reihe von Lektionen mit vielen Arten von Lernmöglichkeiten. Dazu gehören:
Videos für Ausbilder, um neue Konzepte zu vermitteln und die Verwendung von Tools zu demonstrieren
Fragen im Video, die von Zeit zu Zeit auftauchen und Ihnen helfen, Ihr Verständnis der Schlüsselkonzepte und -fähigkeiten zu überprüfen
Schritt-für-Schritt-Anleitungen , mit denen Sie den Ausbildern bei der Demonstration der Tools folgen können
Lektüre , um Themen zu vertiefen und auf den Konzepten aus den Videos aufzubauen
Diskussionsforen zum Austausch, zur Erkundung und zur Vertiefung der Lektionsthemen
Diskussions-Prompts zur Förderung des Denkens und der Einbindung in die Diskussionsforen
Übungsquiz zur Vorbereitung auf benotete Quizze
Benotete Quizfragen, um Ihren Fortschritt zu messen und Ihnen wertvolles Feedback zu geben
Dieses Programm wurde so konzipiert, dass Sie in Ihrem eigenen Tempo arbeiten können – Ihre persönlichen Fristen sind nur ein Richtwert. Für verspätete Aufgaben gibt es keine Strafe. Um Ihr Zertifikat zu erhalten, müssen Sie lediglich alle Aufgaben erledigen.
Wenn Sie zwei Bewertungstermine hintereinander verpassen oder einen Bewertungstermin um zwei Wochen versäumen, sehen Sie auf der Seite Noten die Option Termine zurücksetzen. Klicken Sie darauf, um zu einem neuen Kursplan mit aktualisierten Fristen zu wechseln. Sie können diese Option so oft nutzen, wie Sie möchten – sie löscht keine Fortschritte, die Sie bereits im Kurs gemacht haben, aber Sie finden möglicherweise neue Kursinhalte, wenn der Kursleiter den Kurs aktualisiert hat, nachdem Sie angefangen haben. Wenn Sie ein Abonnement kündigen und es dann wieder aktivieren, werden Ihre Fristen automatisch zurückgesetzt.
In diesem Kurs werden Sie mit benoteten Quizzen und Aktivitäten bewertet. Beide basieren auf der großen Vielfalt an Lernmaterialien und Aktivitäten, die die wichtigen Fähigkeiten, die Sie entwickeln werden, verstärken. Und beide können mehr als einmal absolviert werden.
Tipps für den Erfolg
Es wird dringend empfohlen, dass Sie die einzelnen Lektionen in der Reihenfolge durcharbeiten, in der sie erscheinen, da neue Informationen und Konzepte auf dem bisherigen Wissen aufbauen.
Nehmen Sie an allen Lernangeboten teil, um so viel Wissen und Erfahrung wie möglich zu sammeln.
Wenn etwas verwirrend ist, zögern Sie nicht, ein Video abzuspielen, eine Lektüre zu wiederholen oder eine Aktivität zur Selbstüberprüfung zu wiederholen.
Nutzen Sie die zusätzlichen Ressourcen, auf die in diesem Kurs verwiesen wird. Sie sind dazu gedacht, Ihr Lernen zu unterstützen. Sie finden alle diese Ressourcen auf der Registerkarte Ressourcen.
Wenn Sie in diesem Kurs auf nützliche Links stoßen, setzen Sie ein Lesezeichen, damit Sie die Informationen später zum Lernen oder zur Wiederholung aufrufen können.
Verstehen und befolgen Sie den Coursera-Verhaltenskodex, um sicherzustellen, dass die Lerngemeinschaft ein einladender, freundlicher und unterstützender Ort für alle Mitglieder bleibt.
Aktualisierungen des Kurses
Während Sie diesen Kurs absolvieren, werden Sie möglicherweise Aktualisierungen des Inhalts bemerken, wie neue Übungsmaterialien und zusätzliche Beispiele. Diese Aktualisierungen gewährleisten, dass das Programm aktuelle Fähigkeiten und Anleitungen bietet, die Ihnen bei Ihrer Data Analytics-Karriere helfen werden. Wenn Sie bereits eine benotete Aktivität absolviert haben, müssen Sie die Bewertung möglicherweise wiederholen, um diesen Kurs abzuschließen. Weitere Informationen finden Sie im Diskussionsforum des Kurses.
Mehr über Datenintegrität und Compliance
Diese Lektüre veranschaulicht die Bedeutung der Datenintegrität am Beispiel der Daten eines globalen Unternehmens. Definitionen von Begriffen, die für die Datenintegrität von Bedeutung sind, werden am Ende gegeben.
Szenario: Kalenderdaten für ein globales Unternehmen
Kalenderdaten werden in vielen verschiedenen Kurzformen dargestellt. Je nachdem, wo Sie leben, wird möglicherweise ein anderes Format verwendet.
In einigen Ländern steht der 12/10/20 (TT/MM/JJ) für den 12. Oktober 2020.
In anderen Ländern ist der nationale Standard JJJJ-MM-TT, so dass der 12. Oktober 2020 zu 2020-10-12 wird.
In den Vereinigten Staaten ist (MM/TT/JJ) das akzeptierte Format, also wird der 12. Oktober 2020 zum 10/12/20.
Überlegen Sie nun, was passieren würde, wenn Sie als Fachkraft für Datenanalyse für ein globales Unternehmen arbeiten und die Datumsformate nicht überprüfen würden. Nun, Ihre Datenintegrität wäre wahrscheinlich fragwürdig. Jede Analyse der Daten wäre ungenau. Stellen Sie sich vor, Sie bestellen zusätzliches Inventar für Dezember, obwohl es eigentlich schon im Oktober benötigt wurde!
Eine gute Analyse hängt von der Integrität der Daten ab, und die Datenintegrität hängt in der Regel von der Verwendung eines gemeinsamen Formats ab. Es ist also wichtig, die Formatierung der Daten zu überprüfen, um sicherzustellen, dass das, was Sie für den 10. Dezember 2020 halten, nicht wirklich der 12. Oktober 2020 ist und umgekehrt.
Hier sind noch einige andere Dinge, auf die Sie achten sollten:
Datenreplikation, die die Datenintegrität gefährdet: Stellen Sie sich vor, Sie bitten Ihre internationalen Kollegen, die Daten zu überprüfen und sich an ein Format zu halten. Ein Analyst kopiert ein großes Dataset, um die Daten zu überprüfen. Aufgrund von Speicherproblemen wird jedoch nur ein Teil des Datasets tatsächlich kopiert. Der Analyst würde unvollständige Daten verifizieren und standardisieren. Dieser partielle Dataset würde als konform zertifiziert werden, aber der vollständige Dataset würde immer noch Daten enthalten, die nicht verifiziert wurden. Zwei Versionen eines Datasets können zu inkonsistenten Ergebnissen führen. Eine abschließende Prüfung der Ergebnisse wäre unerlässlich, um aufzudecken, was passiert ist, und um alle Daten zu korrigieren.
Datenübertragung, die die Datenintegrität gefährdet: Ein anderer Analyst überprüft die Daten in einer Tabelle und entscheidet sich, die validierten und standardisierten Daten zurück in die Datenbank zu importieren. Aber nehmen wir an, das Datumsfeld aus der Tabelle wurde während des Prozesses des Datenimports (der Datenübertragung) fälschlicherweise als Textfeld klassifiziert. Nun sind einige der Datumsangaben in der Datenbank als Textzeichenfolgen gespeichert. An diesem Punkt müssen die Daten bereinigt werden, um ihre Integrität wiederherzustellen.
Datenmanipulationen, die die Datenintegrität gefährden: Bei der Überprüfung von Daten bemerkt ein anderer Analyst einen scheinbar doppelten Datensatz in der Datenbank und entfernt ihn. Es stellt sich jedoch heraus, dass der Analyst einen eindeutigen Datensatz für die Tochtergesellschaft eines Unternehmens entfernt hat und nicht einen doppelten Datensatz für das Unternehmen. In Ihrem Dataset fehlen nun Daten und die Daten müssen der Vollständigkeit halber wiederhergestellt werden.
Fazit
Glücklicherweise lässt sich die Integrität der Daten durch ein standardisiertes Datumsformat und die Einhaltung durch alle Personen und Systeme, die mit den Daten arbeiten, aufrechterhalten. Aber egal, woher Ihre Daten stammen, stellen Sie immer sicher, dass sie gültig, vollständig und sauber sind, bevor Sie mit einer Analyse beginnen.
Referenz: Dateneinschränkungen und Beispiele
Im Laufe Ihrer Datenreise werden Sie auf viele Arten von Dateneinschränkungen (oder Kriterien, die die Gültigkeit bestimmen) stoßen. In der folgenden Tabelle finden Sie Definitionen und Beispiele für Dateneinschränkungen, auf die Sie stoßen könnten.
Dateneinschränkungen | Definition | Beispiele |
|---|---|---|
Datentyp | Werte müssen von einem bestimmten Typ sein: Datum, Zahl, Prozentsatz, Boolescher Wert, usw. | Wenn der Datentyp ein Datum ist, würde eine einzelne Zahl wie 30 die Einschränkung nicht erfüllen und wäre ungültig |
Datenbereich | Die Werte müssen zwischen den vordefinierten Höchst- und Mindestwerten liegen | Wenn der Datenbereich 10-20 beträgt, würde ein Wert von 30 die Einschränkung nicht erfüllen und wäre ungültig |
Obligatorisch | Werte können nicht leer gelassen werden | Wenn das Alter obligatorisch ist, muss dieser Wert ausgefüllt werden |
Eindeutig | Werte dürfen keine Duplikate enthalten | Zwei Personen können nicht dieselbe Handynummer innerhalb desselben Servicebereichs haben |
Muster für reguläre Ausdrücke (regex) | Werte müssen mit einem vorgegebenen Muster übereinstimmen | Eine Telefonnummer muss ###-###-#### entsprechen (keine anderen Zeichen erlaubt) |
Feldübergreifende Validierung | Bestimmte Bedingungen für mehrere Felder müssen erfüllt sein | Werte sind Prozentwerte und Werte aus mehreren Feldern müssen sich zu 100% addieren |
Primärschlüssel | (nur Datenbanken) Wert muss pro Spalte eindeutig sein | Eine Datenbanktabelle kann nicht zwei Zeilen mit demselben Wert des Primärschlüssels haben. Ein Primärschlüssel ist ein Bezeichner in einer Datenbank, der auf eine Spalte verweist, in der jeder Wert eindeutig ist. Weitere Informationen zu Primär- und Fremdschlüsseln finden Sie später im Programm. |
Mitglieder festlegen | (nur Datenbanken) Werte für eine Spalte müssen aus einer Menge diskreter Werte stammen | Werte für eine Spalte müssen auf Ja, Nein oder Nicht zutreffend gesetzt werden |
Fremdschlüssel | (nur Datenbanken) Werte für eine Spalte müssen eindeutige Werte sein, die aus einer Spalte in einer anderen Tabelle stammen | In einer US-Steuerzahlerdatenbank muss die Spalte Staat ein gültiger Staat oder ein gültiges Territorium sein, wobei die Menge der akzeptablen Werte in einer separaten Tabelle Staaten definiert ist |
Genauigkeit | Der Grad, in dem die Daten mit der tatsächlich gemessenen oder beschriebenen Einheit übereinstimmen | Wenn die Werte für Postleitzahlen nach Straßenlage validiert werden, erhöht sich die Genauigkeit der Daten. |
Vollständigkeit | Der Grad, in dem die Daten alle gewünschten Komponenten oder Maßnahmen enthalten | Wenn Daten für persönliche Profile die Haar- und Augenfarbe erfordern und beides erfasst wird, sind die Daten vollständig. |
Einheitlichkeit | Der Grad, in dem die Daten von verschiedenen Eingabe- oder Erfassungspunkten aus wiederholbar sind | Wenn ein Kunde in der Verkaufs- und der Reparaturdatenbank die gleiche Adresse hat, sind die Daten konsistent. |
Gut abgestimmte Ziele und Daten
Sie können aussagekräftige Statistiken erstellen und genaue Schlussfolgerungen ziehen, wenn die Daten gut auf die Unternehmensziele abgestimmt sind. Als Fachkraft für Datenanalyse ist die Abstimmung etwas, das Sie beurteilen müssen. Eine gute Abstimmung bedeutet, dass die Daten relevant sind und Ihnen helfen können, ein Geschäftsproblem zu lösen oder eine Vorgehensweise zu bestimmen, um ein bestimmtes Ziel zu erreichen.
In dieser Lektüre werden Sie die mit drei Szenarien verbundenen Geschäftsziele überprüfen. Sie werden herausfinden, wie saubere Daten und gut abgestimmte Ziele Ihnen helfen können, genaue Schlussfolgerungen zu ziehen. Darüber hinaus erfahren Sie, wie neue Variablen, die bei der Datenanalyse entdeckt werden, dazu führen können, dass Sie Dateneinschränkungen einrichten müssen, damit die Daten weiterhin auf ein Geschäftsziel ausgerichtet sind.
Bereinigte Daten + Abstimmung auf das Ziel des Unternehmens = genaue Schlussfolgerungen
Geschäftliches Ziel
Die Kundenbetreuer von Impress Me, einem Abonnementdienst für Online-Inhalte, möchten wissen, wie schnell die Nutzer die Inhalte nach der Aktivierung ihres Abonnements ansehen.
Zunächst prüft die Fachkraft für Datenanalyse, ob die in Tabellen exportierten Daten sauber sind und bestätigt, dass die benötigten Daten (wann Nutzer auf Inhalte zugreifen) verfügbar sind. Mit diesem Wissen entscheidet der Analyst, dass die Daten gut auf das Unternehmensziel abgestimmt sind. Alles, was noch fehlt, ist, genau herauszufinden, wie lange jeder Nutzer braucht, um die Inhalte anzusehen, nachdem sein Abonnement aktiviert wurde.
Hier sind die Datenverarbeitungsschritte, die der Analyst für einen Nutzer von einem Konto namens V&L Consulting durchführt. (Diese Schritte würden für jedes abonnierende Konto und für jeden mit diesem Konto verbundenen Nutzer wiederholt werden.)
Schritt 1
Schritt zur Verarbeitung der Daten | Quelle der Daten |
|---|---|
Suchen Sie das Aktivierungsdatum für V&L Consulting | Tabelle mit den Konten |
Relevante Daten in der Tabelle:
Ergebnis: 21. Oktober 2019
Schritt 2
Schritt zur Verarbeitung der Daten | Quelle der Daten |
|---|---|
Nachschlagen des Namens eines Nutzers, der zum V&L Consulting-Konto gehört | Tabelle mit den Konten (Registerkarte Nutzer) |
Relevante Daten in der Tabelle:
Ergebnis: Maria Ballantyne
Schritt 3
Schritt zur Verarbeitung der Daten | Quelle der Daten |
|---|---|
Finden Sie das Datum des ersten Zugriffs auf Inhalte für Maria B. | Tabelle zur Nutzung von Inhalten |
Relevante Daten in der Tabelle:
Ergebnis: Oktober 31, 2019
Schritt 4
Schritt zur Verarbeitung der Daten | Quelle der Daten |
|---|---|
Berechnen Sie die Zeit zwischen der Aktivierung und der ersten Nutzung von Inhalten für Maria B. | Neue Berechnung in der Tabelle |
Relevante Daten in der Tabelle:
Ergebnis: 10 Tage
Profi-Tipp 1
In dem obigen Prozess könnte der Analyst VLOOKUP verwenden, um die Daten aus den Schritten 1, 2 und 3 nachzuschlagen, um die Werte in der Tabelle in Schritt 4 aufzufüllen. SVERWEIS ist eine Tabellenkalkulationsfunktion, die nach einem bestimmten Wert in einer Spalte sucht, um eine damit verbundene Information zurückzugeben. Die Verwendung von VLOOKUP kann viel Zeit sparen; ohne diese Funktion müssen Sie Daten und Namen manuell nachschlagen.
Auf der Seite SVERWEIS im Google Help Center erfahren Sie, wie Sie die Funktion in Google Sheets verwenden.
Profi-Tipp 2
In Schritt 4 des obigen Prozesses könnte der Analyst die Funktion DATEDIF verwenden, um automatisch die Differenz zwischen den Daten in Spalte C und Spalte D zu berechnen.
Wie Sie die Funktion in Excel verwenden, erfahren Sie auf der Microsoft Support-Seite DATEDIF. Die Funktion DAYS360 leistet dasselbe in Ressourcenerfassungen, die ein 360-Tage-Jahr (zwölf 30-Tage-Monate) verwenden.
Auf der DATEDIF-Seite im Google Help Center erfahren Sie, wie Sie die Funktion in Google Sheets verwenden.
Abstimmung auf das Unternehmensziel + zusätzliche Datenbereinigung = genaue Schlussfolgerungen
Geschäftliches Ziel
Cloud Gate, ein Software-Unternehmen, hat vor kurzem eine Reihe von öffentlichen Webinaren als kostenlose Produkteinführungen veranstaltet. Die Fachkraft für Datenanalyse und der Programmmanagende für das Webinar möchten die Unternehmen ermitteln, bei denen fünf oder mehr Personen an diesen Sitzungen teilgenommen haben. Sie möchten diese Liste von Unternehmen an die Vertriebsmanager weitergeben, die sie für potenzielle Verkäufe nachfassen können.
Die Webinar-Teilnahmedaten enthalten die unten aufgeführten Felder und Daten.
Name | <Vorname><Nachname> | Dies waren die erforderlichen Informationen, die die Teilnehmer angeben mussten |
|---|---|---|
E-Mail Adresse | xxxxx@company.com | Diese Informationen mussten von den Teilnehmern angegeben werden |
Unternehmen | <Firmenname> | Diese Informationen waren optional und konnten von den Teilnehmern angegeben werden |
Bereinigung der Daten
Die Webinar-Teilnehmerdaten scheinen mit dem Unternehmensziel übereinzustimmen. Aber die Fachkraft für Datenanalyse und der Programmmanagende entscheiden, dass vor der Analyse eine Datenbereinigung erforderlich ist. Sie halten die Datenbereinigung für erforderlich, weil:
Der Firmenname war kein obligatorisches Feld. Wenn der Firmenname leer ist, könnte er über die E-Mail-Adresse ermittelt werden. Wenn die E-Mail-Adresse z.B. username@google.com lautet, könnte das Feld für das Unternehmen für die Datenanalyse mit Google ausgefüllt werden. Bei diesem Schritt der Datenbereinigung wird davon ausgegangen, dass Personen mit vom Unternehmen zugewiesenen E-Mail-Adressen aus geschäftlichen Gründen an einem Webinar teilgenommen haben.
Die Teilnehmer können einen beliebigen Namen eingeben. Da die Teilnahme an einer Reihe von Webinaren untersucht wird, müssen Sie die Namen mit eindeutigen E-Mail-Adressen abgleichen. Wenn zum Beispiel Joe Cox an zwei Webinaren teilgenommen hat, sich aber bei einem als Joe Cox und beim anderen als Joseph Cox angemeldet hat, würde er als zwei verschiedene Personen gezählt werden. Um dies zu verhindern, müssen sie seine eindeutige E-Mail-Adresse überprüfen, um festzustellen, dass es sich um dieselbe Person handelt. Nach der Überprüfung könnte Joseph Cox in Joe Cox geändert werden, um mit der anderen Instanz übereinzustimmen.
Abstimmung auf das Unternehmensziel + neu entdeckte Variablen + Beschränkungen = genaue Schlussfolgerungen
Ziel des Unternehmens
Das Unternehmen A+ Education, das Nachhilfeunterricht anbietet, möchte wissen, wie viele Nachhilfestunden mindestens erforderlich sind, damit sich die Noten der Schüler um mindestens 10% verbessern.
Die Fachkraft für Datenanalyse ist der Meinung, dass die verfügbaren Daten gut mit dem Ziel des Unternehmens übereinstimmen, denn:
Die Schüler loggen sich für jede Nachhilfesitzung in ein System ein und wieder aus, und die Anzahl der Stunden wird protokolliert
Die Bewertungsergebnisse werden regelmäßig aufgezeichnet
Dateneinschränkungen für neue Variablen
Nachdem die Fachkraft für Datenanalyse sich die Daten angesehen hat, stellt sie fest, dass es weitere Variablen zu berücksichtigen gibt. Einige Schüler hatten konstante wöchentliche Sitzungen, während andere Schüler ihre Sitzungen eher zufällig angesetzt hatten, obwohl die Gesamtzahl ihrer Nachhilfestunden gleich war. Die Daten stimmen nicht so gut mit dem ursprünglichen Ziel des Unternehmens überein, wie zunächst angenommen. Daher fügt der Analyst eine Dateneinschränkung hinzu, um sich nur auf die Schüler mit gleichbleibenden wöchentlichen Sitzungen zu konzentrieren. Diese Änderung hilft, ein genaueres Bild von der Einschreibezeit zu erhalten, die erforderlich ist, um eine 10%ige Verbesserung der Bewertungsergebnisse zu erreichen.
Die wichtigsten Erkenntnisse
Wir hoffen, dass Ihnen diese Beispiele einen Eindruck davon vermitteln, worauf Sie achten müssen, um zu wissen, ob Ihre Daten mit Ihrem Ziel übereinstimmen.
Bei sauberen Daten und guter Abstimmung können Sie genaue Statistiken erhalten und Schlussfolgerungen ziehen, die von den Daten gestützt werden.
Wenn eine gute Abstimmung vorliegt, die Daten aber bereinigt werden müssen, bereinigen Sie die Daten, bevor Sie Ihre Analyse durchführen.
Wenn die Daten nur teilweise mit einem Ziel übereinstimmen, sollten Sie überlegen, wie Sie das Ziel ändern können, oder Dateneinschränkungen verwenden, um sicherzustellen, dass die Teilmenge der Daten besser mit dem Geschäftsziel übereinstimmt.
Wenn Sie ein Problem mit Ihren Daten feststellen
Wenn Sie sich auf die Datenanalyse vorbereiten, stellen Sie vielleicht fest, dass Sie nicht über die benötigten Daten verfügen oder nicht genug davon haben. In einigen Fällen können Sie anstelle der echten Daten so genannte Proxy-Daten verwenden. Stellen Sie sich das so vor, als würden Sie in einem Rezept die Butter durch Öl ersetzen, wenn Sie keine Butter haben. In anderen Fällen gibt es keinen vernünftigen Ersatz und Ihre einzige Möglichkeit ist, mehr Daten zu sammeln.
Betrachten Sie die folgenden Probleme mit Daten und Vorschläge, wie Sie sie umgehen können.
Datenproblem 1: keine Daten
Mögliche Lösungen | Beispiele für Lösungen aus dem wirklichen Leben |
|---|---|
Sammeln Sie die Daten in kleinem Umfang, um eine erste Analyse durchzuführen, und bitten Sie dann um zusätzliche Zeit, um die Analyse abzuschließen, nachdem Sie mehr Daten gesammelt haben. | Wenn Sie die Mitarbeiter zu ihrer Meinung über einen neuen Leistungs- und Bonusplan befragen, verwenden Sie eine Stichprobe für eine vorläufige Analyse. Bitten Sie dann um weitere 3 Wochen, um die Daten von allen Mitarbeitern zu sammeln. |
Wenn Sie keine Zeit haben, Daten zu sammeln, führen Sie die Analyse mit Proxy-Daten aus anderen Datasets durch. Dies ist die häufigste Abhilfe. | Wenn Sie die Hauptreisezeiten für Pendler analysieren, aber nicht über die Daten einer bestimmten Stadt verfügen, verwenden Sie die Daten einer anderen Stadt mit ähnlicher Größe und Demografie. |
Datenproblem 2: zu wenig Daten
Mögliche Lösungen | Beispiele für Lösungen aus der Praxis |
|---|---|
Führen Sie die Analyse anhand von Proxy-Daten zusammen mit den tatsächlichen Daten durch. | Wenn Sie Trends für Besitzer von Golden Retrievern analysieren, vergrößern Sie Ihr Dataset, indem Sie die Daten von Besitzern von Labradoren einbeziehen. |
Passen Sie Ihre Analyse an die Daten an, über die Sie bereits verfügen. | Wenn Ihnen Daten für 18- bis 24-Jährige fehlen, führen Sie die Analyse durch, aber beachten Sie in Ihrem Bericht die folgende Einschränkung: Diese Schlussfolgerung gilt nur für Erwachsene ab 25 Jahren. |
Datenproblem 3: falsche Daten, einschließlich fehlerhafter Daten*
Mögliche Lösungen | Beispiele für Lösungen aus dem wirklichen Leben |
|---|---|
Wenn Sie die falschen Daten haben, weil die Anforderungen missverstanden wurden, kommunizieren Sie die Anforderungen erneut. | Wenn Sie die Daten für weibliche Wähler benötigen und die Daten für männliche Wähler erhalten haben, formulieren Sie Ihren Bedarf neu. |
Identifizieren Sie Fehler in den Daten und korrigieren Sie sie, wenn möglich, an der Quelle, indem Sie nach einem Muster in den Fehlern suchen. | Wenn sich Ihre Daten in einer Tabelle befinden und eine bedingte Anweisung oder ein Boolescher Wert zu falschen Berechnungen führt, ändern Sie die bedingte Anweisung, anstatt nur die berechneten Werte zu korrigieren. |
Wenn Sie Datenfehler nicht selbst korrigieren können, können Sie die falschen Daten ignorieren und mit der Analyse fortfahren, wenn Ihr Stichprobenumfang noch groß genug ist und das Ignorieren der Daten keine systematische Voreingenommenheit verursacht. | Wenn Ihr Dataset aus einer anderen Sprache übersetzt wurde und einige der Übersetzungen keinen Sinn ergeben, ignorieren Sie die schlecht übersetzten Daten und fahren Sie mit der Analyse der anderen Daten fort. |
* Wichtiger Hinweis: Manchmal können fehlerhafte Daten ein Warnzeichen dafür sein, dass die Daten nicht zuverlässig sind. Verwenden Sie Ihr bestes Urteilsvermögen.
Verwenden Sie den folgenden Entscheidungsbaum als Erinnerung daran, wie Sie mit Datenfehlern oder nicht ausreichenden Daten umgehen sollten:
Berechnen Sie die Stichprobe
Bevor Sie sich näher mit der Stichprobe befassen, sollten Sie sich mit den folgenden Begriffen und Definitionen vertraut machen:
Terminologie | Definitionen |
|---|---|
Population | Die gesamte Gruppe, an der Sie für Ihre Studie interessiert sind. Wenn Sie z.B. eine Umfrage in Ihrem Unternehmen durchführen, wären die Population alle Mitarbeiter Ihres Unternehmens. |
Stichprobe | Eine Teilmenge Ihrer Population. Genau wie eine Lebensmittelprobe wird sie als Stichprobe bezeichnet, weil sie nur eine Kostprobe ist. Wenn Ihr Unternehmen also zu groß ist, um alle Personen zu befragen, können Sie eine repräsentative Stichprobe Ihrer Population befragen. |
Fehlerspanne | Da eine Stichprobe verwendet wird, um eine Population zu repräsentieren, ist zu erwarten, dass die Ergebnisse der Stichprobe von dem Ergebnis abweichen, das bei einer Umfrage in der gesamten Population erzielt worden wäre. Diese Differenz wird Fehlerspanne genannt. Je kleiner die Fehlerspanne ist, desto näher liegen die Ergebnisse der Stichprobe an dem Ergebnis, das Sie erhalten hätten, wenn Sie die gesamte Population befragt hätten. |
Konfidenzniveau | Wie viel Vertrauen Sie in die Ergebnisse der Umfrage haben. Ein Konfidenzniveau von 95 % bedeutet beispielsweise, dass Sie bei einer 100-maligen Durchführung der gleichen Umfrage in 95 von 100 Fällen ähnliche Ergebnisse erhalten würden. Das Konfidenzniveau wird angestrebt, bevor Sie mit Ihrer Studie beginnen, da es sich darauf auswirkt, wie groß Ihre Fehlerspanne am Ende der Studie ist. |
Konfidenzintervall | Der Bereich der möglichen Werte, die das Ergebnis der Population bei dem Konfidenzniveau der Studie aufweisen würde. Dieser Bereich entspricht dem Ergebnis der Stichprobe +/- der Fehlerspanne. |
Statistische Signifikanz | Die Feststellung, ob Ihr Ergebnis auf einen Zufall zurückzuführen sein könnte oder nicht. Je höher die Signifikanz, desto weniger ist das Ergebnis auf Zufall zurückzuführen. |
Was Sie bei der Bestimmung des Umfangs Ihrer Stichprobe beachten sollten
Bei der Bestimmung des Stichprobenumfangs sollten Sie folgende Dinge beachten:
Verwenden Sie keine Stichprobe mit einem Umfang von weniger als 30. Es ist statistisch erwiesen, dass 30 die kleinste Stichprobengröße ist, bei der ein durchschnittliches Ergebnis einer Stichprobe beginnt, das durchschnittliche Ergebnis einer Population zu repräsentieren.
Das am häufigsten verwendete Konfidenzniveau ist 95%, aber auch 90% kann in einigen Fällen funktionieren.
Erhöhen Sie den Stichprobenumfang, um den spezifischen Anforderungen Ihres Projekts gerecht zu werden:
Um ein höheres Konfidenzniveau zu erreichen, verwenden Sie eine größere Stichprobe
Um die Fehlerspanne zu verringern, verwenden Sie eine größere Stichprobe
Für eine größere statistische Signifikanz verwenden Sie eine größere Stichprobe
Hinweis: Die Rechner für den Stichprobenumfang verwenden statistische Formeln, um den Stichprobenumfang zu bestimmen. Mehr über diese Formeln erfahren Sie in diesem Kurs! Bleiben Sie dran.
Warum eine Mindeststichprobe von 30?
Diese Empfehlung basiert auf dem zentralen Grenzwertsatz (CLT) auf dem Feld der Wahrscheinlichkeit und der Statistik. Mit zunehmender Stichprobengröße ähneln die Ergebnisse immer mehr der normalen (glockenförmigen) Bereitstellung einer großen Anzahl von Stichproben. Eine Stichprobe von 30 ist die kleinste Stichprobengröße, für die der CLT noch gültig ist. Forscher, die sich auf die Regressionsanalyse stützen – statistische Methoden zur Ermittlung der Beziehungen zwischen kontrollierten und abhängigen Variablen – bevorzugen ebenfalls eine Stichprobe von mindestens 30.
Immer noch neugierig? Ohne zu sehr in die Mathematik einzusteigen, schauen Sie sich diese Artikel an:
Zentrales Limit-Theorem (CLT): Dieser Artikel von Investopedia erklärt das Central Limit Theorem und beschreibt kurz, wie es auf die Analyse eines Aktienindexes angewendet werden kann.
Formel für den Stichprobenumfang: Dieser Artikel von Statistik Solutions erläutert etwas ausführlicher, warum einige Forscher 30 als Mindeststichprobengröße verwenden.
Stichprobengrößen variieren je nach Geschäftsproblem
Die Stichprobengröße hängt von der Art des Geschäftsproblems ab, das Sie zu lösen versuchen.
Wenn Sie z.B. in einer Stadt mit 200.000 Einwohnern leben und 180.000 Menschen dazu bringen, an einer Umfrage teilzunehmen, ist das eine große Stichprobe. Aber wie würde eine akzeptable, kleinere Stichprobe aussehen, ohne dass Sie das tatsächlich tun?
Wären 200 in Ordnung, wenn die befragten Personen jeden Bezirk der Stadt repräsentieren würden?
Antwort: Das hängt von der Beteiligung ab.
Eine Stichprobe von 200 Personen könnte ausreichend sein, wenn Sie herausfinden möchten, wie die Einwohner über die neue Mediathek denken
Eine Stichprobe von 200 Personen ist möglicherweise nicht ausreichend, wenn es darum geht, herauszufinden, wie die Einwohner über die Finanzierung der Mediathek abstimmen würden
Sie könnten wahrscheinlich eine größere Fehlerspanne in Kauf nehmen, wenn Sie die Meinung der Einwohner über die neue Mediathek erfragen, als wenn Sie die Einwohner befragen, wie sie über die Finanzierung der Bibliothek abstimmen würden. Aus diesem Grund würden Sie wahrscheinlich eine größere Stichprobe für die Umfrage unter den Wählern verwenden.
Größere Stichproben sind mit höheren Kosten verbunden
Sie müssen auch die Kosten gegen den Nutzen der genaueren Ergebnisse einer größeren Stichprobe abwägen. Jemand, der versucht, die Verbraucherpräferenzen für eine neue Produktlinie zu verstehen, würde keine so große Stichprobe benötigen wie jemand, der versucht, die Auswirkungen eines neuen Medikaments zu verstehen. Bei der Arzneimittelsicherheit überwiegen die Vorteile die Kosten einer größeren Stichprobe. Aber für die Verbraucherpräferenzen könnte eine kleinere Stichprobe zu geringeren Kosten ausreichend gute Ergebnisse liefern.
Die Grundlagen zu kennen ist hilfreich
Die Kenntnis der Grundlagen wird Ihnen helfen, die richtigen Entscheidungen zu treffen, wenn es um die Größe der Stichprobe geht. Sie können jederzeit Bedenken äußern, wenn Sie auf eine zu kleine Stichprobe stoßen. Ein Stichproben-Rechner ist auch hierfür ein hervorragendes Hilfsmittel. Mit einem Stichprobenrechner können Sie das gewünschte Konfidenzniveau und die Fehlerspanne für eine bestimmte Populationsgröße eingeben. Anschließend wird der Stichprobenumfang berechnet, der erforderlich ist, um diese Ergebnisse statistisch zu erreichen.
Eine Demonstration eines Stichprobenrechners finden Sie im Video Bestimmen Sie die beste Stichprobengröße oder in der Lektüre Stichprobenberechnung für weitere Informationen.
Die wichtigsten Erkenntnisse
AS Sie Ihre Data Analytics-Reise fortsetzen, sollten Sie sich vor der Berechnung der Stichprobengröße mit den Schlüsselbegriffen wie Population, Stichprobe, Fehlerspanne, Konfidenzniveau und Konfidenzintervall vertraut machen. Denken Sie daran, dass eine Stichprobe von mindestens 30 Personen empfohlen wird und dass die Stichprobengröße je nach dem spezifischen Geschäftsproblem variiert. Berücksichtigen Sie bei der Festlegung des Stichprobenumfangs auch den Zielkonflikt zwischen Genauigkeit und Kosten, da größere Stichproben genauere Ergebnisse liefern, allerdings zu höheren Kosten. Verwenden Sie schließlich Stichprobenrechner, um den geeigneten Stichprobenumfang für Ihre Studie zu ermitteln.
Wenn Daten nicht ohne weiteres verfügbar sind
Beispiele für Proxy Daten
Manchmal sind die Daten zur Unterstützung eines Geschäftsziels nicht ohne weiteres verfügbar. In diesem Fall sind Proxy Daten nützlich. Werfen Sie einen Blick auf die folgenden Szenarien und darauf, wo Proxy-Daten in den einzelnen Beispielen zum Einsatz kommen:
Geschäftsszenario | Wie Proxy Daten verwendet werden können |
|---|---|
Ein neues Automodell wurde erst vor wenigen Tagen auf den Markt gebracht und das Autohaus kann nicht bis zum Ende des Monats warten, bis die Verkaufsdaten eintreffen. Sie wollen jetzt Projektionen für die Verkäufe. | Der Analyst setzt die Anzahl der Klicks auf die Fahrzeugspezifikationen auf der Website des Autohauses als Proxy für die potenziellen Verkäufe des Autohauses ein. |
Ein brandneues Fleischprodukt auf pflanzlicher Basis wurde erst vor kurzem in den Lebensmittelgeschäften eingeführt und der Lieferant muss die Nachfrage in den nächsten vier Jahren schätzen. | Der Analyst erstellt einen Proxy für die Verkaufsdaten eines Truthahnersatzes aus Tofu, der bereits seit einigen Jahren auf dem Markt ist. |
Die Handelskammer möchte wissen, wie sich eine Tourismuskampagne auf das Reiseaufkommen in ihrer Stadt auswirken wird, aber die Ergebnisse der Kampagne sind noch nicht öffentlich zugänglich. | Der Analyst stellt die historischen Daten für Flugbuchungen in die Stadt ein bis drei Monate nach der Durchführung einer ähnlichen Kampagne sechs Monate zuvor als Proxy zur Verfügung. |
Offene (öffentliche) Datasets
Wenn Sie Teil einer großen Organisation sind, haben Sie vielleicht Zugang zu vielen Datenquellen. Wenn Sie aber etwas Bestimmtes oder etwas außerhalb Ihres Geschäftsbereichs suchen, können Sie auch auf offene oder öffentliche Datasets zurückgreifen. (In diesem Medium-Artikel finden Sie eine kurze Erklärung des Unterschieds zwischen offenen und öffentlichen Daten)
Hier ist ein Beispiel. Eine nasale Version eines Impfstoffs wurde vor kurzem auf den Markt gebracht. Eine Klinik möchte wissen, welche Kontraindikationen zu erwarten sind, hat aber gerade erst begonnen, Erstanbieterdaten von ihren Patienten zu sammeln. Eine Kontraindikation ist ein Zustand, der einen Patienten dazu veranlassen kann, einen Impfstoff nicht einzunehmen, weil er ihm schaden würde, wenn er ihn einnimmt. Um die Anzahl der möglichen Kontraindikationen abzuschätzen, stellt eine Fachkraft für Datenanalyse einen offenen Dataset aus einer Studie mit der Injektionsversion des Impfstoffs als Proxy zur Verfügung. Der Analytiker wählt eine Teilmenge der Daten mit Patientenprofilen aus, die am ehesten mit der Zusammensetzung der Patienten in der Klinik übereinstimmen.
Es gibt viele Möglichkeiten, Daten innerhalb einer Community zu teilen und zusammenzuarbeiten. Kaggle (kaggle.com), das wir bereits vorgestellt haben, bietet Datasets in einer Vielzahl von Formaten an, darunter auch das einfachste Format, CSV-Dateien (Comma-Separated Werte, kommagetrennte Werte).
CSV-, JSON-, SQLite- und BigQuery-Datasets
CSV: Sehen Sie sich dies an Kreditkarten-Kunden dataset, das Informationen von 10.000 Kunden enthält, darunter Alter, Gehalt, Familienstand, Kreditkartenlimit, Kreditkartenkategorie usw. (CC0: Public Domain, Sakshi Goyal).
JSON: Sehen Sie sich dieses JSON Dataset für trendigen YouTube-Videos (CC0: Public Domain, Mitchell J).
SQLite: Sehen Sie sich dieses SQLite Dataset mit Daten aus 24 Jahren an U.S. Daten zu Waldbränden (CC0: Public Domain, Rachael Tatman).
BigQuery: Sehen Sie sich diese Google Analytics 360 stichprobe Dataset aus dem Google Merchandise Store (CC0 Public Domain, Google BigQuery).
Schauen Sie in der Kaggle dokumentation für Datasets für weitere Informationen und suchen Sie selbst nach Datasets unter kaggle.com/datasets.
AS wie bei allen anderen Arten von Datasets sollten Sie auf doppelte Daten und NULL-Werte in Open Datasets achten. NULL bedeutet meistens, dass ein Feld nicht zugewiesen wurde (leer gelassen wurde), aber manchmal kann NULL auch als der Wert 0 interpretiert werden. Es ist wichtig zu verstehen, wie NULL verwendet wurde, bevor Sie einen Dataset mit NULL-Daten analysieren.
Die wichtigsten Erkenntnisse
AS Sie an Projekten zur Datenanalyse arbeiten, können Proxy-Daten häufig zur Schätzung oder Vorhersage von Ergebnissen verwendet werden, wenn die tatsächlichen Daten nicht verfügbar sind. Offene oder öffentliche Datasets können als Proxy-Datenquellen verwendet werden, und es gibt viele Online-Repositories, in denen Sie relevante Datasets finden können. Seien Sie jedoch vorsichtig bei der Verwendung von Proxy Daten und stellen Sie sicher, dass sie für den beabsichtigten Zweck gut geeignet sind. Prüfen Sie schließlich, ob es in offenen Datasets doppelte Daten und NULL-Werte gibt, bevor Sie sie zur Analyse verwenden.
Rechner für Stichprobengröße
In dieser Lektüre lernen Sie die Grundlagen von Stichprobenrechnern kennen, wie Sie sie verwenden und wie Sie die Ergebnisse verstehen können. Ein Rechner für den Stichprobenumfang sagt Ihnen, wie viele Personen Sie befragen müssen (oder was Sie testen müssen), um Ergebnisse zu erhalten, die die Zielpopulation repräsentieren. Lassen Sie uns einige Begriffe durchgehen, die Ihnen bei der Verwendung eines Stichprobenrechners begegnen werden:
Konfidenzniveau: Die Wahrscheinlichkeit, dass Ihr Stichprobenumfang die größere Grundgesamtheit genau widerspiegelt.
Fehlerspanne: Der maximale Betrag, um den die Ergebnisse der Stichprobe voraussichtlich von denen der tatsächlichen Population abweichen.
Population: Dies ist die Gesamtzahl, aus der Sie Ihre Stichprobe zu ziehen hoffen.
Stichprobe: Ein Teil einer Population, der für die Population repräsentativ ist.
Geschätzte Rücklaufquote: Wenn Sie eine Umfrage unter Einzelpersonen durchführen, ist dies der Prozentsatz der Personen, von denen Sie erwarten, dass sie Ihre Umfrage ausfüllen werden, bezogen auf diejenigen, die die Umfrage erhalten haben.
So verwenden Sie einen Rechner für den Stichprobenumfang
Um einen Stichprobenrechner verwenden zu können, müssen Sie die Populationsgröße, das Konfidenzniveau und die akzeptable Fehlerspanne bereits festgelegt haben, damit Sie diese in das Tool eingeben können. Wenn Sie diese Informationen bereit haben, können Sie sich die folgenden Stichprobenrechner ansehen:
Was Sie mit den Ergebnissen tun können
Nachdem Sie Ihre Informationen in einen dieser Rechner eingegeben haben, erhalten Sie eine empfohlene Stichprobengröße. Denken Sie daran, dass die berechnete Stichprobe das Minimum dessen ist, was Sie für das Konfidenzniveau und die Fehlerspanne eingegeben haben. Wenn Sie mit einer Umfrage arbeiten, müssen Sie auch die geschätzte Rücklaufquote berücksichtigen, um herauszufinden, wie viele Umfragen Sie verschicken müssen. Wenn Sie beispielsweise eine Stichprobe von 100 Personen benötigen und Ihre geschätzte Rücklaufquote 10 % beträgt, müssen Sie Ihre Umfrage an 1.000 Personen senden, um die 100 Beantwortungen zu erhalten, die Sie für Ihre Analyse benötigen.
Jetzt, da Sie die Grundlagen kennen, können Sie einige Berechnungen mit dem Stichprobenumfangsrechner durchführen und diese Lektüre zur Auffrischung der Definitionen heranziehen.
Alles über Fehlerspannen
DieFehlerspanne ist der maximale Betrag, um den die Ergebnisse der Stichprobe voraussichtlich von denen der tatsächlichen Population abweichen. Technisch gesehen definiert die Fehlerspanne einen Bereich von Werten unterhalb und oberhalb des durchschnittlichen Ergebnisses der Stichprobe. Es wird erwartet, dass das durchschnittliche Ergebnis für die gesamte Population innerhalb dieses Bereichs liegt. Anhand einiger Beispiele können wir die Fehlerspanne besser verstehen.
Fehlerspanne beim Baseball
Stellen Sie sich vor, Sie spielen Baseball und sind am Schlag. Die Menge brüllt und Sie machen sich bereit, den Ball zu schlagen. Der Pitcher wirft einen Fastball mit einer Geschwindigkeit von etwa 90-95 mph, der etwa 400 Millisekunden (ms) braucht, um den Handschuh des Fängers zu erreichen. Sie schwingen und verfehlen den ersten Wurf, weil Ihr Timing nicht ganz richtig war. Sie fragen sich, ob Sie etwas früher oder etwas später hätten ausholen sollen, um einen Homerun zu schlagen. Diese Zeitdifferenz kann als Fehlerspanne betrachtet werden und gibt Aufschluss darüber, wie nah oder weit Ihr Timing vom durchschnittlichen Homerun-Schwung entfernt war.
Fehlerspanne im Marketing
Die Fehlerspanne ist auch im Marketing wichtig. Nehmen wir das A/B-Testing als Beispiel. Bei A/B-Tests (oder Split-Tests) werden zwei Varianten derselben Webseite getestet, um festzustellen, welche Seite erfolgreicher ist, um Nutzer anzuziehen und Umsatz zu generieren. Der Nutzerverkehr, der monetarisiert wird, wird als Conversion-Rate bezeichnet. Mit A/B-Tests können Marketingexperten E-Mails, Anzeigen und Landing Pages testen, um die Daten zu ermitteln, die hinter dem stehen, was funktioniert und was nicht funktioniert. Marketer verwenden das Konfidenzintervall (bestimmt durch die Conversion-Rate und die Fehlerspanne), um die Ergebnisse zu verstehen.
Nehmen wir zum Beispiel an, Sie führen einen A/B-Test durch, um die Effektivität von zwei verschiedenen E-Mail-Betreffzeilen zu vergleichen, mit denen Eigentümer zum Öffnen der E-Mail verleitet werden sollen. Sie stellen fest, dass die Betreffzeile A: „Sonderangebot nur für Sie“ zu einer Öffnungsrate von 5 % führt, verglichen mit der Betreffzeile B: „Verpassen Sie diese Gelegenheit nicht“ mit 3 %.
Bedeutet das, dass die Betreffzeile A besser ist als die Betreffzeile B? Das hängt von Ihrer Fehlerspanne ab. Wenn die Fehlerspanne 2 % beträgt, dann liegt die tatsächliche Öffnungsrate oder das Konfidenzintervall von Betreffzeile A irgendwo zwischen 3 % und 7 %. Da sich das untere Ende des Intervalls mit den Ergebnissen von Betreffzeile B bei 3 % überschneidet, können Sie nicht zu dem Schluss kommen, dass ein statistisch signifikanter Unterschied zwischen Betreffzeile A und B besteht. Die Untersuchung der Fehlerspanne ist wichtig, wenn Sie auf der Grundlage Ihrer Testergebnisse Schlussfolgerungen ziehen.
Möchten Sie Ihre Fehlerspanne berechnen?
Alles, was Sie brauchen, sind die Populationsgröße, das Konfidenzniveau und die Stichprobe. Um diesen Rechner besser zu verstehen, sollten Sie sich diese Begriffe ansehen:
Konfidenzniveau: Ein Prozentsatz, der angibt, wie wahrscheinlich es ist, dass Ihre Stichprobe die Grundgesamtheit genau widerspiegelt
Population: Die Gesamtzahl, aus der Sie Ihre Stichprobe ziehen
Stichprobe: Ein Teil einer Population, der für die Population repräsentativ ist
Fehlerspanne: Die maximale Abweichung der Stichprobenergebnisse von denen der tatsächlichen Population
In den meisten Fällen wird ein Konfidenzniveau von 90% oder 95% verwendet. Aber je nach Branche sollten Sie vielleicht ein strengeres Konfidenzniveau festlegen. Ein Konfidenzniveau von 99% ist in einigen Branchen angemessen, z.B. in der Pharmaindustrie.
Nachdem Sie sich auf Ihre Populationsgröße, die Stichprobe und das Konfidenzniveau geeinigt haben, geben Sie die Informationen in einen Fehlerspannen-Rechner wie den unten stehenden ein:
Die wichtigsten Erkenntnisse
Die Fehlerspanne wird verwendet, um festzustellen, wie nahe das Ergebnis Ihrer Stichprobe an dem Ergebnis liegt, das wahrscheinlich zustande gekommen wäre, wenn Sie die gesamte Population hätten befragen oder testen können. Die Fehlerspanne hilft Ihnen, Umfrage- oder Testergebnisse in der Praxis zu verstehen und zu interpretieren. Die Berechnung der Fehlerspanne ist besonders hilfreich, wenn Sie die Daten zur Analyse erhalten. Nachdem Sie die Fehlerspanne mit einem Rechner berechnet haben, wissen Sie, wie stark die Ergebnisse der Stichprobe von den Ergebnissen der gesamten Population abweichen könnten.
Glossarbegriffe aus Modul 1
Begriffe und Definitionen für Kurs 4, Modul 1
Genauigkeit: Der Grad, in dem die Daten mit der tatsächlich gemessenen oder beschriebenen Einheit übereinstimmen
Vollständigkeit: Der Grad, in dem die Daten alle gewünschten Komponenten oder Maße enthalten
Konfidenzintervall: Ein Bereich von Werten, der angibt, wie wahrscheinlich es ist, dass eine statistische Schätzung die Bevölkerung widerspiegelt
Konfidenzniveau: Die Wahrscheinlichkeit, dass eine Stichprobe die Grundgesamtheit genau widerspiegelt
Einheitlichkeit: Das Ausmaß, in dem Daten von verschiedenen Angriffspunkten oder Erhebungen aus wiederholbar sind
Feldübergreifende Validierung: Ein Prozess, der sicherstellt, dass bestimmte Bedingungen für mehrere Datenfelder erfüllt sind
Dateneinschränkungen: Die Kriterien, die bestimmen, ob ein Teil der Daten sauber und gültig ist
Datenintegrität: Die Genauigkeit, Vollständigkeit, Konsistenz und Vertrauenswürdigkeit von Daten während ihres gesamten Lebenszyklus
Datenmanipulation: Der Prozess der Änderung von Daten, um sie übersichtlicher und leichter lesbar zu machen
Datenbereich: Numerische Werte, die zwischen vordefinierten Höchst- und Mindestwerten liegen
Datenreplikation: Der Prozess der Speicherung von Daten an mehreren Orten
DATEDIF: Eine Funktion in einer Tabelle, die die Anzahl der Tage, Monate oder Jahre zwischen zwei Daten berechnet
Geschätzte Rücklaufquote: Die durchschnittliche Anzahl der Personen, die eine Umfrage typischerweise ausfüllen
Hypothesentest: Ein Prozess, mit dem festgestellt wird, ob eine Umfrage oder ein Experiment aussagekräftige Ergebnisse liefert
Obligatorisch: Ein Datenwert, der nicht leer gelassen werden kann
Fehlerspanne: Die maximale Abweichung der Stichprobenergebnisse von denen der tatsächlichen Population
Zufallsstichproben: Ein Verfahren zur Auswahl einer Stichprobe aus einer Population, bei dem jeder mögliche Typ der Stichprobe die gleiche Chance hat, ausgewählt zu werden
Regulärer Ausdruck (RegEx): Eine Regel, die besagt, dass die Werte in einer Tabelle einem vorgegebenen Muster entsprechen müssen
Was sind schmutzige Daten?
Wir haben bereits besprochen, dass es sich bei schmutzigen Daten um Daten handelt, die unvollständig, falsch oder irrelevant für das Problem sind, das Sie zu lösen versuchen. Diese Lektüre fasst zusammen:
Arten von schmutzigen Daten, denen Sie begegnen können
Was kann die Ursache für die Verschmutzung der Daten sein?
Wie schmutzige Daten für Unternehmen schädlich sind
Arten von schmutzigen Daten
Doppelte Daten
Beschreibung | Mögliche Ursachen | Potenzieller Schaden für Unternehmen |
|---|---|---|
Jeder Datensatz, der mehr als einmal auftaucht | Manuelle Dateneingabe, Batch-Datenimporte oder Datenmigration | Verzerrte Metriken oder Analysen, überhöhte oder ungenaue Zählungen oder Vorhersagen oder Verwirrung beim Abrufen von Daten |
Veraltete Daten
Beschreibung | Mögliche Ursachen | Potenzieller Schaden für Unternehmen |
|---|---|---|
Alle alten Daten, die durch neuere und genauere Informationen ersetzt werden sollten | Personen, die ihre Rolle oder ihr Unternehmen wechseln, oder Software und Systeme, die veraltet sind | Ungenaue Einblicke, Entscheidungsfindung und Analytics |
Unvollständige Daten
Beschreibung | Mögliche Ursachen | Potenzieller Schaden für Unternehmen |
|---|---|---|
Alle Daten, bei denen wichtige Felder fehlen | Unsachgemäße Datenerfassung oder falsche Dateneingabe | Geringere Produktivität, ungenaue Statistiken oder die Unfähigkeit, wichtige Dienstleistungen zu erbringen |
Falsche/ungenaue Daten
Beschreibung | Mögliche Ursachen | Potenzieller Schaden für Unternehmen |
|---|---|---|
Daten, die zwar vollständig, aber ungenau sind | Menschliche Fehler bei der Dateneingabe, gefälschte Informationen oder Scheindaten | Ungenaue Statistiken oder Entscheidungsfindung auf der Grundlage schlechter Informationen, die zu Umsatzverlusten führen |
Uneinheitliche Daten
Beschreibung | Mögliche Ursachen | Potenzieller Schaden für Unternehmen |
|---|---|---|
Alle Daten, die unterschiedliche Formate zur Darstellung derselben Sache verwenden | Falsch gespeicherte Daten oder bei der Datenübertragung eingefügte Fehler | Widersprüchliche Datenpunkte, die zu Verwirrung oder zur Unfähigkeit führen, Kunden zu klassifizieren oder zu segmentieren |
Geschäftliche Auswirkungen schmutziger Daten
Wenn Sie mehr über die geschäftlichen Auswirkungen schmutziger Daten erfahren möchten, geben Sie den Begriff „Schmutzige Daten“ in die Suchleiste Ihres Browsers ein, um zahlreiche Artikel zu diesem Thema anzuzeigen. Hier sind einige Auswirkungen für bestimmte Branchen, die bei einer früheren Suche gefunden wurden:
Bankwesen: Ungenauigkeiten kosten Unternehmen zwischen 15% und 25% des Umsatzes(Quelle).
Digitaler Handel: Bis zu 25% der B2B-Datenbankkontakte weisen Ungenauigkeiten auf(Quelle).
Marketing und Vertrieb: 99% der Unternehmen befassen sich in irgendeiner Form aktiv mit der Datenqualität(Quelle).
Gesundheitswesen: Doppelte Datensätze können 10 % und sogar bis zu 20 % der elektronischen Gesundheitsdaten eines Krankenhauses ausmachen(Quelle).
Die wichtigsten Erkenntnisse
Schmutzige Daten umfassen doppelte Daten, veraltete Daten, unvollständige Daten, falsche oder ungenaue Daten und inkonsistente Daten. Jede Art von schmutzigen Daten kann erhebliche Auswirkungen auf Analysen haben und zu ungenauen Statistiken, schlechten Entscheidungen und Umsatzverlusten führen. Es gibt eine Reihe von Ursachen für schmutzige Daten, darunter Fehler bei der manuellen Dateneingabe, Batch-Datenimporte, Datenmigration, veraltete Software, unsachgemäße Datenerfassung und menschliche Fehler bei der Dateneingabe. Als Datenexperte können Sie die Auswirkungen schmutziger Daten durch die Implementierung effektiver Prozesse für die Datenqualität eindämmen.
Tools und Techniken zur Bereinigung von Daten
Video 126
Bereinigte Daten aus mehreren Quellen
Video 127
Häufige Fallstricke bei der Bereinigung von Daten
In dieser Lektüre erfahren Sie, wie wichtig die Datenbereinigung ist und wie Sie häufige Fehler erkennen können. Einige der Fehler, auf die Sie bei der Bereinigung Ihrer Daten stoßen könnten, sind:
Häufige Fehler, die Sie vermeiden sollten
Keine Überprüfung auf Rechtschreibfehler: Rechtschreibfehler können so einfach sein wie Tipp- oder Eingabefehler. In den meisten Fällen lassen sich falsche Schreibweisen oder gewöhnliche grammatikalische Fehler erkennen, aber bei Dingen wie Namen oder Adressen wird es schwieriger. Wenn Sie zum Beispiel mit einer Tabelle mit Kundendaten arbeiten, stoßen Sie vielleicht auf einen Kunden namens „John“, dessen Name an einigen Stellen fälschlicherweise als „Jon“ eingegeben wurde. Die Rechtschreibprüfung der Tabelle wird dies wahrscheinlich nicht bemerken. Wenn Sie also nicht noch einmal auf Rechtschreibfehler prüfen und diese entdecken, wird Ihre Analyse Fehler enthalten.
Vergessen Sie, Fehler zu dokumentieren: Das Dokumentieren von Fehlern kann eine große Zeitersparnis bedeuten, da es Ihnen hilft, diese Fehler in Zukunft zu vermeiden, indem es Ihnen zeigt, wie Sie sie behoben haben. Sie könnten zum Beispiel einen Fehler in einer Formel in Ihrer Tabelle finden. Sie stellen fest, dass einige der Datumsangaben in einer Ihrer Spalten nicht korrekt formatiert wurden. Wenn Sie sich diese Korrektur notieren, können Sie beim nächsten Mal, wenn Ihre Formel fehlerhaft ist, darauf verweisen und sich einen Vorsprung bei der Fehlerbehebung verschaffen. Die Dokumentation Ihrer Fehler hilft Ihnen auch dabei, Änderungen an Ihrer Arbeit zu verfolgen, so dass Sie zurückverfolgen können, wenn eine Korrektur nicht funktioniert hat.
Keine Überprüfung auf falsch eingegebene Werte: Ein falsch eingegebener Wert entsteht, wenn die Werte in das falsche Feld eingegeben werden. Diese Werte können immer noch korrekt formatiert sein, was es schwieriger macht, sie zu erkennen, wenn Sie nicht vorsichtig sind. Ein Beispiel: Sie haben ein Dataset mit Spalten für Städte und Länder. Da es sich dabei um denselben Datentyp handelt, sind sie leicht zu verwechseln. Wenn Sie jedoch versuchen, alle Instanzen von Spanien in der Länderspalte zu finden, und Spanien versehentlich in die Stadtspalte eingegeben wurde, würden Ihnen wichtige Datenpunkte entgehen. Die korrekte Eingabe Ihrer Daten ist der Schlüssel zu einer genauen und vollständigen Analyse.
FehlendeWerte übersehen: Fehlende Werte in Ihrem Dataset können Fehler verursachen und zu ungenauen Schlussfolgerungen führen. Wenn Sie beispielsweise versuchen, die Gesamtzahl der Verkäufe der letzten drei Monate zu ermitteln, aber eine Woche der Transaktionen fehlt, wären Ihre Berechnungen ungenau. Versuchen Sie, Ihre Daten so sauber wie möglich zu halten, indem Sie auf Vollständigkeit und Einheitlichkeit achten.
Betrachten Sie nur eine Teilmenge der Daten: Es ist wichtig, dass Sie bei der Bereinigung an alle relevanten Daten denken. So stellen Sie sicher, dass Sie die gesamte Story verstehen, die die Daten erzählen, und dass Sie auf alle möglichen Fehler achten. Wenn Sie z.B. mit Daten über Vogelzugmuster aus verschiedenen Quellen arbeiten, aber nur eine Quelle bereinigen, bemerken Sie vielleicht nicht, dass einige der Daten wiederholt werden. Dies wird später in Ihrer Analyse zu Problemen führen. Wenn Sie häufige Fehler wie Duplikate vermeiden wollen, müssen Sie jedem Feld Ihrer Daten die gleiche Aufmerksamkeit widmen.
Sie verlieren dieZiele des Unternehmens aus den Augen: Wenn Sie Daten bereinigen, machen Sie vielleicht neue und interessante Entdeckungen über Ihr Dataset – aber Sie wollen nicht, dass diese Entdeckungen Sie von der eigentlichen Aufgabe ablenken. Wenn Sie z.B. mit Wetterdaten arbeiten, um die durchschnittliche Anzahl der Regentage in Ihrer Stadt zu ermitteln, könnten Sie auch einige interessante Muster in Bezug auf Schneefall entdecken. Das ist wirklich interessant, aber es hat nichts mit der Frage zu tun, die Sie gerade zu beantworten versuchen. Neugierig zu sein ist großartig! Aber lassen Sie sich davon nicht von der aktuellen Aufgabe ablenken.
Sie beheben die Fehlerursache nicht: Die Behebung des Fehlers selbst ist wichtig. Aber wenn dieser Fehler Teil eines größeren Problems ist, müssen Sie die Ursache des Problems finden. Sonst müssen Sie denselben Fehler immer wieder beheben. Stellen Sie sich zum Beispiel vor, Sie haben eine Tabelle für Ihr Team, in der Sie den Fortschritt aller Mitarbeiter verfolgen. Die Tabelle bricht ständig zusammen, weil verschiedene Personen unterschiedliche Werte eingeben. Sie können alle diese Probleme einzeln beheben oder Sie können Ihre Tabelle so einrichten, dass die Dateneingabe rationalisiert wird, so dass alle auf derselben Seite stehen. Wenn Sie die Fehler in Ihren Daten an der Wurzel packen, sparen Sie auf lange Sicht viel Zeit.
Keine Analyse des Systems vor der Datenbereinigung: Wenn wir unsere Daten bereinigen und künftige Fehler vermeiden wollen, müssen wir die Grundursache für Ihre schmutzigen Daten verstehen. Stellen Sie sich vor, Sie sind ein Automechaniker. Sie würden die Ursache des Problems herausfinden, bevor Sie mit der Reparatur des Autos beginnen, richtig? Das Gleiche gilt für Daten. Zuerst finden Sie heraus, woher die Fehler kommen. Vielleicht liegt es an einem Fehler bei der Dateneingabe, an einer nicht eingerichteten Rechtschreibprüfung, an fehlenden Formaten oder an Duplikaten. Wenn Sie dann wissen, woher schlechte Daten kommen, können Sie sie kontrollieren und Ihre Daten sauber halten.
Keine Sicherung Ihrer Daten vor der Datenbereinigung: Es ist immer gut, proaktiv zu sein und eine Datensicherung zu erstellen, bevor Sie mit der Datenbereinigung beginnen. Wenn Ihr Programm abstürzt oder Ihre Änderungen ein Problem in Ihrem Dataset verursachen, können Sie jederzeit zu der gesicherten Version zurückkehren und diese wiederherstellen. Das einfache Verfahren der Datensicherung kann Ihnen stundenlange Arbeit ersparen – und vor allem Kopfschmerzen.
Keine Ressourcenerfassung für die Datenbereinigung in Ihren Fristen/Prozessen: Alles Gute braucht seine Zeit, und das gilt auch für die Datenbereinigung. Es ist wichtig, dass Sie dies berücksichtigen, wenn Sie Ihren Prozess durchgehen und sich Ihre Fristen ansehen. Wenn Sie Zeit für die Datenbereinigung einplanen, erhalten Sie eine genauere Schätzung der ETAs für die Stakeholder und können wissen, wann Sie eine Anpassung der ETA beantragen müssen.
Die wichtigsten Erkenntnisse
Die Bereinigung von Daten ist für eine genaue Analyse und Entscheidungsfindung unerlässlich. Zu den häufigen Fehlern, die Sie bei der Bereinigung von Daten vermeiden sollten, gehören Rechtschreibfehler, falsch eingegebene Werte, fehlende Werte, die Betrachtung nur einer Teilmenge der Daten, die Vernachlässigung von Geschäftszielen, die Nichtbehebung der Fehlerquelle, die Nichtanalyse des Systems vor der Datenbereinigung, die fehlende Sicherung Ihrer Daten vor der Datenbereinigung und die fehlende Ressourcenerfassung in Ihren Fristen/Prozessen. Wenn Sie diese Fehler vermeiden, können Sie sicherstellen, dass Ihre Daten sauber und genau sind, was zu besseren Ergebnissen für Ihr Unternehmen führt.
Zusätzliche Ressourcen
Diese „Top Ten“-Listen zur Datenbereinigung in Microsoft Excel und Google Sheets helfen Ihnen, die häufigsten Fehler zu vermeiden:
Diezehn besten Methoden zur Bereinigung Ihrer Daten: Überprüfen Sie einen geordneten Leitfaden zur Datenbereinigung in Microsoft Excel.
10 Google Workspace-Tipps zum Bereinigen von Daten: Lernen Sie die besten Methoden zur Datenbereinigung in Google Sheets kennen.
Datenbereinigungsfunktionen in Tabellen
Video 128
Automatisierung von Arbeitsabläufen
In dieser Lektüre erfahren Sie etwas über Workflow-Automatisierung und wie Sie damit schneller und effizienter arbeiten können. Grundsätzlich ist Workflow-Automatisierung der Prozess der Automatisierung von Teilen Ihrer Arbeit. Das könnte bedeuten, dass Sie einen Ereignisauslöser erstellen, der eine Benachrichtigung sendet, wenn ein System aktualisiert wird. Oder es könnte bedeuten, Teile des Prozesses der Datenbereinigung zu automatisieren. Wie Sie sich wahrscheinlich vorstellen können, können Sie durch die Automatisierung verschiedener Teile Ihrer Arbeit viel Zeit sparen, die Produktivität steigern und mehr Zeit für andere wichtige Aspekte Ihrer Arbeit haben.
Was kann automatisiert werden?
Automatisierung klingt fantastisch, nicht wahr? Aber so praktisch sie auch ist, es gibt immer noch einige Teile der Arbeit, die nicht automatisiert werden können. Lassen Sie uns einen Blick auf einige Dinge werfen, die wir automatisieren können, und einige, die nicht automatisiert werden können.
Aufgabe | Kann sie automatisiert werden? | Und warum? |
|---|---|---|
Kommunikation mit Ihrem Team und Ihren Stakeholdern | Nein | Kommunikation ist der Schlüssel zum Verständnis der Bedürfnisse Ihres Teams und Ihrer Stakeholder bei der Erledigung der Aufgaben, an denen Sie arbeiten. Es gibt keinen Ersatz für die Kommunikation von Mensch zu Mensch. |
Präsentation Ihrer Ergebnisse | Nein | Die Präsentation Ihrer Daten ist ein wichtiger Teil Ihrer Arbeit als Fachkraft für Datenanalyse. Daten für Stakeholder zugänglich und verständlich zu machen und Datenvisualisierungen zu erstellen, kann aus denselben Gründen nicht automatisiert werden wie die Kommunikation. |
Aufbereitung und Bereinigung von Daten | Teilweise | Einige Aufgaben bei der Datenvorbereitung und -bereinigung können durch die Einrichtung spezifischer Prozesse automatisiert werden, wie z.B. die Verwendung eines Scripting-Skripts zur automatischen Erkennung fehlender Werte. |
Erkundung von Daten | Teilweise | Manchmal ist der beste Weg, Daten zu verstehen, sie zu sehen. Glücklicherweise gibt es eine Vielzahl von Tools, die den Prozess der Visualisierung von Daten automatisieren können. Diese Tools können den Prozess der Visualisierung und des Verständnisses der Daten beschleunigen, aber die eigentliche Exploration muss immer noch von einer Fachkraft für Datenanalyse durchgeführt werden. |
Modellierung der Daten | Ja | Die Datenmodellierung ist ein schwieriger Prozess, bei dem viele verschiedene Faktoren eine Rolle spielen. Glücklicherweise gibt es Tools, die die verschiedenen Phasen vollständig automatisieren können. |
Mehr über die Automatisierung der Datenbereinigung
Eine der wichtigsten Möglichkeiten zur Rationalisierung Ihrer Datenbereinigung besteht darin, die Daten dort zu bereinigen, wo sie sich befinden. Davon profitiert Ihr gesamtes Team, und es bedeutet auch, dass Sie den Prozess nicht ständig wiederholen müssen. Sie könnten zum Beispiel ein Programmierscript erstellen, das die Anzahl der Wörter in jeder in einem bestimmten Ordner gespeicherten Tabellendatei zählt. Die Verwendung von Tools, die dort eingesetzt werden können, wo Ihre Daten gespeichert sind, bedeutet, dass Sie Ihre Bereinigungsschritte nicht wiederholen müssen, was Ihnen und Ihrem Team Zeit und Energie spart.
Weitere Ressourcen
Es gibt eine Vielzahl von Tools, die Ihnen bei der Automatisierung Ihrer Prozesse helfen können, und diese Tools werden ständig verbessert. Hier finden Sie einige Artikel und Blogs, die Sie lesen können, wenn Sie mehr über die Automatisierung von Arbeitsabläufen und die verschiedenen Tools erfahren möchten, die Ihnen zur Verfügung stehen:
Towards Daten Science’s Automatisierung der wissenschaftlichen Datenanalyse
MIT Nachrichten Big Data-Analyse automatisieren
TechnologyAdvice’s 10 der besten Optionen für Software zur Workflow-Automatisierung
Die wichtigsten Erkenntnisse
Als Fachkraft für Datenanalyse können Sie durch Automatisierung viel Zeit und Energie sparen und sich mehr auf andere Teile Ihres Projekts konzentrieren. Je mehr Analysen Sie durchführen, desto mehr Möglichkeiten werden Sie finden, um Ihre Prozesse zu vereinfachen und zu rationalisieren.
Unterschiedliche Datenperspektiven
Video 130
Noch mehr Techniken zur Bereinigung von Daten
Video 131
Arbeiten mit .csv-Dateien
In einem früheren Kurs dieses Programms haben Sie mit .csv-Dateien gearbeitet. Da Fachkräfte für Datenanalyse häufig CSV-Dateien verwenden, werden Sie in diesem Kurs weiterhin CSV-Dateien verwenden, um Daten in Datenanalyseprogramme zur weiteren Analyse und Visualisierung zu übertragen. .csv-Dateien sind einfache Textdateien mit einer organisierten Tabellenstruktur, die Zeilen und Spalten enthält. Die Werte in jeder Zeile sind durch Kommas getrennt. Dank dieser Tabellenstruktur sind sie leicht zu verstehen, zu bearbeiten, zu manipulieren und für die Datenanalyse zu verwenden.
Ein großer Vorteil von CSV-Dateien ist ihre weitreichende Kompatibilität: Sie können von einer Vielzahl von Tools und Programmen zur Datenanalyse importiert und exportiert werden.
.csv-Dateien herunterladen
Um .csv-Dateien zu verwenden und sie in Datenanalyseprogramme hochzuladen, müssen Sie sie zunächst auf Ihr lokales Gerät herunterladen. Das Herunterladen einer .csv-Datei von einer Website kann je nach Betriebssystem oder Internet-Browser variieren. Hier sind einige Möglichkeiten, wie Sie eine CSV-Datei herunterladen können:
Klicken Sie auf den Download-Link oder den .csv-Anhang: Suchen Sie den Link für die CSV-Datei oder den Anhang auf der Website. Klicken Sie darauf, und der Prozess des Herunterladens wird gestartet.
Klicken Sie mit der rechten Maustaste und speichern Sie: Klicken Sie mit der rechten Maustaste auf die Datentabelle oder das Element, das die CSV-Daten enthält. Wählen Sie Speichern unter... oder eine ähnliche Option. Benennen Sie die Datei und achten Sie darauf, dass die Dateiendung „.csv“ lautet.
Download erzwingen: Sie können die Alt-Taste auf Ihrer Tastatur drücken, während Sie auf den Link klicken. Dadurch wird der Download ausgelöst, und Sie können die CSV-Datei in Ihrem Download-Ordner finden.
Hinweis: Wenn Sie den Chrome-Browser oder ChromeOS verwenden, werden CSV-Dateien möglicherweise in einer neuen Registerkarte geöffnet, anstatt auf Ihren Computer heruntergeladen zu werden. Befolgen Sie in diesem Fall die folgenden Anweisungen:
Wählen Sie in der Menüleiste “ Datei“ und dann „ Als Google Sheets speichern„. Dadurch wird die CSV-Datei als Google Sheet geöffnet.
Wählen Sie in der Menüleiste Datei und dann Download aus dem Dropdown-Menü und wählen Sie Kommagetrennte Werte (.csv).
Hochladen von .csv-Dateien
Während des Prozesses der Datenanalyse werden Sie häufig .csv-Dateien hochladen müssen. So gehen Sie vor:
Suchen Sie die Upload-Option: Jede Plattform für die Datenanalyse verfügt über eine Schaltfläche, eine Menüoption oder einen Drag-and-Drop-Bereich mit der Bezeichnung Upload oder Import. Hier können Sie Ihre CSV-Datei hochladen.
Wählen Sie Ihre .csv-Datei: Klicken Sie auf der von Ihnen verwendeten Plattform auf Hochladen oder Importieren, um Ihren Datei-Explorer zu öffnen. Wählen Sie Ihre .csv-Datei. Wenn Sie gerade eine CSV-Datei aus dem Internet heruntergeladen haben, befindet sie sich im Ordner Downloads Ihres Computers.
Initiieren Sie den Upload: Sobald Sie Ihre CSV-Datei ausgewählt haben, klicken Sie auf Hochladen oder Importieren.Die Plattform zeigt möglicherweise einen Fortschrittsbalken oder eine Meldung an, die besagt, dass der Upload abgeschlossen ist.
Hinweis: Einige Plattformen haben Beschränkungen hinsichtlich der Dateigröße oder des Formats von CSV-Dateien. Stellen Sie vor dem Hochladen sicher, dass Ihre CSV-Dateien diesen Anforderungen entsprechen.
Die wichtigsten Erkenntnisse
Programme zur Datenanalyse helfen uns dabei, aus Daten Erkenntnisse und Wissen zu gewinnen. Die Verwendung von .csv-Dateien ist für die Datenanalyse unerlässlich. Wenn Sie verstehen, wie Sie Daten einfach aus dem Internet herunterladen oder Ihre Daten zu diesen Programmen hinzufügen können, können Sie Datenbereinigung, Visualisierung, Analyse und vieles mehr durchführen!
Entwickeln Sie Ihren Ansatz zur Bereinigung von Daten
Wenn Sie Ihre Datenreise fortsetzen, werden Sie wahrscheinlich feststellen, dass Daten oft unordentlich sind – und Sie können davon ausgehen, dass rohe, primäre Daten unvollkommen sind. In dieser Lektüre werden Sie überlegen, wie Sie Ihren persönlichen Ansatz zur Bereinigung von Daten entwickeln können. Sie werden die Idee einer Bereinigungscheckliste kennenlernen, die Sie als Leitfaden für Ihren Bereinigungsprozess verwenden können. Dann werden Sie Ihre bevorzugten Methoden zur Bereinigung von Daten definieren. Wenn Sie diese Lektüre beendet haben, werden Sie besser verstehen, wie Sie den Prozess der Datenbereinigung methodisch angehen können. So sparen Sie bei der Datenbereinigung Zeit und können sicherstellen, dass Ihre Daten sauber und brauchbar sind.
Überlegen Sie, wie Sie bei der Bereinigung von Daten vorgehen
Die Datenbereinigung erfordert in der Regel viel Zeit, Energie und Aufmerksamkeit. Es gibt jedoch zwei Schritte, die Sie im Vorfeld unternehmen können, um Ihren Prozess zu rationalisieren: Erstellen Sie eine Bereinigungscheckliste und entscheiden Sie sich für Ihre bevorzugten Methoden. So stellen Sie sicher, dass Sie genau wissen, wie Sie an die Datenbereinigung herangehen wollen und was Sie tun müssen, um sich auf die Integrität Ihrer Daten verlassen zu können.
Ihre Bereinigungscheckliste
Beginnen Sie mit der Entwicklung Ihres persönlichen Ansatzes zur Datenbereinigung, indem Sie eine Checkliste erstellen, die Ihnen hilft, Probleme in Ihren Daten effizient zu identifizieren und den Umfang Ihres Datasets zu bestimmen. Betrachten Sie diese Checkliste als Ihre Standardliste „wonach Sie suchen müssen“.
Im Folgenden finden Sie einige Beispiele für gängige Datenbereinigungsaufgaben, die Sie in Ihre Checkliste aufnehmen könnten:
Bestimmen Sie den Umfang des Datasets: Bei großen Datasets gibt es möglicherweise mehr Probleme mit der Datenqualität und die Verarbeitung dauert länger. Dies kann Auswirkungen auf die Wahl der Datenbereinigungstechniken haben und darauf, wie viel Zeit Sie für das Projekt einplanen müssen.
Bestimmen Sie die Anzahl der Kategorien oder Beschriftungen: Wenn Sie die Anzahl und Art der Kategorien und Beschriftungen in einem Dataset verstehen, können Sie die Diversität des Datasets besser einschätzen. Dieses Verständnis hilft auch bei der Festlegung von Datenzusammenführungs- und Migrationsstrategien.
Identifizieren Sie fehlende Daten: Das Erkennen fehlender Daten hilft Ihnen, die Datenqualität zu verstehen, damit Sie geeignete Schritte zur Behebung des Problems unternehmen können. Datenintegrität ist wichtig für eine genaue und unvoreingenommene Analyse.
Identifizieren Sie unformatierte Daten: Das Erkennen von unsachgemäß oder inkonsistent formatierten Daten hilft Fachkräften, die Einheitlichkeit der Daten sicherzustellen. Dies ist für eine genaue Analyse und Visualisierung unerlässlich.
Erforschen Sie die verschiedenen Datentypen: Das Verständnis der Datentypen in Ihrem Dataset (z.B. numerisch, kategorisch, Text) hilft Ihnen bei der Auswahl geeigneter Bereinigungsmethoden und der Anwendung relevanter Datenanalyseverfahren.
Vielleicht gibt es noch andere Datenbereinigungsaufgaben, die Sie kennengelernt haben und die Sie ebenfalls in Ihrer Checkliste priorisieren möchten. Ihre Checkliste bietet Ihnen die Möglichkeit, genau festzulegen, woran Sie sich bei der Bereinigung Ihrer Daten erinnern wollen; machen Sie sie zu Ihrer eigenen.
Ihre bevorzugten Bereinigungsmethoden
Erstellen Sie nicht nur eine Checkliste, sondern legen Sie auch fest, welche Aktionen oder Tools Sie bei der Bereinigung von Daten am liebsten verwenden. Sie werden diese Tools und Techniken bei jedem neuen Dataset verwenden – oder immer dann, wenn Sie in einem Dataset auf Probleme stoßen – daher sollte diese Liste mit Ihrer Checkliste kompatibel sein.
Nehmen wir zum Beispiel an, Sie haben ein großes Dataset mit fehlenden Daten. Bevor Sie mit der Bereinigung beginnen, sollten Sie wissen, wie Sie in größeren Datasets auf fehlende Daten prüfen und wie Sie mit fehlenden Daten umgehen wollen. Wenn Sie Ihre bevorzugten Methoden skizzieren, können Sie viel Zeit und Energie sparen.
Die wichtigsten Erkenntnisse
Die Daten, auf die Sie als Analytiker stoßen, werden nicht immer Ihrer Checkliste oder Ihren bevorzugten Maßnahmen und Tools entsprechen. Aber wenn Sie diese Dinge haben, können Sie die üblichen Datenbereinigungsaufgaben viel einfacher erledigen. Wie so oft ist eine sorgfältige Planung die Grundlage für den Erfolg eines jeden Projekts!
Glossarbegriffe aus Modul 2
Begriffe und Definitionen für Kurs 4, Modul 2
Bereinigte Daten: Daten, die vollständig, korrekt und für das zu lösende Problem relevant sind
Kompatibilität: Wie gut zwei oder mehr Datasets zusammenarbeiten können
VERKETTEN: Eine Funktion der Tabellenkalkulation, die zwei oder mehr Textzeichenfolgen miteinander verbindet
Bedingte Formatierung: Ein Tabellenkalkulationstool, das die Darstellung von Zellen ändert, wenn Werte bestimmte Bedingungen erfüllen
Data Engineer: Ein Fachmann, der Daten in ein für die Analyse nützliches Format umwandelt und ihnen eine zuverlässige Infrastruktur verleiht
Datenzuordnung: Der Prozess des Abgleichs von Feldern aus einer Datenquelle mit einer anderen
Datenzusammenführung: Der Prozess der Kombination von zwei oder mehr Datasets zu einem einzigen Dataset
Datenvalidierung: Ein Werkzeug zur Überprüfung der Genauigkeit und Qualität von Daten
Data-Warehousing-Spezialist: Ein Fachmann, der Prozesse und Verfahren entwickelt, um Daten effektiv zu speichern und zu organisieren
Trennzeichen: Ein Zeichen, das den Anfang oder das Ende eines Datenelements angibt
Schmutzige Daten: Daten, die unvollständig, falsch oder für das zu lösende Problem irrelevant sind
Doppelte Daten: Jeder Datensatz, der versehentlich Daten mit einem anderen Datensatz teilt
Feldlänge: Ein Tool, mit dem Sie bestimmen können, wie viele Zeichen in ein Feld der Tabelle eingegeben werden können
Unvollständige Daten: Daten, bei denen wichtige Felder fehlen
Uneinheitliche Daten: Daten, die unterschiedliche Formate verwenden, um das Gleiche darzustellen
Falsche/ungenaue Daten: Daten, die zwar vollständig, aber ungenau sind
LEFT: Eine Funktion, die eine bestimmte Anzahl von Zeichen von der linken Seite einer Textzeichenfolge zurückgibt
LÄNGE: Eine Funktion, die die Länge einer Textzeichenfolge zurückgibt, indem sie die Anzahl der darin enthaltenen Zeichen zählt
Länge: Die Anzahl der Zeichen in einer Textzeichenfolge
Fusion: Eine Vereinbarung, die zwei Organisationen zu einer einzigen neuen vereinigt
TEIL: Eine Funktion, die ein Segment aus der Mitte einer Textzeichenfolge zurückgibt
NULL-Wert: Ein Hinweis darauf, dass ein Wert in einem Dataset nicht vorhanden ist
Veraltete Daten: Alle Daten, die durch neuere und genauere Informationen ersetzt wurden
Duplikate entfernen: Ein Tool für Tabellenkalkulationen, das automatisch nach doppelten Einträgen in einer Tabelle sucht und diese eliminiert
Aufteilen: Eine Funktion, die den Text um ein bestimmtes Zeichen herum aufteilt und jedes Fragment in eine neue, separate Zelle setzt
Teilzeichenfolge: Eine kleinere Teilmenge einer Textzeichenfolge
Textzeichenfolge: Eine Gruppe von Zeichen innerhalb einer Zelle, die meist aus Buchstaben besteht
TRIM: Eine Funktion, die führende, nachgestellte und wiederholte Leerzeichen in Daten entfernt
Einzigartig: Ein Wert, für den es keine Duplikate geben kann
Wie eine Junior Fachkraft für Datenanalyse SQL verwendet
In dieser Lektüre erfahren Sie mehr darüber, wie Sie entscheiden, wann Sie SQL oder die Structured Query Language verwenden sollten. Als Fachkraft für Datenanalyse werden Sie mit einer Vielzahl von Daten umgehen müssen, und SQL ist eines der Tools, die Ihnen die Arbeit erleichtern können. SQL ist die wichtigste Methode, mit der Fachkräfte für Datenanalyse Daten aus Datenbanken extrahieren. Als Fachkraft für Datenanalyse werden Sie ständig mit Datenbanken arbeiten, weshalb SQL eine wichtige Schlüsselqualifikation darstellt. Lassen Sie uns mitverfolgen, wie eine Junior-Fachkraft für Datenanalyse SQL zur Lösung einer unternehmensbezogenen Aufgabe einsetzt.
Die Unternehmensbezogene Aufgabe und der Kontext
Die Junior Fachkraft für Datenanalyse in diesem Beispiel arbeitet für ein Social Media Unternehmen. Am 15. Februar 2020 wurde ein neues Geschäftsmodell eingeführt und das Unternehmen möchte verstehen, wie die Nutzerzahlen im Vergleich zum Vorjahr gestiegen sind. Insbesondere wurde die Fachkraft für Datenanalyse gebeten, herauszufinden, wie viele Nutzer seit dem 15. Februar 2020 beigetreten sind.
Funktionen und Formeln für Tabellen oder SQL-Abfragen?
Bevor sie sich dieser Frage widmen können, muss die Fachkraft für Datenanalyse entscheiden, welches Tool sie verwenden möchte. Zunächst muss er sich überlegen, wo die Daten gespeichert sind. Wenn die Daten in einer Datenbank gespeichert sind, dann ist SQL das beste Tool für diese Aufgabe. Wenn die Daten jedoch in einer Tabelle gespeichert sind, müssen sie ihre Analyse in dieser Tabelle durchführen. In diesem Szenario könnten sie eine Pivot-Tabelle der Daten erstellen und dann bestimmte Formeln und Filter auf ihre Daten anwenden, bis sie die Anzahl der Nutzer erhalten, die nach dem 15. Februar beigetreten sind. Das ist kein wirklich komplizierter Prozess, aber er würde eine Menge Schritte erfordern.
In diesem Fall sind die Daten in einer Datenbank gespeichert, so dass sie mit SQL arbeiten müssen. Und diese Fachkraft für Datenanalyse weiß, dass sie die gleichen Ergebnisse mit einer einzigen SQL-Abfrage erhalten könnte:
Tabellen und SQL haben beide ihre Vor- und Nachteile:
| Eigenschaften von Tabellenkalkulationen | Merkmale von SQL-Datenbanken |
|---|---|
| Kleinere Datenmengen | Größere Datasets |
| Manuelle Eingabe von Daten | Barrierefreier Zugriff auf Tabellen in einer Datenbank |
| Erstellen Sie Diagramme und Visualisierungen im selben Programm | Bereiten Sie Daten für die weitere Analyse in einer anderen Software vor |
| Eingebaute Rechtschreibprüfung und andere nützliche Funktionen | Schnelle und leistungsstarke Funktionen |
| Am besten geeignet, wenn Sie alleine an einem Projekt arbeiten | Hervorragend geeignet für die Zusammenarbeit und die Verfolgung von Abfragen, die von allen Nutzern ausgeführt werden |
SQL-Dialekte und ihre Verwendung
In dieser Lektüre erfahren Sie mehr über SQL-Dialekte und einige ihrer unterschiedlichen Verwendungen. Zur Auffrischung: Structured Query Language, kurz SQL, ist eine Sprache, mit der Sie mit Datenbanken kommunizieren. Das Erlernen von SQL kann dem Erlernen einer neuen Sprache sehr ähnlich sein – einschließlich der Tatsache, dass Sprachen in der Regel verschiedene Dialekte haben. Einige Datenbankprodukte haben ihre eigene SQL-Variante, und diese verschiedenen SQL-Dialekte helfen Ihnen bei der Kommunikation mit den einzelnen Datenbankprodukten.
Diese Dialekte sind von Unternehmen zu Unternehmen unterschiedlich und können sich im Laufe der Zeit ändern, wenn das Unternehmen zu einem anderen Datenbanksystem wechselt. Daher beginnen viele Analysten mit Standard SQL und passen dann den verwendeten Dialekt an die Datenbank an, mit der sie arbeiten. Standard SQL funktioniert mit den meisten Datenbanken und erfordert nur wenige Syntax-Änderungen zur Anpassung an andere Dialekte.
Als Junior-Fachkraft für Datenanalyse ist es wichtig zu wissen, dass es leichte Unterschiede zwischen den Dialekten gibt. Wenn Sie jedoch Standard SQL beherrschen, den Dialekt, mit dem Sie in diesem Programm arbeiten werden, werden Sie darauf vorbereitet sein, SQL in jeder Datenbank zu verwenden.
Weitere Informationen
Sie müssen vielleicht nicht jeden SQL-Dialekt kennen, aber es ist nützlich zu wissen, dass es diese verschiedenen Dialekte gibt. Wenn Sie daran interessiert sind, mehr über SQL-Dialekte und ihre Verwendung zu erfahren, finden Sie in diesen Ressourcen weitere Informationen:
LearnSQL’s Blog, Was ist ein SQL-Dialekt, und welchen sollten Sie lernen?
Software Testing Help’s Artikel, Unterschiede zwischen SQL vs. MySQL vs. SQL Server
Datacamp’s Blog, SQL Server, PostgreSQL, MySQL… was ist der Unterschied? Wo soll ich anfangen? Beachten Sie, dass sich in diesem Blog-Artikel ein Fehler eingeschlichen hat. In der Vergleichstabelle steht fälschlicherweise, dass SQlite Unterabfragen anstelle von Fensterfunktionen verwendet. In der Dokumentation zu SQLite Window Funktionen finden Sie die richtige Erklärung.
SQL-Tutorials Anleitung, Was ist SQL
Rückblick: Die ersten Schritte mit BigQuery
Hinweis: Diese Lektüre ist auch in den Kursen 3 und 5 dieses Programms enthalten. Wenn Sie die Kurse der Reihe nach besuchen, können Sie sie entweder noch einmal lesen oder mit dem nächsten Kursabschnitt, Praktische Übungen, fortfahren: Verarbeitung von Zeit mit SQL. Wenn Sie die Kurse 3 und 5 nicht belegt haben, sollten Sie diese Lektüre abschließen, bevor Sie mit dem nächsten Kursabschnitt fortfahren.
BigQuery ist ein Data Warehouse auf der Google Cloud Plattform, mit dem Sie große Datasets abfragen und filtern, Ergebnisse aggregieren und komplexe Operationen durchführen können. In diesem Programm werden Sie BigQuery verwenden, um Ihre SQL-Kenntnisse zu trainieren und Daten zu sammeln, aufzubereiten und zu analysieren. Zu diesem Zeitpunkt haben Sie Ihr eigenes Konto eingerichtet. Lernen Sie nun einige der wichtigen Elemente des SQL-Arbeitsbereichs kennen. Dies wird Sie auf die kommenden Aktivitäten vorbereiten, bei denen Sie BigQuery verwenden werden. Beachten Sie, dass BigQuery seine Schnittstelle häufig aktualisiert, so dass Ihre Konsole möglicherweise etwas anders aussieht als in dieser Lektüre beschrieben. Das ist in Ordnung; nutzen Sie Ihre Fähigkeiten zur Fehlerbehebung, um das zu finden, was Sie brauchen!
Anmelden bei BigQuery
Wenn Sie sich über die Landing Page bei BigQuery anmelden, wird automatisch Ihr Projektraum geöffnet. Dies ist eine Übersicht über Ihr Projekt, einschließlich der Projektinformationen und der aktuell verwendeten Ressourcen. Von hier aus können Sie Ihre jüngsten Aktivitäten überprüfen.
Navigieren Sie zum BigQuery Studio Ihres Projekts, indem Sie BigQuery aus dem Navigationsmenü und BigQuery Studio aus dem Dropdown-Menü auswählen.
BiqQuery Studio Komponenten
Sobald Sie vom Projektraum aus zu BigQuery navigiert haben, sind die meisten der wichtigsten Komponenten der BigQuery-Konsole vorhanden: das Navigationsfenster , das Explorer-Fenster und der SQL-Arbeitsbereich.
Der Navigationsbereich
Auf der Konsolenseite finden Sie das Navigationsfenster . Hier können Sie vom Projektbereich zum BigQuery-Tool navigieren. Dieses Menü enthält auch eine Liste anderer Daten-Tools für das Google Cloud Projekt (GCP). In diesem Programm werden Sie sich auf BigQuery konzentrieren, aber es ist nützlich zu verstehen, dass das GCP über eine Sammlung verbundener Tools verfügt, die Datenexperten jeden Tag verwenden.
Das Explorer-Fenster
Das Explorer-Fenster enthält eine Liste Ihrer aktuellen Projekte und aller mit Sternen versehenen Projekte, die Sie Ihrer Konsole hinzugefügt haben. Hier finden Sie auch die Schaltfläche + HINZUFÜGEN, mit der Sie Datasets hinzufügen können.
Mit dieser Schaltfläche öffnen Sie das Dialogfeld Hinzufügen , in dem Sie eine Vielzahl von Datasets öffnen oder importieren können.
Öffentliche Datasets hinzufügen
BigQuery bietet eine Vielzahl von öffentlichen Datasets aus dem Google Cloud Public Dataset Programm. Scrollen Sie im Dialogfeld Hinzufügen nach unten zur Option Öffentliche Datasets.
Wählen Sie Öffentliche Datasets. Dadurch gelangen Sie zum Public Datasets Marketplace, wo Sie nach öffentlichen Datasets suchen und diese auswählen können, um sie zu Ihrer BigQuery Konsole hinzuzufügen. Suchen Sie zum Beispiel in der Suchleiste des Marktplatzes nach dem Dataset „noaa lightning“. Wenn Sie nach diesem Dataset suchen, finden Sie die Cloud-to-Ground Lightning Strikes Daten der NOAA.
Wählen Sie das Dataset aus, um seine Beschreibung zu lesen. Wählen Sie Dataset anzeigen, um eine Registerkarte mit den Informationen zu dem Dataset im SQL-Arbeitsbereich zu erstellen.
Öffentliche Datasets starten und untersuchen
Sie haben das öffentliche Dataset noaa_lightning zu Ihrem BigQuery Arbeitsbereich hinzugefügt, so dass das Explorer-Fenster das Dataset noaa_lightning zusammen mit der Liste der anderen öffentlichen Datasets anzeigt. Diese Datasets sind unter bigquery-public-data verschachtelt. Markieren Sie bigquery-public-data, indem Sie zum oberen Rand des Explorer-Fensters navigieren und den Stern neben bigquery-public-data auswählen.
Wenn Sie bigquery-public-data mit einem Sternchen versehen, können Sie öffentliche Datasets suchen und hinzufügen, indem Sie im Explorer-Fenster blättern oder in der Explorer-Suchleiste nach ihnen suchen.
Sie könnten zum Beispiel ein anderes öffentliches Dataset auswählen wollen. Wenn Sie das zweite Dataset, austin_311, auswählen, wird es erweitert, um die darin gespeicherte Tabelle, 311_service_requests, aufzulisten.
Wenn Sie eine Tabelle auswählen, werden ihre Informationen im SQL Arbeitsbereich angezeigt. Wählen Sie die Tabelle 311_service_requests, um mehrere Registerkarten zu sehen, die die Tabelle beschreiben, darunter:
Schema, das die Spaltennamen im Dataset anzeigt
Details, die zusätzliche Metadaten enthalten, wie z.B. das Erstellungsdatum des Datasets
Vorschau, die die ersten Zeilen aus dem Dataset anzeigt
Außerdem können Sie die Schaltfläche Abfrage in der Menüleiste des SQL-Arbeitsbereichs auswählen, um diese Tabelle abzufragen.
Der SQL-Arbeitsbereich
Der letzte Menübereich in Ihrer Konsole ist der SQL-Arbeitsbereich. Hier werden Sie die Abfragen in BigQuery schreiben und ausführen.
Über den SQL-Arbeitsbereich haben Sie auch Zugriff auf Ihre persönliche und projektbezogene Geschichte, in der ein Datensatz mit den von Ihnen ausgeführten Abfragen gespeichert ist. Dies kann nützlich sein, wenn Sie zu einer Abfrage zurückkehren möchten, um sie erneut auszuführen oder einen Teil davon in einer anderen Abfrage zu verwenden.
Hochladen Ihrer Daten
BigQuery bietet Ihnen nicht nur Zugang zu öffentlichen Datasets, sondern auch die Möglichkeit, Ihre eigenen Daten direkt in Ihren Arbeitsbereich hochzuladen. Rufen Sie diese Funktion auf, indem Sie das Menü + HINZUFÜGEN erneut öffnen oder indem Sie im Explorer-Fenster auf die drei vertikalen Punkte neben dem Namen Ihres Projekts klicken. Dadurch erhalten Sie die Möglichkeit, Ihr eigenes Dataset zu erstellen und Ihre eigenen Tabellen hochzuladen. Sie werden in einer der nächsten Aktivitäten die Möglichkeit haben, Ihre eigenen Daten hochzuladen, um den Umgang mit dieser Funktion zu üben!
Die wichtigsten Erkenntnisse
Mit dem SQL-Arbeitsbereich von BigQuery können Sie nach öffentlichen Datasets suchen, SQL-Abfragen durchführen und sogar Ihre eigenen Daten zur Analyse hochladen. Ganz gleich, ob Sie mit öffentlichen Datasets arbeiten, SQL-Abfragen ausführen oder Ihre eigenen Daten hochladen, der SQL-Arbeitsbereich von BigQuery bietet eine Reihe von Funktionen zur Unterstützung aller Arten von Datenanalyseaufgaben. Während dieses Programms werden Sie BigQuery verwenden, um Ihre SQL-Kenntnisse zu trainieren. Wenn Sie also mit den wichtigsten Komponenten Ihrer BigQuery-Konsole vertraut sind, werden Sie sie in Zukunft effizient nutzen können!
Glossarbegriffe aus Modul 3
Begriffe und Definitionen für Kurs 4, Modul 3
CAST: Eine SQL Funktion, die Daten von einem Datentyp in einen anderen konvertiert
COALESCE: Eine SQL-Funktion, die Nicht-NULL-Werte in einer Liste zurückgibt
CONCAT: Eine SQL-Funktion, die Zeichenketten zusammenfügt, um neue Textzeichenketten zu erstellen, die als eindeutige Schlüssel verwendet werden können
DISTINCT: Ein Schlüsselwort, das zu einer SQL SELECT-Anweisung hinzugefügt wird, um nur nicht-duplizierte Einträge abzurufen
Pufferzeit: Eine Zahl, die eine Dezimalzahl enthält
Teilzeichenfolge: Eine Teilmenge einer Textzeichenfolge
Typumwandlung: Konvertierung von Daten von einem Typ in einen anderen
Checkliste zur Verifizierung der Datenbereinigung
In dieser Lektüre finden Sie eine Checkliste mit häufigen Problemen, auf die Sie sich bei der Verifizierung Ihrer Datenbereinigung beziehen können, unabhängig davon, welches Tool Sie verwenden. Wenn es um die Verifizierung der Datenbereinigung geht, gibt es kein Patentrezept oder eine einzige Checkliste, die universell auf alle Projekte angewendet werden kann. Jedes Projekt hat seine eigene Organisation und seine eigenen Anforderungen an die Daten, die zu einer einzigartigen Liste von Dingen führen, die Sie zur Verifizierung durchgehen müssen.
Denken Sie daran, dass Sie, sobald Sie mehr Daten oder ein besseres Verständnis des Projektziels/der Projektziele erhalten, einige oder alle dieser Schritte erneut überprüfen sollten.
Beheben Sie die häufigsten Probleme
Vergewissern Sie sich, dass Sie die häufigsten Probleme identifiziert und behoben haben, einschließlich:
Fehlerquellen: Haben Sie die richtigen Tools und Funktionen verwendet, um die Fehlerquelle in Ihrem Dataset zu finden?
NULL-Werte: Haben Sie mit bedingter Formatierung und Filtern nach NULL-Werten gesucht?
Falsch geschriebene Wörter: Haben Sie alle Rechtschreibfehler aufgespürt?
Falsch geschriebene Zahlen: Haben Sie überprüft, ob Ihre numerischen Daten korrekt eingegeben wurden?
Zusätzliche Leerzeichen und Charaktere: Haben Sie mit der Funktion TRIM alle zusätzlichen Leerzeichen oder Zeichen entfernt?
Duplikate: Haben Sie Duplikate in Tabellen mit der Funktion Duplikate entfernen oder DISTINCT in SQL entfernt?
Nicht übereinstimmende Datentypen: Haben Sie überprüft, ob numerische, Datums- und String-Daten korrekt typumgewandelt sind?
Unordentliche (inkonsistente) Strings: Haben Sie sichergestellt, dass alle Ihre Strings konsistent und sinnvoll sind?
Unordentliche (inkonsistente) Datumsformate: Haben Sie die Datumsangaben in Ihrem Dataset einheitlich formatiert?
Irreführende Beschriftungen von Variablen (Spalten): Haben Sie Ihre Spalten aussagekräftig benannt?
Abgeschnittene Daten: Haben Sie auf abgeschnittene oder fehlende Daten geprüft, die korrigiert werden müssen?
Geschäftslogik: Haben Sie überprüft, ob die Daten angesichts Ihres Wissens über das Geschäft sinnvoll sind?
Überprüfen Sie das Ziel Ihres Projekts
Sobald Sie diese Datenbereinigungsaufgaben abgeschlossen haben, sollten Sie das Ziel Ihres Projekts überprüfen und sich vergewissern, dass Ihre Daten immer noch auf dieses Ziel ausgerichtet sind. Dies ist ein kontinuierlicher Prozess, den Sie während des gesamten Projekts durchführen werden – aber hier sind drei Schritte, die Sie dabei im Hinterkopf behalten können:
Bestätigen Sie das Geschäftsproblem
Bestätigen Sie das Ziel des Projekts
Überprüfen Sie, ob die Daten das Problem lösen können und auf das Ziel ausgerichtet sind
Änderungsprotokolle von Embrace
Was haben Ingenieure, Texter und Fachkräfte für Datenanalyse gemeinsam? Änderungen.
Ingenieure verwenden Änderungsaufträge (ECOs), um neue Details des Produktdesigns und vorgeschlagene Änderungen an bestehenden Produkten zu verfolgen. Redakteure verwenden die Geschichte der Dokumentrevisionen , um Änderungen am Dokumentenfluss und an den Bearbeitungen zu verfolgen. Und Fachkräfte für Datenanalyse verwenden Änderungsprotokolle, um die Umwandlung und Bereinigung von Daten zu verfolgen. Hier sind einige Beispiele dafür:
Automatisierte Kontrolle von Versionen bringt Sie weiter
Die meisten Software-Apps haben eine Art von Verfolgung der Geschichte eingebaut. In Google Sheets können Sie beispielsweise den Versionsverlauf eines ganzen Blattes oder einer einzelnen Zelle überprüfen und zu einer früheren Version zurückgehen. In Microsoft Excel können Sie eine Funktion namens Verfolgung von Änderungen verwenden. Und in BigQuery können Sie sich die Geschichte ansehen, um zu prüfen, was sich geändert hat.
So funktioniert es:
Google Sheets | 1. Klicken Sie mit der rechten Maustaste auf die Zelle und wählen Sie Bearbeitungsgeschichte anzeigen. 2. Klicken Sie auf den linken Pfeil < oder den rechten Pfeil >, um sich in der Geschichte vorwärts und rückwärts zu bewegen. |
Microsoft Excel | 1. Wenn die Verfolgung von Änderungen für die Tabelle aktiviert wurde: Klicken Sie auf Überprüfen. 2. Klicken Sie unter Verfolgung von Änderungen auf die Option Änderungen annehmen/ablehnen , um eine Änderung anzunehmen oder abzulehnen. |
BigQuery | Rufen Sie eine frühere Version auf (ohne zu ihr zurückzukehren) und finden Sie heraus, was sich geändert hat, indem Sie sie mit der aktuellen Version vergleichen. |
Änderungsprotokolle bringen Sie auf die letzte Meile
Ein Änderungsprotokoll kann auf Ihrer automatisierten Geschichte der Versionen aufbauen, indem es Ihnen einen noch detaillierteren Datensatz Ihrer Arbeit liefert. Hier halten die Fachkräfte für Datenanalyse alle Änderungen fest, die sie an den Daten vornehmen. Es gibt noch eine andere Möglichkeit, die Sache zu betrachten. Versionsgeschichten zeichnen auf , was bei einer Datenänderung für ein Projekt gemacht wurde, sagen aber nicht, warum. Änderungsprotokolle sind sehr nützlich, um zu verstehen, warum Änderungen vorgenommen wurden. Änderungsprotokolle haben kein festes Format und Sie können Ihre Einträge sogar in einem leeren Dokument vornehmen. Wenn Sie jedoch ein gemeinsames Änderungsprotokoll verwenden, sollten Sie sich am besten mit anderen Fachkräften für Datenanalyse auf das Format aller Ihrer Protokolleinträge einigen.
In der Regel enthält ein Änderungsprotokoll Datensätze:
Daten, Datei, Formel, Abfrage oder jede andere Komponente, die geändert wurde
Beschreibung der Änderung
Datum der Änderung
Person, die die Änderung vorgenommen hat
Person, die die Änderung genehmigt hat
Nummer der Version
Grund für die Änderung
Nehmen wir an, Sie haben eine Formel in einer Tabelle geändert, weil Sie sie in einem anderen Bericht beobachtet haben und Sie wollten, dass Ihre Daten VERGLEICHEN und konsistent sind. Wenn Sie später herausfinden, dass in dem Bericht tatsächlich die falsche Formel verwendet wurde, hilft Ihnen eine automatisierte Geschichte der Version, die Änderung rückgängig zu machen. Wenn Sie aber auch den Grund für die Änderung in einem Änderungsprotokoll festgehalten hätten, könnten Sie zu den Erstellern des Berichts zurückgehen und sie über die falsche Formel informieren. Wenn die Änderung schon eine Weile zurückliegt, wissen Sie vielleicht nicht mehr, an wen Sie sich wenden müssen. Zum Glück hält Ihr Änderungsprotokoll diese Informationen für Sie bereit! Indem Sie nachfassen, stellen Sie die Integrität der Daten außerhalb Ihres Projekts sicher. Außerdem zeigen Sie damit Ihre persönliche Integrität als jemand, dem man Daten anvertrauen kann. Das ist die Macht eines Änderungsprotokolls!
Schließlich ist ein Änderungsprotokoll wichtig, wenn viele Änderungen an einer Tabelle oder Abfrage vorgenommen wurden. Stellen Sie sich vor, ein Analyst hat vier Änderungen vorgenommen und die Änderung, zu der er zurückkehren möchte, ist die Änderung Nr. 2. Anstatt dreimal auf die Rückgängig-Funktion zu klicken, um die Änderung Nr. 2 rückgängig zu machen (und dabei die Änderungen Nr. 3 und Nr. 4 zu verlieren), kann der Analytiker nur die Änderung Nr. 2 rückgängig machen und alle anderen Änderungen behalten. Unser Beispiel bezog sich zwar nur auf 4 Änderungen, aber stellen Sie sich einmal vor, wie wichtig dieses Änderungsprotokoll wäre, wenn es Hunderte von Änderungen zu verfolgen gäbe.
Bonus-Tipp
Wenn ein Analyst Änderungen an einer bestehenden SQL-Abfrage vornimmt, die im gesamten Unternehmen genutzt wird, verwendet das Unternehmen höchstwahrscheinlich ein so genanntes Versionskontrollsystem. Ein Beispiel könnte eine Abfrage sein, die den täglichen Umsatz abfragt, um ein Dashboard für das Management zu erstellen.
So wirkt sich ein Versionskontrollsystem auf eine Änderung einer Abfrage aus:
Ein Unternehmen hat offizielle Versionen von wichtigen Abfragen in seinem Versionskontrollsystem.
Ein Analyst stellt sicher, dass die aktuellste Version der Abfrage diejenige ist, die er ändern wird. Dies wird als Synchronisierung bezeichnet.
Der Analyst nimmt eine Änderung an der Abfrage vor.
Der Analyst kann jemanden bitten, diese Änderung zu überprüfen. Dies wird als Code-Review bezeichnet und kann informell oder formell erfolgen. Eine informelle Überprüfung kann so einfach sein wie die Bitte an einen erfahrenen Analysten, einen Blick auf die Änderung zu werfen.
Nachdem ein Prüfer die Änderung genehmigt hat, sendet der Analyst die aktualisierte Version der Abfrage an ein Repository im Versionskontrollsystem des Unternehmens. Dies wird als Coding Commit bezeichnet. Es empfiehlt sich, in einem Kommentarbereich genau zu dokumentieren, was die Änderung war und warum sie vorgenommen wurde. Um auf unser Beispiel einer Abfrage zurückzukommen, die den täglichen Umsatz abfragt, könnte ein Kommentar lauten: Umsatz aktualisiert, um den Umsatz des neuen Produkts Calypso einzubeziehen.
Nachdem die Änderung übermittelt wurde, können alle anderen Mitarbeiter des Unternehmens auf diese neue Abfrage zugreifen und sie verwenden, wenn sie mit den aktuellsten Abfragen im System zur Versionskontrolle synchronisiert werden.
Wenn bei der Abfrage ein Problem auftritt oder sich die geschäftlichen Anforderungen ändern, kann der Analyst die Änderung der Abfrage mithilfe des Versionskontrollsystems rückgängig machen. Der Analyst kann sich eine chronologische Liste aller an der Abfrage vorgenommenen Änderungen anzeigen lassen und sehen, wer die einzelnen Änderungen vorgenommen hat. Wenn er dann seine eigene Änderung gefunden hat, kann er zur vorherigen Version zurückkehren.
Die Abfrage ist dann wieder so, wie sie war, bevor der Analyst die Änderung vorgenommen hat. Und jeder im Unternehmen sieht diese ursprüngliche Abfrage auch.
Die wichtigsten Erkenntnisse
Ingenieure, Autoren und Fachkräfte für Datenanalyse verwenden unterschiedliche Methoden, um die Änderungen an ihrer Arbeit zu verfolgen. Automatisierte Versionskontrolle, Änderungsprotokolle und Versionskontrollsysteme sind gängige Tools, um Änderungen zu verfolgen. Änderungsprotokolle sind besonders nützlich, da sie dazu verwendet werden können, die Gründe für Änderungen an Daten festzuhalten. Dies kann dazu beitragen, die Integrität und Konsistenz der Daten zu gewährleisten. Systeme zur Versionskontrolle werden am häufigsten bei Änderungen an gemeinsamen Abfragen eingesetzt. Sie ermöglichen es Analysten, alle vorgenommenen Änderungen zu verfolgen und bei Bedarf zu früheren Versionen zurückzukehren.
Bewährte Verfahren für Änderungsprotokolle
Ein Änderungsprotokoll für ein persönliches Projekt kann jede beliebige Form annehmen. In einer professionellen Umgebung und bei der Zusammenarbeit mit anderen ist die Lesbarkeit jedoch wichtig. Diese Leitprinzipien helfen dabei, ein Changelog für andere zugänglich zu machen:
Changelogs sind für Menschen gedacht, nicht für Maschinen, schreiben Sie also leserlich.
Jede Version sollte ihren eigenen Eintrag haben.
Jede Änderung sollte eine eigene Zeile haben.
Gruppieren Sie die gleichen Arten von Änderungen. Zum Beispiel sollte “ Fixed “ getrennt von “ Added“ gruppiert werden.
Die Versionen sollten chronologisch geordnet werden, beginnend mit der neuesten Version.
Das Veröffentlichungsdatum jeder Version sollte vermerkt werden.
Alle Änderungen für jede Kategorie sollten in einer Gruppe zusammengefasst werden. Die Arten von Änderungen fallen in der Regel in eine der folgenden Kategorien:
Hinzugefügt: neu eingeführte Merkmale
Geändert: Änderungen an bestehenden Funktionen
Abgelehnt: Merkmale, die entfernt werden sollen
Entfernt: Merkmale, die entfernt wurden
Behoben: Fehlerkorrekturen
Sicherheit: Behebung von Sicherheitslücken
—————————————
Warum Dokumentation wichtig ist
Video 146
Erweiterte Funktionen für die schnelle Bereinigung von Daten
In dieser Lektüre lernen Sie einige erweiterte Funktionen kennen, mit denen Sie den Prozess der Datenbereinigung in Tabellenkalkulationen beschleunigen können. Im Folgenden finden Sie eine Tabelle mit einer Zusammenfassung von drei Funktionen und deren Funktion:
Bereinigte Daten und Synchronisierung mit einer Quelle
Die Funktion IMPORTRANGE in Google Sheets und die Funktion Link einfügen (eine Einfügeoption in Microsoft Excel) ermöglichen es Ihnen, Daten von einem Blatt in ein anderes einzufügen. Die Verwendung dieser Funktionen bei einer großen Datenmenge ist effizienter als das manuelle Kopieren und Einfügen. Sie verringern auch das Risiko von Fehlern, die durch das Kopieren und Einfügen falscher Daten entstehen. Sie sind auch bei der Datenbereinigung hilfreich, denn Sie können die Daten, die Sie analysieren möchten, „herauspicken“ und die Daten, die für Ihr Projekt nicht relevant sind, zurücklassen. Im Grunde ist es so, als würden Sie das Rauschen aus Ihren Daten entfernen, damit Sie sich auf das konzentrieren können, was für die Lösung Ihres Problems am wichtigsten ist. Diese Funktion ist auch für die tägliche Datenüberwachung nützlich. Mit ihr können Sie eine Tabelle zur Verfolgung erstellen, um die relevanten Daten mit anderen zu teilen. Die Daten werden mit der Datenquelle synchronisiert. Wenn also die Daten in der Quelldatei aktualisiert werden, werden auch die verfolgten Daten aktualisiert.
In Google Sheets können Sie die Funktion IMPORTRANGE verwenden. Sie ermöglicht es Ihnen, einen Bereich von Zellen in der anderen Tabelle anzugeben, der in der Tabelle, in der Sie arbeiten, dupliziert werden soll. Sie müssen den Zugriff auf die Tabelle, die die Daten enthält, beim ersten Import der Daten erlauben.
Die unten angegebene URL dient nur zur Erläuterung der Syntax. Geben Sie sie nicht in Ihre eigene Tabelle ein. Ersetzen Sie sie durch eine URL zu einem Arbeitsblatt, das Sie erstellt haben, damit Sie den Zugriff darauf kontrollieren können, indem Sie auf die Schaltfläche Zugriff zulassen klicken.
Auf der Google-Supportseite für IMPORTRANGE finden Sie eine Stichprobe zur Verwendung und Syntax.
Beispiel für die Verwendung IMPORTRANGE
Ein Analyst, der eine Spendenaktion überwacht, muss verfolgen und sicherstellen, dass die entsprechenden Mittel bereitgestellt werden. Er verwendet IMPORTRANGE, um alle entsprechenden Transaktionen in eine Tabelle zu übertragen, die alle Einzelspenden enthält. Auf diese Weise kann er feststellen, welche Spenden, die für die entsprechenden Mittel in Frage kommen, noch verarbeitet werden müssen. Da die Gesamtzahl der passenden Transaktionen täglich steigt, müssen sie einfach den Bereich ändern, der von der Funktion verwendet wird, um die aktuellsten Daten zu importieren.
Am Dienstag verwenden sie die folgende Funktion, um die Namen der Spender und die übereinstimmenden Beträge zu importieren:
=IMPORTRANGE(„https://docs.google.com/spreadsheets/d/abcd123abcd123“, „sheet1!A1:C10“, „Matched Funds!A1:B4001“)
Am Mittwoch wurden weitere 500 Transaktionen verarbeitet. Sie erhöhen den verwendeten Bereich um 500, um beim Importieren der Daten in die Tabelle für die einzelnen Spender die neuesten Transaktionen mit einzubeziehen:
=IMPORTRANGE(„https://docs.google.com/spreadsheets/d/abcd123abcd123“, „Matched Funds!A1:B4501“)
Hinweis: Die obigen Beispiele dienen nur zur Veranschaulichung. Kopieren Sie sie nicht und fügen Sie sie nicht in Ihre Tabelle ein. Um es selbst auszuprobieren, müssen Sie Ihre eigene URL (und den Namen des Arbeitsblatts, falls Sie mehrere Registerkarten haben) zusammen mit dem Bereich der Zellen in der Tabelle, die Sie mit Daten gefüllt haben, ersetzen.
Abrufen von Daten aus anderen Datenquellen
Die Funktion ABFRAGE ist auch dann nützlich, wenn Sie Daten aus einer anderen Tabellenkalkulation abrufen möchten. Mit der SQL-ähnlichen Funktion von QUERY können Sie bestimmte Daten aus einer Tabelle extrahieren. Bei einer großen Menge an Daten ist die Funktion QUERY schneller als das manuelle Filtern von Daten. Dies gilt insbesondere, wenn wiederholtes Filtern erforderlich ist. Sie könnten zum Beispiel eine Liste aller Kunden erstellen, die in einem bestimmten Monat Produkte Ihres Unternehmens gekauft haben, indem Sie manuell filtern. Wenn Sie aber auch das Kundenwachstum von Monat zu Monat ermitteln möchten, müssen Sie die gefilterten Daten in eine neue Tabelle kopieren, die Daten nach den Verkäufen des Folgemonats filtern und dann diese Ergebnisse für die Analyse kopieren. Mit der Funktion QUERY können Sie alle Daten für beide Monate abrufen, ohne dass Sie Ihr ursprüngliches Dataset ändern oder Ergebnisse kopieren müssen.
Die Syntax der Funktion QUERY ähnelt der von IMPORTRANGE. Sie geben den Blattnamen und den Bereich der Daten ein, die Sie abfragen möchten, und verwenden dann den SQL-Befehl SELECT, um die spezifischen Spalten auszuwählen. Sie können auch spezifische Kriterien nach der Anweisung SELECT hinzufügen, indem Sie eine Anweisung WHERE einfügen. Aber denken Sie daran, dass der gesamte SQL-Code, den Sie verwenden, zwischen den Anführungszeichen stehen muss!
Google Sheets führt die Google Visualisierung API Abfrage-Sprache über die Daten aus. Excel-Tabellen verwenden einen Abfrage-Assistenten, der Sie durch die Schritte zur Verbindung mit einer Datenquelle und zur Auswahl der Tabellen führt. In beiden Fällen können Sie sicher sein, dass die importierten Daten anhand der Kriterien in der Abfrage überprüft und sauber sind.
Beispiele für die Verwendung von QUERY
Sehen Sie sich die Google-Supportseite für die Funktion QUERY mit Stichproben zur Verwendung, Syntax und Beispielen an, die Sie in einem Google-Blatt herunterladen können.
Link, um eine Kopie des Blattes zu erstellen: QUERY Beispiele
Die Lösung
Analysten können SQL verwenden, um ein bestimmtes Dataset in ein Tabellenblatt zu ziehen. Anschließend können sie mit der Funktion QUERY mehrere Registerkarten (Ansichten) dieses Datasets erstellen. Eine Registerkarte könnte zum Beispiel alle Verkaufsdaten für einen bestimmten Monat enthalten und eine andere Registerkarte alle Verkaufsdaten einer bestimmten Region. Diese Lösung veranschaulicht, wie SQL und Tabellenkalkulationen gut zusammen eingesetzt werden können.
Daten filtern, um das zu bekommen, was Sie wollen
Die Funktion FILTER ist vollständig in eine Tabellenkalkulation integriert und erfordert keine Abfragesprache. Mit der Funktion FILTER können Sie sich nur die Zeilen (oder Spalten) in den Quelldaten anzeigen lassen, die die von Ihnen festgelegten Bedingungen erfüllen. Sie ermöglicht das Vorfiltern von Daten, bevor Sie sie analysieren.
Die Funktion FILTER läuft möglicherweise schneller als die Funktion QUERY. Denken Sie aber daran, dass die Funktion QUERY für komplexere Berechnungen mit anderen Funktionen kombiniert werden kann. Die Funktion QUERY kann zum Beispiel mit anderen Funktionen wie SUM und COUNT verwendet werden, um Daten zusammenzufassen, die Funktion FILTER jedoch nicht.
Beispiel für die Verwendung von FILTER
Sehen Sie sich die Google Support-Seite für die Funktion FILTER mit Stichproben, Syntax und Beispielen an, die Sie in einem Google Sheet herunterladen können.
Link, um eine Kopie des Blattes zu erstellen: FILTER Beispiele
Glossarbegriffe aus Modul 4
Begriffe und Definitionen für Kurs 4, Modul 4
CASE: Eine SQL-Anweisung, die Datensätze zurückgibt, die eine Bedingung erfüllen, indem sie eine if/then-Anweisung in eine Abfrage einschließt
Änderungsprotokoll: Eine Datei, die eine chronologisch geordnete Liste der an einem Projekt vorgenommenen Änderungen enthält
COUNTA: Eine Funktion in einer Tabelle, die die Gesamtzahl der Werte innerhalb eines bestimmten Bereichs zählt
Suchen und Ersetzen: Ein Tool, das einen bestimmten Suchbegriff findet und ihn durch etwas anderes ersetzt
Verifizierung: Ein Prozess, der bestätigt, dass eine Datenbereinigung ordnungsgemäß durchgeführt wurde und die daraus resultierenden Daten genau und zuverlässig sind
Die Bedeutung von Diversität in einem Data Analytics Team
Wie Sie bereits gelernt haben, gibt es Aspekte der Datenanalyse, bei denen Voreingenommenheit eine Rolle spielen kann. Aus diesem Grund sind Diversität und Inklusivität in Datenteams wichtig und können oft der Schlüssel zu fairen und genauen Statistiken sein. In dieser Lektüre werden Sie einige Möglichkeiten kennenlernen, wie Voreingenommenheit die Datenanalyse beeinflussen kann, welche ethischen Überlegungen bei der Arbeit mit Daten anzustellen sind und wie Sie Voreingenommenheit abmildern können.
Datenerfassung und Voreingenommenheit
Schon bevor Daten erhoben werden, kann eine Voreingenommenheit bei der Entscheidung, welche Daten erhoben werden und wie, eine Rolle gespielt haben. Voreingenommene Daten können zu ungenauen Statistiken führen oder bestehende Ungerechtigkeiten verstärken. Ein Beispiel hierfür wäre eine Bank, die ihre Datenerhebung auf überwiegend wohlhabende Gebiete konzentriert. Vielleicht sind die Einwohner dort in der Vergangenheit profitablere Kunden der Bank gewesen. Dies würde jedoch Personen mit geringerem Einkommen von den Marketingstrategien der Bank ausschließen. Ein Team mit einer größeren Vielfalt an Daten ist eher in der Lage, Lücken in der Datenerfassung zu erkennen und die Auswirkungen auf neue Kreditinitiativen zu verstehen. Außerdem kann die Ausweitung der Kreditvergabe auf eine breitere Basis den Banken helfen, mehr Kunden zu gewinnen und neue Märkte und Umsatzquellen zu erschließen.
Datenverzerrung und -interpretation
Fachkräfte für Datenanalyse interpretieren Daten, um Statistiken zu gewinnen und Entscheidungen zu treffen. Ein Analyst in einem Unternehmen des Gesundheitswesens könnte zum Beispiel Daten über die Ergebnisse von Patienten überprüfen. Wenn der Analyst die Ungleichheiten in der Gesundheitsversorgung verschiedener Populationen nicht versteht oder berücksichtigt, kann er einen unvollständigen Bericht über die Bedeutung der Daten vorlegen. Bei einer Gruppe von Fachkräften für Datenanalyse ist es wahrscheinlicher, dass jemand mit diesen Unterschieden vertraut ist und zusätzliche Daten berücksichtigt, um ein vollständigeres Bild zu erhalten. Einem Team, das Daten aus dem Gesundheitswesen analysiert, könnte zum Beispiel auffallen, dass sich eine bestimmte Studie über Herzkrankheiten hauptsächlich auf männliche Teilnehmer konzentriert. Die Teammitglieder können diese Voreingenommenheit erkennen und empfehlen, eine ähnliche Studie mit einer ausgewogeneren Vertretung aller Teilnehmer durchzuführen, um geschlechtsspezifische Risikofaktoren zu verstehen.
Ethische Überlegungen
Fachkräfte für Datenanalyse haben oft Zugang zu einer großen Menge an Daten und müssen bei der Sammlung und Interpretation dieser Daten berücksichtigen, was RIGHT und fair ist. Es ist wichtig, ethische Richtlinien für die Datennutzung aufzustellen und zu befolgen. Einige davon sind im Folgenden aufgeführt:
Informierte Zustimmung: Holen Sie die informierte und freiwillige Zustimmung der Personen ein, bevor Sie ihre Daten sammeln. Dies stellt sicher, dass die Menschen wissen, wie ihre Daten verwendet werden, und gibt ihnen die Möglichkeit, eine informierte Entscheidung über die Weitergabe von Daten zu treffen.
Anonymität und Vertraulichkeit: Schützen Sie die Privatsphäre des Einzelnen durch Maßnahmen zur Anonymisierung und Vertraulichkeit. Diese Richtlinie trägt dazu bei, den unbefugten Zugriff auf sensible Daten zu verhindern und das Vertrauen in den Umgang mit Daten zu erhalten.
Datensicherheit: Implementieren Sie robuste Datensicherheitsmaßnahmen, um Daten vor Verstößen und unberechtigtem Zugriff zu schützen. Datensicherheit ist die Grundlage für den Schutz der Informationen von Einzelpersonen.
Transparenz: Transparenz im Umgang mit Daten ist entscheidend für die Vertrauensbildung. Kommunizieren Sie klar und deutlich, wie Daten gesammelt, verarbeitet und weitergegeben werden.
Dateneigentum und -kontrolle: Stellen Sie sicher, dass Sie den Menschen die Kontrolle über ihre Daten geben, einschließlich der Möglichkeit, auf sie zuzugreifen, sie zu korrigieren oder zu löschen.
Wenn Ihr Team klein ist oder keine Vielfalt aufweist, können Sie Schritte unternehmen, um Voreingenommenheit bei der Datenerfassung und -analyse zu erkennen und abzuschwächen:
Informieren Sie sich über unbewusste Voreingenommenheit und ihre Auswirkungen auf die Datenanalyse.
Überprüfen Sie die Methoden der Datenerhebung, um Voreingenommenheit in Tools und Umfragen zu erkennen und zu beseitigen.
Seien Sie transparent bei der Dokumentation aller Aspekte Ihrer Datenerhebungs- und Analysemethoden, damit andere Ihre Methodik überprüfen und mögliche Voreingenommenheiten identifizieren können.
Beraten Sie sich mit verschiedenen Datenexperten und holen Sie sich die Meinung von Kollegen mit unterschiedlichen Sichtweisen ein.
Lernen Sie kontinuierlich dazu und tauschen Sie sich mit anderen Fachkräften für Datenanalyse aus, um auf dem neuesten Stand der Forschung und der Techniken zu bleiben.
Die wichtigsten Erkenntnisse
Voreingenommenheit bei der Sammlung und Interpretation von Daten kann weitreichende Auswirkungen haben. Fachkräfte für Datenanalyse können eine positive Auswirkung haben, wenn sie sich bei der Datenerhebung an ethische Grundsätze halten und sich bemühen, verschiedene Stimmen in ihre Arbeit einzubinden.
Fügen Sie Ihrem Lebenslauf technische Fähigkeiten hinzu
Technische Fähigkeiten sind entscheidend für einen soliden Lebenslauf. Sie zeigen dem Arbeitgeber, dass Sie über die notwendigen Fähigkeiten verfügen, um die Stelle erfolgreich auszuführen. Betrachten Sie die technischen Fähigkeiten als Ihren Werkzeugkasten: Indem Sie die einzelnen Fähigkeiten in Ihrem Lebenslauf auflisten, zeigen Sie den Arbeitgebern, dass Sie in der Lage sind, diese Werkzeuge zu benutzen.
Allgemeine technische Fähigkeiten für Einsteiger in der Datenanalyse
Um ein erfolgreicher Datenanalytiker zu sein, sind viele Fähigkeiten erforderlich. Die folgenden Fähigkeiten werden von Arbeitgebern bei der Besetzung von Stellen für Datenanalytiker häufig verlangt:
1. Structured Query Language (SQL): SQL gilt als eine grundlegende Fähigkeit, die für jede Einstiegsposition als Fachkraft für Datenanalyse von zentraler Bedeutung ist. SQL hilft Ihnen dabei, mit Datenbanken zu kommunizieren, und zwar so, dass Sie Informationen aus Datenbanken abrufen können. Jeden Monat werden Tausende von Stellen für Datenanalysten ausgeschrieben, für die SQL erforderlich ist, und der Umgang mit SQL gehört nach wie vor zu den häufigsten Funktionen eines Datenanalysten.
2. Tabellen: Obwohl SQL sehr beliebt ist, bevorzugen 62% der Unternehmen immer noch Tabellen für ihre Daten-Statistiken. Wenn Sie Ihren ersten Job als Fachkraft für Datenanalyse antreten, liegt die erste Version Ihrer Datenbank vielleicht in Form einer Tabelle vor, die immer noch ein leistungsstarkes Werkzeug für Berichte oder sogar Präsentationen von Datensätzen ist. Es ist also wichtig, dass Sie mit der Verwendung von Tabellenkalkulationen für Ihre Statistiken vertraut sind.
3. Tools zur Datenvisualisierung: Tools zur Datenvisualisierung helfen dabei, komplexe Daten zu vereinfachen und sie visuell zu verstehen. Nach dem Sammeln und Analysieren von Daten ist es die Aufgabe von Fachkräften für Datenanalyse, ihre Ergebnisse zu präsentieren und die Informationen leicht verständlich zu machen. Zu den gängigen Tools, die bei der Datenanalyse eingesetzt werden, gehören Tableau, Microstrategy, Daten Studio, Looker, Datenrama, Microsoft Power BI und viele mehr. Tableau ist vor allem für seine Benutzerfreundlichkeit bekannt und ist daher ein Muss für Anfänger in der Datenanalyse. Außerdem zeigen Studien, dass die Zahl der Jobs in der Datenanalyse, für die Tableau benötigt wird, in den nächsten zehn Jahren um 34,9% steigen wird.
4. R- oder Python-Programmierung: Da nur weniger als ein Drittel der Einstiegspositionen für Datenanalysten Kenntnisse in Python oder R voraussetzen, müssen Sie als Einsteiger in die Datenanalyse keine Kenntnisse in Programmiersprachen haben. Aber R oder Python sind großartige Ergänzungen, wenn Sie in Ihrer Karriere weiter fortgeschritten sind.
Die wichtigsten Erkenntnisse
Als Fachkraft für Datenanalyse werden Sie oft gebeten, Daten für einen bestimmten Zweck zu sammeln und zu analysieren. Wenn Sie wissen, welche Plattform und Sprache Sie verwenden müssen, können Sie die Daten analysieren, um herauszufinden, welche Informationen wichtig sind, um nach Anomalien zu suchen, Fragen vorzubereiten, Risiken zu bewerten und vieles mehr.
Fügen Sie Ihrem Lebenslauf berufliche Fähigkeiten hinzu
Es gibt mehr als nur Daten, wenn es darum geht, ein Datenanalyst zu sein – es gibt viele berufliche Fähigkeiten, die Sie von anderen Bewerbern abheben können, damit potenzielle Arbeitgeber auf Sie aufmerksam werden und wissen, dass Sie die Fähigkeit haben, in dieser Rolle erfolgreich zu sein. Hier sind einige der häufigsten beruflichen Fähigkeiten, die Sie in einem Lebenslauf als Fachkraft für Datenanalyse finden.
1. Fähigkeiten zur Präsentation
Obwohl das Sammeln und Analysieren von Daten einen großen Teil der Arbeit ausmacht, ist die Präsentation Ihrer Ergebnisse in einer klaren und einfachen Weise ebenso wichtig. Sie sollten Ihre Ergebnisse so strukturieren, dass Ihr Publikum genau weiß, welche Schlussfolgerungen es ziehen soll.
2. Zusammenarbeit
Als Fachkraft für Datenanalyse werden Sie mit vielen Teams und Stakeholdern zusammenarbeiten müssen – manchmal intern, manchmal extern – und Ihre Fähigkeit, Ideen, Statistiken und Kritik auszutauschen, wird entscheidend sein. Es ist wichtig, dass Sie und Ihr Team – das aus Ingenieuren und Forschern bestehen kann – Ihr Bestes tun, um die Arbeit zu erledigen.
3. Kommunikation
Fachkräfte für Datenanalyse müssen effektiv kommunizieren, um die benötigten Daten zu erhalten. Es ist auch wichtig, dass Sie in der Lage sind, mit Teams und Geschäftsführern in einer Sprache zu arbeiten und klar zu kommunizieren, die diese verstehen.
4. Recherche
Selbst wenn Sie als Fachkraft für Datenanalyse über alle Daten verfügen, müssen Sie diese analysieren und entscheidende Statistiken daraus ableiten. Um die Daten zu analysieren und Schlussfolgerungen zu ziehen, müssen Sie Nachforschungen anstellen, um mit den Branchentrends Schritt zu halten.
5. Problemlösungskompetenz
Das Lösen von Problemen ist ein wichtiger Teil der Arbeit eines Datenanalysten. Sie werden immer wieder auf Fehler in Datenbanken, im Code oder sogar bei der Erfassung von Daten stoßen. Sie müssen sich anpassen und über den Tellerrand schauen, um alternative Lösungen für diese Probleme zu finden.
6. Anpassungsfähigkeit
In der sich ständig verändernden Welt der Daten müssen Sie anpassungsfähig und flexibel sein. Als Fachkraft für Datenanalyse werden Sie in mehreren Teams mit unterschiedlichen Anforderungen und Kenntnissen arbeiten, so dass Sie sich auf verschiedene Teams, Wissensstände und Stakeholder einstellen müssen.
7. Liebe zum Detail
Eine einzige Zeile fehlerhaften Codes kann alles durcheinander bringen, daher ist die Aufmerksamkeit für Details für eine Fachkraft für Datenanalyse entscheidend. Wenn es darum geht, Ergebnisse zu verstehen und zu berichten, ist es hilfreich, wenn Sie sich auf die Details konzentrieren, die für Ihr Publikum wichtig sind.
Fügen Sie Ihrem Lebenslauf berufliche Fähigkeiten hinzu
Hier sind einige Möglichkeiten, wie Sie Ihren Lebenslauf um berufliche Fähigkeiten ergänzen können:
Analysieren Sie Ihre bisherigen Berufserfahrungen und suchen Sie nach Möglichkeiten, eine berufliche Qualifikation einzufügen. Wenn Sie z.B. in einem Restaurant gearbeitet haben, könnten Sie Ihre Kommunikations- und Anpassungsfähigkeiten hervorheben, die Sie genutzt haben, um während der Stoßzeiten effektiv zu arbeiten.
Weisen Sie auf Ihre Problemlösungs-, Präsentations-, Recherche- und Kommunikationsfähigkeiten in früheren Projekten oder relevanten Kursen hin.
Fügen Sie eine Mischung aus beruflichen und technischen Fähigkeiten in den Abschnitt „Fähigkeiten“ oder „Zusammenfassung“ Ihres Lebenslaufs ein.
Als Nächstes kommen wir…
Herzlichen Glückwunsch zum Abschluss des vierten Kurses des Google Data Analytics Zertifikats!
Um die Fortsetzung des Programms zu erleichtern, klicken Sie auf diesen Link, um zum nächsten Kurs zu gelangen: Analysieren Sie Daten, um Fragen zu beantworten.
Machen Sie weiter so!