Einträge verwalten und benutzerdefinierte Quellen aufnehmen

In diesem Dokument wird beschrieben, wie Sie Eintragstypen, Eintragsgruppen und benutzerdefinierte Einträge erstellen und verwalten, um benutzerdefinierte Datenquellen in Dataplex einzubinden.

Ein Eintrag steht für eine Ressource, für die Sie Metadaten erfassen. Eine Eintragsgruppe ist ein Container für einen oder mehrere Einträge, mit dem die Zugriffssteuerung und der regionale Speicherort verwaltet werden. Ein Eintragstyp definiert die erforderlichen Metadaten für Einträge. Mit Eintragstypen können Sie einer frei fließenden und locker definierten Eintragsressource Struktur und Regeln hinzufügen, sodass Einträge erweitert werden können.

Wenn Sie eine benutzerdefinierte Datenquelle in Dataplex einbinden möchten, erstellen Sie einen benutzerdefinierten Eintrag mit einem benutzerdefinierten Eintragstyp, der zu einer benutzerdefinierten Eintragsgruppe gehört. Das Erstellen eines benutzerdefinierten Eintrags umfasst die folgenden allgemeinen Schritte:

  1. Eine Eintragsgruppe erstellen.
  2. Erstellen Sie einen Eintragstyp.
  3. Erstellen Sie einen benutzerdefinierten Eintrag für den Eintragstyp innerhalb der Eintragsgruppe.

Einträge

Ein Eintrag stellt ein Daten-Asset dar, für das Sie Metadaten erfassen. Jeder Eintrag ist eine Instanz eines Eintragstyps. Jeder Vorgang für Aspekte eines Eintrags muss den erforderlichen Aspekten seines Eintragstyps entsprechen. Wenn Sie beispielsweise einen Eintrag erstellen, müssen Sie Werte für alle vom Eintragstyp definierten Aspekttypen angeben. Aspekte, die im Eintragstyp als required gekennzeichnet sind, können nicht gelöscht werden.

Kategorien von Einträgen

  • Systemeinträge: In Dataplex werden Einträge für Google Cloud-Ressourcen wie BigQuery-Datasets oder ‑Tabellen erstellt. Die von Dataplex erstellten Einträge werden als Systemeinträge bezeichnet. Dataplex hält Systemeinträge automatisch durch kontinuierliche Metadatensynchronisierung aus den unterstützten Google Cloud- Systemen auf dem neuesten Stand.

    Die automatisch ausgefüllten Metadaten (erforderliche Aspekte) für Systemeinträge können nicht geändert werden. Sie können zusätzliche Metadaten für Systemeinträge nur mithilfe optionaler Aspekte hinzufügen und ändern. Weitere Informationen finden Sie unter Kategorien von Aspekten.

  • Benutzerdefinierte Einträge: Einträge, die Sie für benutzerdefinierte Ressourcen erstellen und verwalten können, werden als benutzerdefinierte Einträge bezeichnet. Benutzerdefinierte Ressourcen sind Ressourcen in Diensten von Drittanbietern, die entweder in Google Cloud oder extern (z. B. lokal) gehostet werden.

Eintragsgruppen

Eine Eintragsgruppe ist ein Container für einen oder mehrere Einträge. Mit Eintragsgruppen können Sie die Zugriffssteuerung und den regionalen Speicherort der Einträge verwalten. Jede Eintragsgruppe gehört zu einem Projekt.

Kategorien von Eintragsgruppen

  • Systemeintragsgruppen: Für Google Cloud- Ressourcen erstellt Dataplex automatisch Eintragsgruppen für jedes System in jedem Projekt und an jedem Speicherort, an dem sich die Ressourcen befinden. @bigquery ist beispielsweise die Systemeingabegruppe für BigQuery.

  • Benutzerdefinierte Eintragsgruppen: Eintragsgruppen, die Sie für benutzerdefinierte Ressourcen erstellen.

Eintragstypen

Mit Eintragstypen werden die erforderlichen Metadaten für Einträge dieses Typs anhand einer Reihe erforderlicher Aspekttypen definiert.

Sie können die erforderlichen Aspekttypen nur für Einträge und nicht für die Spalten eines Eintrags angeben. Wenn Sie einen Eintrag eines bestimmten Eintragstyps erstellen, müssen Sie Werte für alle erforderlichen Aspekttypen angeben, die vom Eintragstyp angegeben werden.

Erforderliche Aspekttypen, auf die in einem Eintragstyp verwiesen wird, müssen zum selben Projekt wie der Eintragstyp gehören.

Kategorien von Eintragstypen

  • Benutzerdefinierte Eintragstypen: Eintragstypen, die Sie erstellen und verwalten. Mit diesen Eintragstypen können Sie benutzerdefinierte Einträge erstellen.

  • Systemeintragstypen: Diese Eintragstypen werden standardmäßig in Dataplex bereitgestellt. Systemeintragstypen werden weiter in wiederverwendbar und eingeschränkt unterteilt.

    In der folgenden Tabelle werden die Kategorien der Systemeintragstypen und die Liste der Eintragstypen beschrieben, die Dataplex für jede der Kategorien bereitstellt:

    Kategorie des Systemeintragstyps Beschreibung Von Dataplex bereitgestellte Eintragstypen
    Wiederverwendbarer Systemeintragstyp Mit diesem Eintragstyp können Sie benutzerdefinierte Einträge erstellen.
    • generic
    Eintragstyp für eingeschränktes System Sie sind für die Systemnutzung reserviert, z. B. zum Erstellen von Einträgen fürGoogle Cloud -Ressourcen.

    Mit diesen Eintragstypen können keine Einträge erstellt werden. Sie können jedoch Einträge dieser Typen bearbeiten, um optionale Aspekte hinzuzufügen.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • dataform-repository
    • dataform-code-asset
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

Sie können einen benutzerdefinierten Eintragstyp an einem bestimmten regionalen Standort oder als globale Ressource erstellen. Systemeintragstypen sind immer global. Der Ort eines Datensatztyps wirkt sich auf seinen Geltungsbereich aus. Weitere Informationen finden Sie unter Projekt- und Standorteinschränkungen.

Hinweise

Bevor Sie Einträge verwalten und benutzerdefinierte Datenquellen aufnehmen, müssen Sie die in diesem Abschnitt beschriebenen Aufgaben ausführen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für die Ressource zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Einträgen benötigen:

  • Vollständige Berechtigungen für Einträge, Eintragsgruppen und Eintragstypen: Dataplex Catalog Admin (roles/dataplex.catalogAdmin)
  • Alle Dataplex Catalog-Ressourcen wie Einträge, Eintragsgruppen und Eintragstypen erstellen und verwalten: Dataplex Catalog Editor (roles/dataplex.catalogEditor)
  • Vollzugriff auf eintragsbezogene Vorgänge: Dataplex Entry Owner (roles/dataplex.entryOwner)
  • Sie können Einträge, Eintragsgruppen, Eintragstypen und zugehörige IAM-Richtlinien aufrufen: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
  • Verwenden Sie Aspekttypen, um beim Erstellen benutzerdefinierter Einträge Aspekte dieser Typen zu erstellen: Dataplex Aspect Type User (roles/dataplex.aspectTypeUser)
  • Eintragsgruppen erstellen und verwalten: Dataplex Entry Group Owner (roles/dataplex.entryGroupOwner)
  • Datensatztypen erstellen und verwalten: Dataplex Entry Type Owner (roles/dataplex.entryTypeOwner)
  • Verwenden Sie Eintragstypen, um Einträge dieser Typen zu erstellen und zu ändern: Dataplex Entry Type User (roles/dataplex.entryTypeUser)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen finden Sie unter Dataplex-IAM-Rollen.

API aktivieren

Aktivieren Sie die Dataplex API in Ihrem Dataplex-Projekt.

API aktivieren

Eintragsgruppe erstellen

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen > Benutzerdefiniert.

  3. Klicken Sie auf Eintragsgruppe erstellen (Dataplex Catalog).

  4. Geben Sie im Fenster Eintragsgruppe erstellen Folgendes ein:

    1. Optional: Geben Sie im Feld Anzeigename einen Anzeigenamen für die Gruppe ein.
    2. Eintragsgruppen-ID: Geben Sie eine eindeutige ID für Ihre Eintragsgruppe ein.
    3. Optional: Geben Sie im Feld Beschreibung eine Beschreibung für die Eingangsgruppe ein.
    4. Standort: Wählen Sie einen Standort aus. Sie können den Standort nicht mehr ändern, nachdem Sie die Eingangsgruppe erstellt haben.

  5. Optional: Fügen Sie im Abschnitt Labels beliebige Labels als Schlüssel/Wert-Paare zu Ihren Ressourcen hinzu:

    1. Klicken Sie auf Label hinzufügen.
    2. Geben Sie im Feld Schlüssel einen Schlüssel ein.
    3. Geben Sie im Feld Wert einen Wert für den Schlüssel ein.
    4. Wenn Sie weitere Labels hinzufügen möchten, klicken Sie auf Label hinzufügen und wiederholen Sie die Schritte.

  6. Klicken Sie auf Speichern.

gcloud

Verwenden Sie zum Erstellen einer Eingangsgruppe den Befehl gcloud dataplex entry-groups create.

REST

Verwenden Sie zum Erstellen einer Eingangsgruppe die Methode entryGroups.Create.

Eintragstyp erstellen

Wenn Sie eine neue Quelle aufnehmen möchten, müssen Sie einen Datensatztyp erstellen.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eingabetypen > Benutzerdefiniert.

  3. Klicken Sie auf Erstellen.

  4. Geben Sie im Fenster Eintragstyp erstellen Folgendes ein:

    1. Optional: Geben Sie im Feld Anzeigename einen Anzeigenamen für den Datentyp ein.
    2. Eintragstyp-ID: Geben Sie eine eindeutige ID für den Eintragstyp ein. Dieser Wert kann nach dem Erstellen des Eintragstyps nicht mehr geändert werden.
    3. Optional: Geben Sie im Feld Beschreibung eine Beschreibung für den Datentyp ein.
    4. Optional: Geben Sie im Feld System das Quellsystem ein.
    5. Optional: Geben Sie im Feld Plattform die Plattform ein, zu der Einträge dieses Typs gehören. Beispiel: Google Cloud.
    6. Wählen Sie im Feld Standort einen Standort aus. Sie können den Speicherort nicht mehr ändern, nachdem Sie den Datensatztyp erstellt haben.

  5. Optional: Definieren Sie im Abschnitt Aliasse für Typen den Datentyp für den Eingabetyp. Der Datentyp kann zum Abfragen von Einträgen verwendet werden.

    1. Klicken Sie auf Typalias hinzufügen.
    2. Wählen Sie im Feld Typalias einen Datentyp aus. Sie können mehrere Aliasse für den Typ hinzufügen.

  6. Wählen Sie im Bereich Erforderliche Aspekttypen die Aspekttypen aus, die für diesen Eintragstyp obligatorisch sind. Jedem Eintrag, der auf Grundlage dieses Typs erstellt wird, werden diese erforderlichen Aspekttypen zugewiesen.

    1. Klicken Sie auf Aspekttyp auswählen.
    2. Wählen Sie im Fenster Aspekttypen auswählen den gewünschten Aspekttyp aus.
    3. Klicken Sie auf Auswählen.

    Die erforderlichen Aspekte können nicht aus einem Eintrag gelöscht werden.

  7. Optional: Fügen Sie im Abschnitt Labels beliebige Labels als Schlüssel/Wert-Paare zu Ihren Ressourcen hinzu:

    1. Klicken Sie auf Label hinzufügen.
    2. Geben Sie im Feld Schlüssel einen Schlüssel ein.
    3. Geben Sie im Feld Wert einen Wert für den Schlüssel ein.
    4. Wenn Sie weitere Labels hinzufügen möchten, klicken Sie auf Label hinzufügen und wiederholen Sie die Schritte.

  8. Klicken Sie auf Speichern.

gcloud

Verwenden Sie den Befehl gcloud dataplex entry-types create, um einen Datensatztyp zu erstellen.

REST

Verwenden Sie zum Erstellen eines Datensatztyps die Methode entryTypes.create.

Benutzerdefinierten Eintrag erstellen

Bevor Sie einen benutzerdefinierten Eintrag erstellen, müssen Sie eine Eintragsgruppe und einen Eintragstyp erstellt haben.

Console

Das Erstellen eines benutzerdefinierten Eintrags mit der Google Cloud -Console wird nicht unterstützt. Verwenden Sie stattdessen die Google Cloud CLI oder die API.

gcloud

Verwenden Sie den Befehl gcloud dataplex entries create, um einen benutzerdefinierten Eintrag zu erstellen.

REST

Verwenden Sie zum Erstellen eines benutzerdefinierten Eintrags die Methode entries.create.

Nachdem Sie einen benutzerdefinierten Eintrag erstellt haben, können Sie ihm Aspekte hinzufügen. Weitere Informationen finden Sie unter Einträgen Aspekte hinzufügen.

Eintragsgruppen verwalten

In diesem Abschnitt wird beschrieben, wie Sie die Liste der verfügbaren Eingangsgruppen aufrufen, Details ansehen, Eingangsgruppen aktualisieren und löschen.

Liste der verfügbaren Eintragsgruppen aufrufen

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen.

    Auf dieser Seite sind alle verfügbaren Eintragsgruppen für Dataplex Catalog und Data Catalog aufgeführt.

  3. Klicken Sie auf den Tab Benutzerdefiniert, um benutzerdefinierte Eintragsgruppen aufzurufen. Auf dem Tab Benutzerdefiniert wird in der Spalte Katalogquelle angezeigt, wo sich die Ressource befindet: in Dataplex Catalog oder Data Catalog.

    Klicken Sie auf den Tab System, um Gruppen für Systemeinträge aufzurufen.

    Weitere Informationen zu benutzerdefinierten und systeminternen Eintragsgruppen finden Sie in diesem Dokument im Abschnitt Kategorien von Eintragsgruppen.

  4. Optional: Wenn Sie die Liste der Eingangsgruppen im ausgewählten Projekt aufrufen möchten, klicken Sie auf den Tab Benutzerdefiniert und deaktivieren Sie die Option Aus allen Projekten anzeigen.

    Die Option Aus allen Projekten anzeigen ist standardmäßig aktiviert. Die Liste enthält Dataplex Catalog-Ressourcen aus der ausgewählten Organisation und Data Catalog-Ressourcen aus allen Organisationen, auf die Sie zugreifen können.

gcloud

Mit dem Befehl gcloud dataplex entry-groups list können Sie eine Liste der verfügbaren Eingangsgruppen aufrufen.

REST

Verwenden Sie die Methode entryGroups.list, um eine Liste der verfügbaren Eingangsgruppen aufzurufen.

Details zu einer Eintragsgruppe ansehen

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen.

  3. Klicken Sie auf die Eintragsgruppe, deren Details Sie aufrufen möchten.

    Die Seite mit den Details zur Eintragsgruppe wird geöffnet. Sie können auf Informationen wie den Anzeigenamen, die ID der Eintragsgruppe, die Beschreibung, die Projekt-ID, den Standort, die Labels, das Erstellungsdatum und das Datum der letzten Änderung der ausgewählten Eintragsgruppe zugreifen.

    Die Details einer Data Catalog-Eintragsgruppe können Sie sowohl in der Data Catalog-Weboberfläche als auch in der Dataplex Catalog-Weboberfläche aufrufen. Klicken Sie dazu auf der Detailseite der Eintragsgruppe auf Data Catalog oder Dataplex Catalog.

    Im Bereich Beispieleinträge werden zehn ähnliche Einträge angezeigt, die vor Kurzem in der ausgewählten Eintragsgruppe erstellt wurden.

  4. Optional: Wenn Sie alle Einträge sehen möchten, die mit einer Eintragsgruppe verknüpft sind, klicken Sie im Abschnitt Beispieleinträge auf Alle verwandten Einträge in der Suche anzeigen.

gcloud

Verwenden Sie den Befehl gcloud dataplex entry-groups describe, um die Details einer Eingangsgruppe abzurufen.

REST

Verwenden Sie die Methode entryGroups.get, um die Details einer Eingangsgruppe abzurufen.

Eintragsgruppe aktualisieren

Sie können eine benutzerdefinierte Eintragsgruppe aktualisieren. Systemeintragsgruppen können nicht geändert werden.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen > Benutzerdefiniert.

  3. Klicken Sie auf die Eintragsgruppe, die Sie aktualisieren möchten.

  4. Klicken Sie auf der Seite Details zur Eingangsgruppe auf Bearbeiten.

  5. Bearbeiten Sie nach Bedarf den Anzeigenamen, die Beschreibung und die Labels.

  6. Klicken Sie auf Speichern.

gcloud

Verwenden Sie den Befehl gcloud dataplex entry-groups update, um eine Eintragsgruppe zu aktualisieren.

REST

Verwenden Sie die Methode entryGroups.patch, um eine Eintragsgruppe zu aktualisieren.

Eintragsgruppe löschen

Sie können eine benutzerdefinierte Eintragsgruppe löschen. Systemeintragsgruppen können nicht gelöscht werden.

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Einstiegsgruppen > Benutzerdefiniert.

  3. Klicken Sie auf die Eintragsgruppe, die Sie löschen möchten.

  4. Klicken Sie auf der Seite Details zur Eingangsgruppe auf Löschen. Bestätigen Sie die Aktion, wenn Sie dazu aufgefordert werden.

gcloud

Verwenden Sie den gcloud dataplex entry-groups delete-Befehl, um eine Eintragsgruppe zu löschen.

REST

Verwenden Sie die Methode entryGroups.delete, um eine Eintragsgruppe zu löschen.

Eintragstypen verwalten

In diesem Abschnitt wird beschrieben, wie Sie die Liste der verfügbaren Eintragsgruppen aufrufen, Details ansehen, Eintragstypen aktualisieren und löschen.

Liste der verfügbaren Eintragstypen aufrufen

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eintragstypen.

  3. Klicken Sie auf den Tab Benutzerdefiniert, um benutzerdefinierte Datensatztypen aufzurufen. Klicken Sie auf den Tab System, um die Systemeintragstypen aufzurufen. Weitere Informationen zu benutzerdefinierten und systeminternen Eintragstypen finden Sie in diesem Dokument im Abschnitt Kategorien von Eintragstypen.

  4. Optional: Wenn Sie die Liste der Eintragstypen im ausgewählten Projekt aufrufen möchten, klicken Sie auf den Tab Benutzerdefiniert und deaktivieren Sie die Option Aus allen Projekten anzeigen.

    Die Option Aus allen Projekten anzeigen ist standardmäßig aktiviert. Die Liste enthält Eintragstypen aus allen Projekten.

gcloud

Verwenden Sie den Befehl gcloud dataplex entry-types list, um eine Liste der verfügbaren Eintragstypen aufzurufen.

REST

Verwenden Sie die Methode entryTypes.list, um eine Liste der verfügbaren Eintragstypen aufzurufen.

Details zu einem Eintragstyp aufrufen

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eingabetypen > Benutzerdefiniert.

  3. Klicken Sie auf den Eintragstyp, für den Sie die Details aufrufen möchten.

    Die Seite mit den Details zum Eintragstyp wird geöffnet. Sie können auf Informationen wie den Anzeigenamen, die ID des Eintragstyps, die Beschreibung, die Projekt-ID, den Speicherort, die Plattform, das System, Aliasse für den Typ, Labels, das Erstellungsdatum und das Datum der letzten Änderung des ausgewählten Eintragstyps zugreifen.

  4. Optional: Klicken Sie auf den Tab Beispieleinträge, um eine Liste der zehn kürzlich erstellten ähnlichen Einträge aufzurufen.

  5. Optional: Wenn Sie alle Einträge einer Eintragsgruppe aufrufen möchten, klicken Sie auf den Tab Beispieleinträge und dann auf Alle verwandten Einträge in der Suche anzeigen.

gcloud

Verwenden Sie den Befehl gcloud dataplex entry-types describe, um die Details eines Eintragstyps abzurufen.

REST

Verwenden Sie die Methode entryTypes.get, um Details zu einem Eintragstyp abzurufen.

Eintragstyp aktualisieren

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eingabetypen > Benutzerdefiniert.

  3. Klicken Sie auf den Eintragstyp, den Sie aktualisieren möchten.

  4. Klicken Sie auf der Seite Details zum Eintragstyp auf Bearbeiten.

  5. Bearbeiten Sie nach Bedarf den Anzeigenamen, die Beschreibung, das System, die Plattform, die Aliasse für den Typ und die Labels.

  6. Klicken Sie auf Speichern.

gcloud

Verwenden Sie zum Aktualisieren eines Eintragstyps den Befehl gcloud dataplex entry-types update.

REST

Verwenden Sie die Methode entryTypes.patch, um einen Eintragstyp zu aktualisieren.

Eintragstyp löschen

Console

  1. Rufen Sie in der Google Cloud -Console die Seite Dataplex-Katalog auf.

    Zum Katalog

  2. Klicken Sie auf den Tab Eingabetypen > Benutzerdefiniert.

  3. Klicken Sie auf den Eintragstyp, den Sie löschen möchten.

  4. Klicken Sie auf der Seite Details zum Eintragstyp auf Löschen. Bestätigen Sie die Aktion, wenn Sie dazu aufgefordert werden.

gcloud

Verwenden Sie den Befehl gcloud dataplex entry-types delete, um einen Eintragstyp zu löschen.

REST

Verwenden Sie die Methode entryTypes.delete, um einen Eintragstyp zu löschen.

Nächste Schritte