Surveiller BI Engine

BigQuery BI Engine accélère BigQuery pour les scénarios d'analyse de données à l'aide d'un cache de mémoire et d'une exécution plus rapide. Les détails de l'accélération peuvent être surveillés à l'aide de INFORMATION_SCHEMA et des métriques Cloud Monitoring.

Cloud Monitoring

Vous pouvez surveiller et configurer des alertes pour BigQuery BI Engine avec Cloud Monitoring. Pour savoir comment créer un tableau de bord pour les métriques BI Engine, consultez la section Créer des graphiques.

Les métriques suivantes sont fournies pour BigQuery BI Engine :

Statistiques des requêtes pour BI Engine

Cette section explique comment trouver des statistiques de requêtes pour vous aider à surveiller, diagnostiquer et résoudre des problèmes liés à l'utilisation de BI Engine.

Modes d'accélération BI Engine

Lorsque l'accélération de BI Engine est activée, votre requête peut s'exécuter dans l'un des quatre modes suivants :

BI_ENGINE_DISABLED

PARTIAL_INPUT

 FULL_INPUT
 

 FULL_QUERY
 

Afficher les statistiques des jobs de l'API BigQuery

Des statistiques détaillées sur BI Engine sont disponibles via l'API BigQuery.

Pour récupérer les statistiques associées aux requêtes accélérées BI Engine, exécutez la commande suivante de l'outil de ligne de commande bq :

bq show --format=prettyjson -j job_id

Si l'accélération BI Engine est activée pour le projet, la sortie génère un nouveau champ, biEngineStatistics. Voici un exemple de rapport de tâche :

 "statistics": {
    "creationTime": "1602175128902",
    "endTime": "1602175130700",
    "query": {
      "biEngineStatistics": {
        "biEngineMode": "DISABLED",
        "biEngineReasons": [
          {
            "code": "UNSUPPORTED_SQL_TEXT",
            "message": "Detected unsupported join type"
          }
        ]
      },

Pour en savoir plus sur le champ BiEngineStatistics, consultez la documentation de référence relative aux tâches.

Statistiques sur le schéma d'informations BigQuery

Les statistiques d'accélération BI Engine sont incluses dans les vues BigQuery INFORMATION_SCHEMA dans le cadre des vues INFORMATION_SCHEMA.JOBS_BY_* dans la colonne bi_engine_statistics. Par exemple, cette requête renvoie les bi_engine_statistics pour tous les jobs des projets en cours durant les dernières 24 heures :

SELECT
  creation_time,
  job_id,
  bi_engine_statistics
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
  creation_time >
     TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
  AND job_type = "QUERY"

Utilisez le format suivant afin de spécifier la régionalité pour project-id, region et views dans la vue INFORMATION_SCHEMA :

`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW

Afficher les détails du schéma d'informations de Looker Studio

Vous pouvez suivre les sources de données et les rapports Looker Studio utilisés par BigQuery en affichant la vue INFORMATION_SCHEMA.JOBS. Chaque requête Looker Studio dans BigQuery crée une entrée avec les étiquettes report_id et datasource_id. Ces ID apparaissent à la fin de l'URL Looker Studio lorsque vous ouvrez une page de rapport ou de source de données. Par exemple, l'ID du rapport associé à l'URL https://lookerstudio.google.com/navigation/reporting/my-report-id-123 est "my-report-id-123".

Les exemples suivants montrent comment afficher des rapports et des sources de données :

Rechercher l'URL du rapport et de la source de données pour chaque job BigQuery Looker Studio

-- Standard labels used by Looker Studio.
DECLARE requestor_key STRING DEFAULT 'requestor';
DECLARE requestor_value STRING DEFAULT 'looker_studio';

CREATE TEMP FUNCTION GetLabel(labels ANY TYPE, label_key STRING)
AS (
  (SELECT l.value FROM UNNEST(labels) l WHERE l.key = label_key)
);

CREATE TEMP FUNCTION GetDatasourceUrl(labels ANY TYPE)
AS (
  CONCAT("https://lookerstudio.google.com/datasources/", GetLabel(labels, 'looker_studio_datasource_id'))
);

CREATE TEMP FUNCTION GetReportUrl(labels ANY TYPE)
AS (
  CONCAT("https://lookerstudio.google.com/reporting/", GetLabel(labels, 'looker_studio_report_id'))
);

SELECT
  job_id,
  GetDatasourceUrl(labels) AS datasource_url,
  GetReportUrl(labels) AS report_url,
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS jobs
WHERE
  creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND GetLabel(labels, requestor_key) = requestor_value
LIMIT
  100;

Afficher les jobs générés à l'aide d'un rapport et d'une source de données

-- Specify report and data source id, which can be found at the end of Looker Studio URLs.
DECLARE user_report_id STRING DEFAULT '*report id here*';
DECLARE user_datasource_id STRING DEFAULT '*datasource id here*';

-- Looker Studio labels for BigQuery.
DECLARE requestor_key STRING DEFAULT 'requestor';
DECLARE requestor_value STRING DEFAULT 'looker_studio';
DECLARE datasource_key STRING DEFAULT 'looker_studio_datasource_id';
DECLARE report_key STRING DEFAULT 'looker_studio_report_id';

CREATE TEMP FUNCTION GetLabel(labels ANY TYPE, label_key STRING)
AS (
  (SELECT l.value FROM UNNEST(labels) l WHERE l.key = label_key)
);

SELECT
  creation_time,
  job_id,
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS jobs
WHERE
  creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND GetLabel(labels, requestor_key) = requestor_value
  AND GetLabel(labels, datasource_key) = user_datasource_id
  AND GetLabel(labels, report_key) = user_report_id
ORDER BY 1
LIMIT 100;

Cloud Logging

L'accélération de BI Engine fait partie du traitement des tâches BigQuery. Pour inspecter les tâches BigQuery d'un projet spécifique, consultez la page Cloud Logging avec une charge utile de protoPayload.serviceName="bigquery.googleapis.com".

Étape suivante

• Obtenez davantage d'informations sur Cloud Monitoring.
• Apprenez-en davantage sur les graphiques Monitoring.
• Informez-vous sur les alertes Monitoring.
• Apprenez-en plus sur Cloud Logging.