En effet, cette « trousse à outils » est générique, et ne propose aucun contrôle, et nous offre l’amical message suivant :

Quelle ne fut pas ma joie de retrouver ce panneau après avoir cliqué sur le petit bouton en haut et à droite du panneau de conception !

Bonne création de paquetages SSIS !

SSDT a été mis en ligne pour la première fois pour Visual Studio 2010, qu’il installait en mode Shell. Cette version n’est maintenant plus disponible, mais on la trouve bien entendu pour Visual Studio 2012 (fr/en) et 2013 (fr/en).

Ce dernier est en fait décliné en deux opus, l’un dédié à la Business Intelligence, abrévié en SSDT-BI, et l’autre SSDT tout court. Les deux versions installent toujours Visual Studio en mode Shell, mais la version BI n’installe pas les composants nécessaires au développement d’un projet d’assembly SQL Server. Et inversement.

J’avais donc installé SSDT-BI 2012 sans noter que le projet de type SQL Server n’était pas présent. J’ai donc installé SSDT 2012 (téléchargeable ici en version 2012 et 2013), et j’ai maintenant ce qui me manquait :

Bon développement SQL Server !

La solution, certes radicale, est de supprimer les fichiers *.rdl.data qui se trouvent dans le répertoire de la solution. On peut réaliser cela très simplement et de façon générique pour toutes les solutions de rapports SSRS.

J’ai d’abord cherché s’il n’existait pas une option dans les menus de BIDS et SSDT pour réaliser ceci, en vain. En revanche, j’ai été intrigué par le menu Tools > External Tools :

On peut donc appeler un exécutable, et par la même une commande DOS, ce qui nous permet donc de supprimer les fichiers *.rdl.data. Comme je suis flemmard, je voulais faire en sorte que cela fonctionne quelle que soit la solution dans laquelle je travaille. En cherchant un peu, on tombe sur cette page, qui donne la liste des variables qui permettent d’automatiser la build d’un projet.

Après plusieurs changements de variables et essais, je suis arrivé à la commande suivante :

Nous appelons donc l’invite de commandes DOS, en lui passant en argument :

– /C : une fois la commande exécutée, terminer le processus cmd.exe
– /Q : exécution en mode silencieux
– $ProjectDir retourne le chemin du dossier qui contient tous les fichiers du projet

Comme cette dernière variable contient l’antislash en fin de chaîne, il n’y a pas besoin de l’ajouter.

Il nous suffit donc maintenant de cliquer sur Tools > Flush SSRS Data Cache, et de ré-exécuter un aperçu du rapport pour s’apercevoir que celui-ci prend maintenant en compte ses toutes dernières modifications.

Bon reporting à tous !

Vous vous en doutez donc : si le Data Mining est un ensemble de fonctionnalités qui est rarement abordé, il n’en est pas moins très intéressant, et a un bel avenir devant lui. Je vous propose donc de découvrir très simplement avec SQL Server cette discipline, aussi stimulante techniquement que « décisionnellement ». En effet, celle-ci transforme le consommateur de rapports d’un rôle passif / interactif à un rôle proactif.

Commençons d’abord par installer la base de données exemple d’entrepôt de données AdventureWorks, que l’on trouve ici pour les versions 2008, 2008 R2 et 2012.
Pour voir comment installer cette base de données sur votre instance SQL Server, c’est par ici.

Dans cette base de données existe une vue dbo.vTargetMail, que nous allons utiliser pour caractériser les clients les plus enclins à acheter un vélo.

Nous créons donc un nouveau projet avec SQL Server Data Tools (le nouveau Business Intelligence Development Studio), et nous choisissons un projet SQL Server Analysis Services and Data Mining :

Une fois le tout validé par OK, la solution s’ouvre et nous devons tout d’abord créer une source de données :

Un nouveau dialogue s’ouvre alors, et nous devons cliquer sur le bouton New …

Nous mettons un point pour signifier le serveur local, et choisissons la base de données que nous venons d’installer :

Nous devons maintenant définir sous quel utilisateur nous allons nous connecter à la source de données. Nous choisissons l’utilisateur courant pour des raisons pratiques, mais ce n’est pas ce que l’on ferait pour un environnement de production.

Notons également que le compte de service qui exécute le service SQL Server Analysis Services doit être enregistré sur l’instance SQL Server (moteur de base de données). Par défaut, ce compte est NT Service\MSSQLServerOLAPService. Nous devons donc exécuter le script suivant :

Nous pouvons cliquer sur Next, puis sur Finish, et voilà notre source de données créée. De retour dans l’explorateur de solutions, il nous faut maintenant créer une vue source de données :

Nous aurions pu créer la source de données à partir du dialogue qui s’affiche :

Comme nous l’avons déjà créée, nous nous contentons de cliquer sur Next, et obtenons le dialogue suivant, qui présente la liste des tables et vues présentes dans la base de données AdventureWorksDW2012 :

Nous ajoutons donc la vue dbo.vTargetMail, et cliquons sur Next, qui nous amène à un dialogue de revue, et nous validons le tout par Finish.

Nous devons maintenant créer une structure d’exploration de données. De retour dans l’explorateur de solutions, il nous suffit pour ce faire de cliquer-droit sur Mining Structures :

Nous sautons la page d’introduction de l’Assistant d’Exploration de Données en cliquant directement sur Next, ce qui nous amène le dialogue suivant :

Nous continuons avec l’option « A partir d’une base de données relationnelle ou d’un entrepôt de données« , et cliquons sur Next :

Ici nous avons le choix de plusieurs algorithmes, expliqués succinctement (plus de détails dans le livre référencé en fin d’article):

Nous cliquons sur Next, et obtenons un dialogue de revue et de validation de la vue de données : nous cliquons une nouvelles fois sur Next. Nous devons maintenant spécifier la liste des vues à partir desquelles l’algorithme va calculer les réponses possibles. La case à cocher Case permet de spécifier l’entité que l’on souhaite explorer. En général, un cas est représenté par une ligne d’une table ou d’une vue qui stocke ou montre les caractéristiques de transactions. Nous continuons donc avec la proposition de l’assistant :

Nous devons maintenant choisir suivant quelles caractéristiques de l’acheteur nous souhaitons que l’algorithme nous aide à prédire quels sont les meilleurs clients potentiels. Comme il s’agit d’acheteurs de vélos, nous choisissons Age, CommuteDistance, HouseOwnerFlag et NumberCarsOwned :

On peut aussi cliquer sur Suggest : le moteur échantillonne alors les données pour faire quelques propositions :

Nous ne modifions pas la matrice, et validons par Next, ce qui amène la fenêtre suivante :

En dernier lieu, il convient de spécifier le type des données : ceci se fait par un simple clic sur Detect.

Après une validation par clic sur Next, nous pouvons enfin choisir le taux d’échantillonnage : comme 30% des données est un extrait relativement raisonnable, on peut se permettre de ne pas le changer. La lecture de l’explication nous permet de comprendre ce que va faire l’algorithme :

Nous validons le tout par un clic sur Next, ce qui nous permet de revoir notre paramétrage et de renommer la structure et le modèle, mais surtout de cocher la case qui nous permettra d’obtenir les détails de l’analyse jusqu’au niveau des transactions exposées par la vue.

Nous pouvons maintenant valider le tout par Finish, et entraîner le modèle que nous venons de créer. Pour ce faire, il nous suffit de choisir l’option Process… du menu contextuel du modèle :

Notons que l’on peut faire la même chose sous SQL Server Management Studio, après s’être connecté à l’instance SQL Server Analysis Services :

Il nous faut d’abord enregistrer le modèle sur le serveur : jusqu’ici le modèle n’existait que dans SQL Server Data Tools. Nous validons donc par Yes l’avertissement suivant :

Ceci nous amène le dialogue suivant. Pour simplifier, nous continuons avec les options par défaut, et cliquons sur Run … :

Le modèle est alors en cours d’entraînement :

Une fois le succès de l’opération annoncé, nous fermons les dialogues successivement en cliquant sur Close. Nous basculons alors vers l’onglet Mining Model Viewer, ce qui nous permet de parcourir l’arbre :

Le gradient de couleurs qui caractérise chaque nœud est d’intensité plus faible à mesure que la population sous-jacente diminue.

Voici ce qu’indique la légende lorsqu’on clique sur le nœud Age > 47 and < 75 :

La classe d’âge 48-74 comporte 7675 de nos clients. Les facteurs qui influent le plus l’achat d’un vélo dans cette classe d’âge sont en premier lieu le nombre de voitures possédées, suivi par l’âge. On peut d’ailleurs vérifier cela en basculant dans l’onglet Dependancy Network :

Si l’on déplace le curseur en butée basse, on voit clairement que le facteur qui influence le plus l’achat d’un vélo est le nombre de voitures que l’acheteur potentiel possède. Si l’on rapproche le curseur de sa position originale, nous observons que viennent ensuite l’âge, la distance séparant le domicile du lieu de travail, et enfin la propriété d’une maison.

Si vous souhaitez approfondir vos connaissances sur l’Exploration de Données avec SQL Server, voici quelques ressources :

– Le site MarkTab.net, qui pointe vers de nombreux blogs et publie quelques vidéos sur YouTube.
– Le site SQLServerDataMining.com.
– Le livre Data Mining with Microsoft SQL Server 2008 (ISBN: 978-0-470-27774-4, un pavé de 672 pages).

Rappelons que les DTS (Data Transformation Services) est un outil d’ETL (Extraction / Transformation / Load) introuduit avec SQL Server 7 et remplacé dès SQL Server 2005 par SSIS (SQL Server Integration Services)

Sur le serveur source, replongeons nous dans la console d’administration de SQL Server 2000 qu’est Enterprise Manager pour retrouver nos lots DTS:

Nous allons maintenant choisir d’exporter le DTS dans un fichier structuré, en choisissant l’option « Enregistrer sous » du menu « Lot » :

Une boîte de dialogue apparaît alors, nous permettant de spécifier le type de sauvegarde à effectuer

On voit que l’on peut effectuer une sauvegarde d’un DTS directement sur un autre serveur hébergeant aussi un instance SQL Server 2000, mais il est possible que la machine de développement soit dans l’entreprise alors que la machine de production est chez le client.

On peut aussi spécifier un nom de fichier :

Après le transfert du fichier sur le serveur cible, ouvrons Enterprise Manager pour enregistrer le lot :

On obtient la boîte de dialogue classique de spécification d’un emplacement de fichier :

De retour dans Enterprise Manager, nous devons choisir le lot à ouvrir (comme on peut en enregistrer plusieurs dans le même fichier d’export) :

Il suffit maintenant d’enregistrer le lot …

… en spécifiant qu’il s’agit d’un instance SQL Server :

Et l’opération est terminée; la console Enterprise Manager affiche :

ElSuket

Pour convertir un fichier blg au format CSV, il suffit d’utiliser l’instruction relog en ligne de commandes :

>relog perfmon_log.blg -f CSV -o perfmon_log.csv

En quelques secondes un gros fichier blg peut être converti, retournant le nombre de lignes que contient le fichier CSV.

A partir de là, on peut procéder à son intégration en faisant un clic-droit sur la base de données dans laquelle on souhaite charger les données :

La fenêtre suivante s’ouvre alors :

Il suffit simplement de sélectionner Flat file source dans la liste déroulante Data source, puis de cliquer sur Browse :

Attention à filtrer sur l’extension csv, sinon le fichier n’apparaîtra pas

Une fois le fichier sélectionné, faites attention à la page de codes : elle doit correspondre à la collation utilisée par votre base de données.
Dans la plupart des cas, la page de codes par défaut fonctionnera.
Dans mon cas, comme la collation de la base de données est Thai_CI_AS, j’ai choisi la page de codes 874.

Enfin, comme la première ligne de notre fichier de log PerfMon contient le nom des compteurs, il faut également cocher la case Colmun names in the first data row.

On peut maintenant cliquer sur le bouton Next :

Ici il s’agit de spécifier l’instance SQL Server (Server name) et la base de données dans laquelle on souhaite importer les données (Database).

La table prend alors le même nom que le fichier, par défaut.
Néanmoins on peut tout à fait parcourir et choisir une table de la base de données.

Une fois cela fait, on peut cliquer sur Next : la fenêtre suivante apparaît :

On peut alors choisir d’exécuter le package SSIS immédiatement, auquel cas il ne sera pas sauvegardé, ou bien choisir de l’enregistrer :

1. dans SQL Server (en fait dans la base de données système MSDB)
2. ou dans un fichier

C’est pratique puisque :

– Dans le premier cas, si nous devons réaliser un nouvel import, on n’aura plus qu’à se connecter avec SQL Server Management Studio à l’instance SSIS pour exécuter le package une nouvelle fois,

– Dans le second cas, il suffit simplement de double-cliquer sur le fichier (que l’on peut échanger avec ses collègues) pour exécuter le package

Dans mon cas, comme je n’aurai très probablement jamais plus besoin de réimporter des fichiers de log PerfMon ayant une liste de compteurs strictement identique, j’ai choisi Run Immediately seulement.

Dans tous les cas, on cliquera sur le bouton Next :

Le package s’exécute alors … quand l’opération est terminée, on obtient la fenêtre suivante :

Il suffit alors de cliquer sur Close pour voir la fenêtre se fermer, puis de faire un SELECT * FROM dbo.perfmon_log

Dans le cas où il s’agit d’une opération qui devra être effectuée à répétition, on peut également sauvegarder le package, et le faire exécuter par un job de l’Agent SQL Server.
En plus de cela, on peut construire un rapport SQL Server Reporting Services (SSRS) sur la table recevant les lignes du fichier CSV.

Bon chargement de données PerfMon

ElSüket

1. Ouvrez Visual Studio 2005

2. Choisissez de créer un nouveau projet :

3. Choisissez un projet Windows Application (C# ou VB, peu importe) :

4. Augmentez la taille de la fenêtre

5. Assurez-vous que les boîtes « Explorateur de solutions« , « Boîte à outils« , « Datasets » et « Propriétés » soient disponibles.
Si ce n’est pas le cas, le menu Affichage, ainsi que son option « Autres fenêtres » vous permettront de les afficher

6. Glissez-déposez un contrôle ReportViewer depuis la Boîte à outils dans le Form :

7. A partir de la petite flèche en haut à droite du contrôle, choisissez l’option « Ancrer dans le conteneur parent« , de sorte à maximiser la visibilité du rapport :

8. Dans le menu « Données » de Visual Studio, choisissez « Ajouter une nouvelle source de données » : l’assistant démarre :

9. Choisissez « Base de données » si ce n’est pas déjà sélectionné, puis cliquez sur le bouton « Suivant »

10. Sélectionnez la source de données qui vous convient dans la liste déroulante, ou bien créez une nouvelle connexion :

11. Choisissez si vous souhaitez inclure ou exclure les données sensibles (identifiant + mot de passe) dans la chaîne de connexion, puis cliquez sur le bouton « Suivant »

12. Nommez votre chaîne de connexion comme vous le souhaitez, si vous souhaitez également conserver la chaîne de connexion dans le fichier de configuration de l’application

13. Cliquez sur « Terminer » pour créer un « DataSet » vide, puis confirmez que vous voulez créer un DataSet vide

14. Dans la boîte « Explorateur de solutions » de l’espace de travail, cliquez sur le schéma de votre DataSet (fichier .xsd)

15. Dans le volet de droite, cliquez sur « Boîte à outils » ou bien ouvrez celle-ci depuis le menu « Affichage » de Visual Studio

16. Glissez-déposez un TableAdapter depuis la « Boîte à outils » vers le volet de gauche :

17. « L’Assistant Configuration De TableAdapter » démarre, cliquez sur le bouton « Suivant »

18. Choisissez comment le « TableAdapter » doit accéder à la base de données :

19. Cliquez sur le bouton « Suivant » et spécifiez vos données suivant votre choix puis terminez la procédure

20. Laissez les méthodes Fill() et GetData() telles qu’elles sont spécifiées, puis cliquez sur le bouton « Terminer » :

21. Renommez éventuellement votre « DataTable » comme il vous convient en cliquant sur sa barre de titre

22. Revenez dans le Form en cliquant sur [monForm].cs ou [monForm].vb depuis la barre d’onglets

23. A l’aide de la petite flèche en haut à droite du contrôle ReportViewer, ouvrez la liste déroulante, et choisissez un rapport du serveur de rapports ou bien créez-en un nouveau en choisissant l’option « Design a new report »

– Revenez ensuite au Form ([monForm].cs ou [monForm].vb), puis double-cliquez dedans

– En tête de la méthode [monForm]_Load, ajoutez le code suivant :

	- VB : Me.monDataSet.EnforceConstraints = False
	- C# : this.monDataSet.EnforceConstraints = false;

Si vous ne désactivez pas les contraintes, alors lors du remplissage du TableAdapter par la méthode Fill, les valeurs NULL de votre DataSet déclencheront des erreurs

– Appuyez sur F5 : voilà votre application.

Vous pouvez, comme pour toute application développée sous Visual Studio, trouver l’exécutable dans le répertoire bin/debug du répertoire de développement de votre application.

ElSuket