Business Intelligen(ce) » Divers

Sql Server 2005 et le BULK LOAD

ygrim — Wed, 11 Jun 2008 14:28:02 +0000

Le bulk load mode, dans Sql Server 2005, permet de faire des inscriptions minimales dans le journal d’une base de données lorsqu’on fait des chargements en bloc (BULK LOAD). L’intéret ? Et bien imaginez que vous ayez très peu de temps pour charger une ennorme quantité d’information dans votre table… Vous seriez bien contents de vous passer des ecritures autres que celles faites dans la base de données, notemment les ecritures dans le journal. Votre traitement serait beaucoup plus rapide.
Autre cas, vous chargez des données dans votre entrepôt et vous cherchez un moyen facile de pouvoir revenir en arrière après un chargement. Et bien puisque le bulk load mode n’écrit pas les données chargées en bloc dans le journal. Il vous suffit de faire une restauration de la base de données au dernier point dans le journal et le tour est joué !
Cependant ! ce mode de journalisation ne fonctionne pas toujours comme on veut ! En effet certaines conditions doivent être respéctées pour pouvoir journaliser en bloc :
– La table doit être vide
OU
– La table ne doit contenir AUCUN index cluster.
Je sais, c’est bien contraignant tout ça, surtout qu’on a pas la chance d’avoir une table vide tout le temps… Mais les avantages sont la, et une bonne pratique en B.I est de désactiver les index avant les chargements. Dans un package SSIS, ça se fait facilement

Installation de Proclarity Server 6.0 (authentification SQL)

ygrim — Thu, 29 May 2008 19:54:02 +0000

Bonjour,
L’installation de proclarity 6.0 (et même les autres versions je suppose) ne fonctionne pas si le mode d’identification SQL est à Windows Seulement. Il faut que ce dernier soit à « Mode Mixte ». Proclarity ayant une partie Web, et ayant une base de données SQL Server à installer. Il est necessaire d’avoir ce mode d’identification pour la connection.

Service Pack 2 de Sql Server 2005 et plantage de Reporting Services !

ygrim — Wed, 28 May 2008 20:46:13 +0000

C’est en installant le SP2 de Reporting Services que je me suis rendu compte que mon serveur de rapports n’était plus disponible. Une erreur me signalant que rsReportServer.config était inaccessible… Du MS pur et dur, un service pack censé réglé des bugs en créé d’autres…
En tout cas ! L’excellent Fabrice Romelard a trouvé le fix de ça :
– Aller au compte SQLServer2005ReportingServicesWebServiceUser$XXXX$MSSQLSERVER dans la gestion de l’ordinateur et y ajouter les comptes ASPNET et NETWORK SERVICE (s’il n’y sont pas déjà)…
– Aller au fichier de configuration rsReportServer.config (généralement dans C:\Program Files\Microsoft SQL Server\MSSQL.3\Reporting Services\ReportServer) et donner au groupe précédement mentionné les droits de lecture et d’exécution.
– Jetter un coup d’oeil dans la configuration de Reporting Services pour voir que l’accès à la base de données de rapports s’effectue avec le compte que vous voulez (compte de domaine de préférence).

Voila voila !

Un excellent moyen de prendre en main la B.I de Microsoft

ygrim — Tue, 27 May 2008 15:23:54 +0000

Amis et amies néophytes, c’est ici que ça se passe !!
Un très bon moyen d’avoir un premier contact avec la suite B.I de MS ainsi qu’avec Sql Server (2000, 2005, 2008) : les virtual labs !
Pour ceux qui ne connaissent pas le principe, c’est une machine que MS met à la disposition des utilisateurs de façon virtuelle, c’est à dire que vous avez une page Web qui affiche un poste de travail (comme si vous aviez un pc dans votre pc
Très simple à prendre en main et très bien documenté, les virtual labs permettent de suivre des étapes simples pour produire un résultat montrant la puissance et la simplicité de l’outil.

Un très bon départ qui pourra se poursuivre avec les tutos de DVP

Voici le lien vers les virtual labs de la suite Business Intelligence de MS : http://technet.microsoft.com/en-us/bb499788.aspx

Enjoy !

Les partitions avec Sql Server 2005

ygrim — Fri, 28 Mar 2008 01:40:27 +0000

On continue sur notre lancée avec le partitionnement sous Sql Server 2k5.
Qu’est ce que le partitionnement ?
Et bien c’est tout simplement le fait de diviser, physiquement, les données d’une table, d’une vue ou d’un index. La division se fait horizontalement (par lignes) et permet ainsi de diviser les grosses tables en petits morceaux mieux gérables.
Pourquoi partitionner ?
Imaginez que vous ayez une table de commandes qui recoit chaque jour des milliers de lignes, au fil des années, cette table commencera a devenir très grosse et très peu gérable (dans le cas ou vous voudriez ajouter un index, ou modifier une colonne, etc.). En fait, la table deviendra en définitif un gros bloc monolythique intouchable…
Pourquoi ne pas avoir la possibilité de diviser cette table entre plusieurs disques durs ? ainsi, nous pourrions mettre les commandes du mois dans un disque dur à faible capacité mais à très grande vitesse et les données « archives » dans un enorme disque de plusieurs centaines de Go. Pourquoi ne pas mettre une grosse table dans plein de petits disques durs ? Nous pourrions ainsi bénéficier de parallèlisme dans la lécture et l’ecriture des données.

C’est pour ces raisons que le partitionnement existe !

Le partitionnement sous Sql Server 2005
Le partitionnement se fait en trois phases :

1- Création d’une fonction de partitionnement : une fonction de partitionnement est totalement indépendante de toute structure physique ou logique de la table de données. Son rôle est de définir des « points de partitionnement » ou les valeurs qui délimitent les partitions. Voici la structure de cette fonction :

CREATE PARTITION FUNCTION partition_function_name ( input_parameter_type )
AS RANGE [ LEFT | RIGHT ]
FOR VALUES ( [ boundary_value [ ,...n ] ] ) [ ; ]

Un exemple :

create partition function maPartFonc (int) as range right for values (1000, 2000, 3000);

cette fonction à comme paramètre un entier et dit : je partitionne des que l’entier que tu m’a spécifié atteint 1000, 2000 ou 3000.
La clause AS RANGE LEFT|RIGHT montre juste à quelle partition va aller le point de partitionnement.

2- Création d’un schéma de partitionnement : un schéma de partitionnement spécifie les zones de partitionnement physiques (alors que la fonction de partitionnement désigne les points logiques) et les associent à la fonction de partitionnement, ces zones de partitionnement sont en fait les filegroups qui composent votre base de données. (si vous ne savez pas ce qu’est un filegroup, consultez : http://msdn2.microsoft.com/en-us/library/ms176061.aspx)
La syntaxe pour créer un schéma de partitionnement est la suivante :

CREATE PARTITION SCHEME partition_scheme_name
AS PARTITION partition_function_name
TO ( { file_group_name | [ PRIMARY ] } [ ,...n ] )[ ; ]

Un exemple :

create partition scheme partSchema as partition partFunc to ([FileGroup1],[FileGroup2],[FileGroup3])
go

Cette commande effectue les opérations suivantes :
les données entre 0 et 1000 seront stockées dans [FileGroup1],
les données entre 1001 et 2000 seront stockées dans [FileGroup2],
les données entre 2001 et l’infini seront stockées dans [FileGroup3].
Si la proposition « les données entre x et y » n’est pas claire, c’est normal, c’est la troisième étape

3- Création de tables (index ou vues) partitionnées : dernière et ultime étape, nous allons comprendre pourquoi nous avons fait les étapes 1 et 2.
La syntaxe pour créer une table partitionnée est la suivante :

CREATE TABLE
[ database_name . [ schema_name ] . | schema_name . ] table_name
( { | }
[ ] [ ,...n ] )
[ ON { partition_scheme_name ( partition_column_name ) | filegroup
| "default" } ]
[ { TEXTIMAGE_ON { filegroup | "default" } ] [ ; ]

Un exemple :

create table MaTable (
PK int identity(1,1) primary key,
Nom nvarchar(50),
Prenom nvarchar(80)
)
on partSchema(PK)
go

Ce que nous venons de faire : créer une table toute bête et lui associer le shéma de partitionnement crée précédement avec la clé primaire (le int) comme paramètre de fonction de partitionnement. En clair : tous les enregistrement avec clé primaire inférieure ou égale à 1000 iront dans le FileGroup1, les enreg avec 1001 inf à PK et inf ou égl à 2000 dans FileGroup2, etc.

Imaginez juste ça à plus grande échelle avec des filegroups dans des disques séparés. Voila l’utilité du partitionnement !

SELECT sur des tables partitionnées
Autre truc sympa avec le partitionnement dans Sql Server 2005, c’est la possibilité de faire des requêtes sur des partitions !!! Vu que le partitionnement est un méchanisme tout à fait transparent pour les personnes utilisant les tables, il serait embêtant pour vous, DBA qui avez partitionné la table, de parcourir toute la table avec un SELECT en sachant pertinament que les données que vous cherchez sont dans une partition X.
Il est possible de cibler une partition (ou plusieurs) dans votre SELECT grace à l’instruction $PARTITION. Exemple :
SELECT * FROM MaTable WHERE $PARTITION.ma_fonction_de_partition(cle) = 3
Cette instruction nous retourne tous les enregistrements de la partition numéro 3. Sympa non !
Mais attendez une minute !!!! Comment connaitre le numéro de la partition ??? Et bien c’est tout simple, la requête suivante vous donne tous les numéros de partition de votre table :

SELECT $partition.partfunc(id) AS [numeroPart], count(*) [nombre de lignes]
FROM MaTable GROUP BY $partition.partfunc(id)

de plus, cette requête nous permet d’avoir le numéro de partition ou est stocké l’enregistrement avec PK = 1234 :

SELECT $partition.ma_fonction_de_partition(4000) as [numero partition];

Voila voila ! Avec ça, vous devriez être blindés !

Les serveurs liés avec Sql Server 2005

ygrim — Fri, 28 Mar 2008 00:51:31 +0000

Bon bon bon ! Je perds mes bonnes habitudes, ça fait un bail que je n’ai rien posté sur ce blog !! Atelons nous à la tâche…
Aujourd’hui : Serveurs liés !!!
Les serveurs liés (linked servers) sont des serveurs de bases de données que nous lions à notre instance. Ainsi, nous pouvons exécuter des requêtes sur ces serveurs comme si les tables étaient dans notre instance.
La particularité de tout cela est que les serveurs « liables » peuvent être des serveurs MS Sql 2k ou 2k5, mais aussi toute source de données ayant un pilote OLE DB !!! Oracle, MySql, Access, Excel, etc. Tous ces serveurs peuvent être liés à notre instance Sql Server 2k5.
L’utilité évidente, surtout en Data Warehousing, est la possibilité de transférer de gros volumes de données sans intermédiaires, donc plus rapidement. Mes expériences, et celles de mes collègues et amis, montrent qu’il est en effet plus rapide de transférer des données avec cette méthode qu’avec une autre (pas d’ecriture de script d’ETL, pas de contraintes de transformation ANSI-UTF, …).
Comment lier un serveur ?
C’est aussi simple qu’une commande T-SQL ! La voici :

sp_addlinkedserver [ @server= ] 'server' [ , [ @srvproduct= ] 'product_name' ]
[ , [ @provider= ] 'provider_name' ]
[ , [ @datasrc= ] 'data_source' ]
[ , [ @location= ] 'location' ]
[ , [ @provstr= ] 'provider_string' ]
[ , [ @catalog= ] 'catalog' ]

Les paramètres sont claires : un nom pour votre serveur lié (@server), un nom de produit pour la source de données (je pense que c’est utilisé que dans le cas de liaison de serveurs MS SQL), @datasrc la source de données en tant que tel (le nom de l’instance SQL Server ou le chemin vers votre fichiers Excel par exemple), @location qui fait je ne sais quoi :p (je ne l’ai jamais vu utilisée), @provstr est le nom du pilote OLE DB que vous utilisez et @catalog qui définit le catalog utilisé (la base de données).
Il y’a plein d’exemples sur la documentation officielle, ainsi que les différents pilotes OLE DB disponibles (vous pouvez les consulter aussi dans SSMS), voici le lien :

http://msdn2.microsoft.com/fr-fr/library/ms190479.aspx

Nous allons tout de même faire un exemple tout simple :

use master
go
execute sp_addlinkedserver 'baseAccess', 'Jet OLE DB', 'Microsoft.Jet.OLEDB.4.0',
'C:\Documents and Settings\Yazid Grim\Mes documents\linked.mdb'
go

Ce code ajoute un serveur lié, qui en fait une base de données Access toute simple.
Testons notre connection en faisant une requête sur cette base via SSMS. Le select est tout simple, le voici :

select * from baseAccess...Personne

Pour peu que votre base Access contienne une table « Personne » avec des information à l’intérieur, vous verrez le résultat sur votre SSMS !!!! C’est pas beau tout ça !

Autre petit exemple pour la route, lier un fichier Excel :

EXEC sp_addlinkedserver 'ExcelSource',
'Jet 4.0',
'Microsoft.Jet.OLEDB.4.0',
'c:\MyData\DistExcl.xls',
NULL,
'Excel 5.0'
GO

Aussi simple que ça

Une petite astuce pour la route : la procédure stockée sp_tables_ex permet de lister les tables d’un serveur lié, dans le cas ou vous ne connaiteriez pas la structure de la base liée (ou la liste des onglets d’un fichier excel).

execute sp_tables_ex 'baseAccess'
go

Ce code me donne la liste des tables de ma base Access

C’est tout pour les serveurs liés !

Utilitaire SAC

ygrim — Wed, 12 Mar 2008 00:36:31 +0000

Un outil très pratique qui peu être utile lors de la mise en production ou lors de la mise en mirroir de bases de données.
Le principe : extraire la configuration d’un moteur de base de données ou d’une instance dans un fichier xml avec la possibilité d’injecter ce fichier xml dans une autre machine (ou une autre instance). En d’autres termes, copier la configuration locale d’un serveur et la coller dans un autre ….

http://msdn2.microsoft.com/fr-fr/library/ms162800.aspx

Installer SQL Server 2000 (command line)

ygrim — Wed, 05 Mar 2008 01:04:18 +0000

Ça peut être utile pour ceux qui veulent se pratique pour faire des migrations 2000 – 2005
Excellenet Monsieur Romelard

http://fromelard.free.fr/Scripts/SQL_MSDE/SQL_MSDE.pdf

Envoyer des mails avec Sql Server 2005

ygrim — Thu, 14 Feb 2008 05:14:08 +0000

Quelle beau sentiment que de recevoir un mail de bon matin vous apprenant qu’il y a eu des erreurs lors de la copie de tables de votre base de données ou qu’une procédure stockée de validation de chiffres, qui roule chaque soir, n’a pas trouvé de bons résultats
Bon, d’accord… Ce ne sont pas de si bonnes nouvelles… Mais le fait de le savoir (grace au mail) va surement nous aider à détecter le problème et le corriger avant que les utilisateurs viennent frapper à votre bureau avec la célèbre phrase : « euuuuuuu pourquoi ça marche pas ! »

Sql server propose un utilitaire d’evois de mail (Database Mail). La nouveauté avec les versions précédentes de SQL SERVER est qu’il n’est pas nécéssaire d’avoir un client Mail (Outlook) pour envoyer des mails (beaucoup plus pratique…). Ce billet vous montrera comment configurer DataBase Mail.
Préparation.
Tout d’abord, il faut activer le service Database Mail. Il suffit pour cela d’aller dans la « surface area configuration », puis dans « surface area configuration for features », ensuite séléctionner « database mail » et cocher la seule case qui existe Cette action va lancer le script suivant :

exec sys.sp_configure 'Database Mail XPs', 1
go
RECONFIGURE WITH OVERRIDE
go

Après cette étape, database mail est activé pour notre serveur et nous pouvons passer à la configuration.
Configuration.
Quatre étapes sont nécessaires : créer un compte utilisateur, créer un profil, ajouter le compte au profil et choisir les utilisateurs de msdb qui pourront accéder au profil (public, privé).
Ces étapes sont très facilement configurables depuis Management Studio, il suffit d’ouvrir le dossier « Management », séléctionner Database Mail, puis, avec le bouton droit, accéder au menu contextuel et à l’option « Configure database mail ».
Ces étapes peuvent également être fait par script de la manière suivante :
– Créer un compte utilisateur : voir les variables de la procédure stockée msdb.dbo.sysmail_add_account. En voici un exemple :

EXECUTE msdb.dbo.sysmail_add_account_sp
@account_name = 'monCompteMail',
@description = 'Compte Database Mail',
@email_address = 'moi@mondomain.com',
@display_name = 'MonCompte',
@username='username',
@password='password',
@mailserver_name = 'mail.mondomaine.com',
@port=25,
...

– Créer un profil de comptes mail :

EXECUTE msdb.dbo.sysmail_add_profile_sp
@profile_name = 'ProfilMail',
@description = 'Profile pour utilisateurs de database mail'

– Assigner le compte au profil : cela se fait avec la procédure stockée msdb.dbo.sp_sysmail_add_profileaccount. Il vous est possible de voir les paramètres de chaque procédure stockée via le navigateur d’objets de Management Studio :

EXECUTE msdb.dbo.sysmail_add_profileaccount_sp
@profile_name = 'ProfilMail',
@account_name = 'monCompteMail',
@sequence_number = 1

Si l’on jette un oeil sur la documentation en ligne de SQL Server 2005, on trouvera que @sequence_number désigne l’ordre dans lequel sont triés les comptes dans le profil.

– Assigner le droit d’utilisation du profil à des utilisateurs : c’est bien beau ce qu’on à fait mais faudrait que les utilisateurs puissent utiliser le profil !! La procédure sysmail_add_principalprofil est la pour cela :

EXECUTE msdb.dbo.sysmail_add_principalprofile_sp
@profile_name = 'ProfilMail',
@principal_name = 'public',
@is_default = 1 ;

Ce qu’on fait ici, c’est dire que le profil que nous avons crée peut être utilisé par les utilisateurs appartenant au role ‘public’ pour la base de données MSDB. Nous aurions très bien pu spécifier un utilisateur particulier.

Envoyer un mail.
Le moment de vérité !!! exécutons le script suivant :

EXEC msdb.dbo.sp_send_dbmail @recipients='vous@nimportou.com',
@subject = 'Test',
@body = 'MON PREMIER MESSAGE !!!!',
@body_format = 'HTML'

Si tout ce passe bien, vous recevrez votre mail avec le message attendu, sinon, les logs dans le event log de sql server vous permettront de déceler l’erreur et de la corriger. N’oubliez pas de libérer le port 25 pour l’envoi de mail depuis votre serveur, il m’est arrivé que le serveur de messagerie bloque tout simplement le mail…
Si nous regardons la doc de Sql Server : http://msdn2.microsoft.com/fr-fr/library/ms190307.aspx. Nous pouvons voir qu’il existe plusieurs paramètres pour exécuter et insérer une requête T-SQL dans le mail. Je nous invite à tester ces paramètres (je le ferais quand j’aurais un serveur SMTP…).

Note : il est possible de modifier les profiles, comptes de messagerie, etc avec les procédures stockées msdb.dbo.sysmail_update_XXX, voir la documentation de Sql Server 2005

Voila pour aujourd’hui ! On sait démarrer, configurer et utiliser database mail. Approfondissons nos connaissances maintenant

controler les utilisateurs sur une instance sql server 2005

ygrim — Tue, 12 Feb 2008 00:50:43 +0000

Petite astuce pour détecter et controler les utilisateurs connectés sur une instance sql server 2005 :
– Savoir qui est connecté sur quoi : sp_who
– tuer une connection (spid): kill (sp_id)