Le Blog SQL Server d'ElSüket » Full-Text

Mesurer et remédier à la fragmentation des index fulltext

elsuket — Mon, 06 Jun 2016 12:06:33 +0000

La fragmentation et la défragmentation des index relationnels est un sujet connu sur lequel la littérature ne manque pas. Mais on voit bien moins souvent des lignes sur les index fulltext, donc la fragmentation élevée nuit de la même façon aux performances des requêtes que leurs cousins relationnels.

Voici donc une requête qui permet de mesurer la fragmentation des index fulltext, et qui génère l’instruction de maintenance adéquate, le cas échéant :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

WITH
CTE AS
(
SELECT C.name AS catalog_name
, I.change_tracking_state_desc
, S.name + '.' + T.name AS table_name
, F.fragment_count
, F.index_size_MB
, F.largest_fragment_size_MB
, F.avg_fragment_MB
, CAST(100.0 * (F.index_size_MB - F.avg_fragment_MB) / NULLIF(F.index_size_MB, 0) AS decimal(5,2)) AS avg_MB_frag_pct
, CAST(100 - (100.0 / F.fragment_count) AS decimal(5,2)) AS avg_frag_count_pct
FROM sys.fulltext_catalogs AS C
INNER JOIN sys.fulltext_indexes AS I
ON I.fulltext_catalog_id = C.fulltext_catalog_id
INNER JOIN (
-- Compute fragment data for each table with a full-text index
SELECT table_id
, COUNT(*) AS fragment_count
, CAST(SUM(data_size / (1024.0 * 1024)) AS decimal(9,2)) AS index_size_MB
, CAST(AVG(data_size / (1024.0 * 1024)) AS decimal(9,2)) AS avg_fragment_MB
, CAST(MAX(data_size / (1024.0 * 1024)) AS decimal(9,2)) AS largest_fragment_size_MB
FROM sys.fulltext_index_fragments
GROUP BY table_id
) AS F
ON F.table_id = I.object_id
INNER JOIN sys.tables AS T
ON T.object_id = I.object_id
INNER JOIN sys.schemas AS S
ON S.schema_id = T.schema_id
)
SELECT *
, 'ALTER FULLTEXT CATALOG ['+ catalog_name + CASE
WHEN avg_frag_count_pct > 30 THEN '] REBUILD'
WHEN avg_frag_count_pct BETWEEN 10 AND 30 AND avg_frag_count_pct >= 10 THEN '] REORGANIZE'
END AS maintenance_sql
FROM CTE

Bonne maintenance d’index fulltext !

Scripter les index fulltext

elsuket — Mon, 06 Jun 2016 10:52:13 +0000

Voici une petite requête qui permet d’extraire le script de création des index fulltext d’une base de données. Il génère également l’instruction de création du catalogue (CREATE FULLTEXT CATALOG) auquel chaque index est lié. Donc si l’on a plusieurs index attachés au même catalogue, le script teste si le catalogue existe déjà.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

DECLARE @cr char(2) = CHAR(13) + CHAR(10)
, @tab char(1) = CHAR(9)

SELECT 'IF NOT EXISTS (SELECT * FROM sys.fulltext_catalogs WHERE name = ''' + FC.name + ''')' + @cr
+ 'CREATE FULLTEXT CATALOG [' + FC.name + ']'
+ CASE FC.is_default WHEN 1 THEN ' AS DEFAULT' ELSE '' END
+ CASE FC.is_accent_sensitivity_on WHEN 1 THEN ' WITH ACCENT_SENSITIVITY = ON' ELSE '' END + ';' + @cr + @cr
+ 'IF NOT EXISTS(SELECT * FROM sys.fulltext_indexes WHERE object_id = OBJECT_ID(''[' + S.name + '].[' + T.name + ']''))' + @cr
+ 'CREATE FULLTEXT INDEX ON [' + S.name + '].[' + T.name
+ ']' + @cr + '(' + @cr + @tab + REPLACE(LEFT(FIS.column_list, LEN(FIS.column_list) - 1), ',', @cr + @tab + ', ') + @cr + ')' + @cr
+ 'KEY INDEX [' + I.name + '] ON ([' + FC.name + '], FILEGROUP [' + FG.name + '])'
+ CASE WHEN LEN(FIO.fulltext_index_options) > 0 THEN 'WITH ' + RIGHT(FIO.fulltext_index_options, LEN(FIO.fulltext_index_options) - 2) ELSE '' END + ';' + @cr + @cr
FROM sys.fulltext_catalogs AS FC
INNER JOIN sys.fulltext_indexes AS FI
ON FI.fulltext_catalog_id = FC.fulltext_catalog_id
INNER JOIN sys.indexes AS I
ON I.object_id = FI.object_id
AND I.index_id = FI.unique_index_id
INNER JOIN sys.tables AS T
ON FI.object_id = T.object_id
INNER JOIN sys.schemas AS S
ON S.schema_id = T.schema_id
INNER JOIN sys.filegroups AS FG
ON FG.data_space_id = FI.data_space_id
CROSS APPLY (
SELECT C.name + ' LANGUAGE ' + FL.name + ', '
FROM sys.fulltext_index_columns AS FIC
INNER JOIN sys.columns AS C
ON FIC.object_id = C.object_id
AND FIC.column_id = C.column_id
INNER JOIN sys.fulltext_languages AS FL
ON FIC.language_id = FL.lcid
WHERE FI.object_id = FIC.object_id
FOR XML PATH('')
) AS FIS(column_list)
CROSS APPLY (
SELECT CASE WHEN FI.change_tracking_state_desc 'AUTO' THEN ', CHANGE_TRACKING = ''' + FI.change_tracking_state_desc + '''' ELSE '' END
+ CASE WHEN FI.stoplist_id > 0 THEN ', STOPLIST = ' + FSL.name ELSE '' END
+ CASE WHEN FI.property_list_id IS NOT NULL THEN ', SEARCH PROPERTY LIST = ' + FRSPL.name ELSE '' END COLLATE database_default
FROM sys.fulltext_indexes AS FIO
LEFT JOIN sys.fulltext_stoplists AS FSL
ON FI.stoplist_id = FSL.stoplist_id
LEFT JOIN sys.registered_search_property_lists AS FRSPL
ON FI.property_list_id = FRSPL.property_list_id
WHERE FIO.fulltext_catalog_id = FI.fulltext_catalog_id
AND FIO.object_id = FI.object_id
FOR XML PATH ('')
) AS FIO(fulltext_index_options)

Bonne indexation fulltext !

Installer le iFilter pour fichiers PDF pour la recherche full-text

elsuket — Tue, 01 Jun 2010 13:26:18 +0000

Voici comment installer le iFilter pour les fichiers PDF sous SQL Server 2008 :

=> Télécharger le iFilter PDF

Il suffit de se rendre sur cette page.
Les différentes versions des iFilters PDF apparaissent sous la section Updates/Programs.

=> Installer le iFilter PDF

Après avoir téléchargé le iFilter, il suffit de l’installer comme on installe toute application

=> Faire rechercher à SQL Server tous les iFilters

Il suffit pour cela d’exécuter dans une fenêtre de requête, sous SQL Server Management Studio :

1
2
3
4
5
6
7
8

-- Demande au service de recherche en texte intégral de charger tous les filtres disponibles
EXEC sp_fulltext_service 'load_os_resources',1

-- Demande au service de recherche en texte intégral de ne pas vérifier la signature des fichiers de filtre
EXEC sp_fulltext_service 'verify_signature', 0

-- Demande au service de recherche en texte intégral de mettre à jour les filtres et langages
EXEC sp_fulltext_service 'update_languages', 1

Et d’exécuter la requête suivante pour vérifier l’installation du filtre :

1
2
3

SELECT *
FROM sys.fulltext_document_types
WHERE document_type = '.pdf'

En effet dès SQL Server 2008, comme le moteur de recherche de texte intégral est intégré à celui de base de données, il n’y a plus besoin de redémarrer le service correspondant.
l’option update_languages permet cela, et apparaît seulement sous SQL Server 2008.

Et bonne recherches de texte !

ElSüket.

Télécharger les filtres pour la recherche en texte intégral dans des documents Office 2007

elsuket — Mon, 08 Mar 2010 13:34:36 +0000

Voici où vous pourrez trouver la liste des filtres pour les documents de type .docx., .xlsx, .pptx, … qui vous permettront d’utiliser la recherche en texte intégral dans ce type de documents sous SQL Server.

Bonne indexation full-text !

ElSuket