it-swarm.dev

Przekazywanie parametrów tablicy do procedury składowanej

Mam proces, który pobiera kilka rekordów (1000) i działa na nich, a kiedy skończę, muszę oznaczyć ich dużą liczbę jako przetworzonych. Mogę to wskazać za pomocą dużej listy identyfikatorów. Staram się unikać wzorca „aktualizacji w pętli”, dlatego chciałbym znaleźć bardziej skuteczny sposób na przesłanie tego worka identyfikatorów do przechowywanego proc. MS SQL Server 2008.

Propozycja nr 1 - Parametry wyceniane w tabeli. Mogę zdefiniować typ tabeli z polem identyfikatora i wysłać tabelę zawierającą identyfikatory do aktualizacji.

Propozycja 2 - parametr XML (varchar) z OPENXML () w treści proc.

Propozycja nr 3 - Analiza listy. Wolę raczej tego unikać, jeśli to możliwe, ponieważ wydaje się to nieporęczne i podatne na błędy.

Czy są jakieś preferencje lub pomysły, które przegapiłem?

54
D. Lambert

Najlepsze w historii artykuły na ten temat są autorstwa Erlanda Sommarskoga:

Obejmuje wszystkie opcje i całkiem dobrze wyjaśnia.

Przepraszam za krótką odpowiedź, ale artykuł Erlanda na temat tablic jest jak książki Joe Celko o drzewach i innych smakołykach SQL :)

44
Marian

Jest świetna dyskusja na ten temat na StackOverflow , która obejmuje wiele podejść. Ten, który wolę dla SQL Server 2008+, to użycie parametry o wartościach przechowywanych w tabeli. Jest to zasadniczo rozwiązanie problemu dla programu SQL Server - przekazanie listy wartości do procedury składowanej.

Zaletami tego podejścia są:

  • wykonaj jedno wywołanie procedury składowanej ze wszystkimi danymi przekazanymi jako 1 parametr
  • dane wejściowe do tabeli są uporządkowane i silnie wpisane
  • brak budowania ciągów/parsowania lub obsługi XML
  • może łatwo użyć danych wejściowych z tabeli do filtrowania, łączenia lub cokolwiek innego

Jednak zwróć uwagę: Jeśli wywołasz procedurę składowaną, która korzysta z TVP przez ADO.NET lub ODBC i weź spójrz na działanie z SQL Server Profiler, zauważysz, że SQL Server otrzymuje kilka instrukcji INSERT w celu załadowania TVP, po jednym dla każdego wiersza w TVP , a następnie wywołanie Jest to zgodnie z projektem . Ta partia INSERTs musi zostać skompilowana za każdym razem, gdy wywoływana jest procedura, i stanowi niewielki narzut. Jednak nawet przy takim obciążeniu TVP wciąż - zdmuchnąć inne podejścia pod względem wydajności i użyteczności w większości przypadków użycia.

Jeśli chcesz dowiedzieć się więcej, Erland Sommarskog ma pełny skinny na temat działania parametrów wycenianych w tabeli i podaje kilka przykładów.

Oto inny przykład, który wymyśliłem:

CREATE TYPE id_list AS TABLE (
    id int NOT NULL PRIMARY KEY
);
GO

CREATE PROCEDURE [dbo].[tvp_test] (
      @param1           INT
    , @customer_list    id_list READONLY
)
AS
BEGIN
    SELECT @param1 AS param1;

    -- join, filter, do whatever you want with this table 
    -- (other than modify it)
    SELECT *
    FROM @customer_list;
END;
GO

DECLARE @customer_list id_list;

INSERT INTO @customer_list (
    id
)
VALUES (1), (2), (3), (4), (5), (6), (7);

EXECUTE [dbo].[tvp_test]
      @param1 = 5
    , @customer_list = @customer_list
;
GO

DROP PROCEDURE dbo.tvp_test;
DROP TYPE id_list;
GO
23
Nick Chammas

Cały temat omówiono na the ostateczny artykuł Erlanda Sommarskoga: „Tablice i listy w SQL Server” . Wybierz, którą wersję wybrać.

Podsumowanie, dla pre SQL Server 2008, gdzie TVP przebijają resztę

  • CSV, podziel się, jak chcesz (zazwyczaj używam tabeli Numbers)
  • XML i parsowanie (lepiej w SQL Server 2005+)
  • Utwórz tymczasową tabelę na kliencie

Ten artykuł i tak warto przeczytać, aby zobaczyć inne techniki i sposób myślenia.

Edycja: późna odpowiedź na ogromny wymienia gdzie indziej: Przekazywanie parametrów tablicy do procedury składowanej

21
gbn

Wiem, że spóźniłem się na tę imprezę, ale miałem taki problem w przeszłości, musiałem wysłać do 100 tysięcy bigintów i wykonałem kilka testów porównawczych. Ostatecznie wysłaliśmy je w formacie binarnym, jako obraz - to było szybsze niż wszystko inne dla liczb do 100 000.

Oto mój stary kod (SQL Server 2005):

SELECT  Number * 8 + 1 AS StartFrom ,
        Number * 8 + 8 AS MaxLen
INTO    dbo.ParsingNumbers
FROM    dbo.Numbers
GO

CREATE FUNCTION dbo.ParseImageIntoBIGINTs ( @BIGINTs IMAGE )
RETURNS TABLE
AS RETURN
    ( SELECT    CAST(SUBSTRING(@BIGINTs, StartFrom, 8) AS BIGINT) Num
      FROM      dbo.ParsingNumbers
      WHERE     MaxLen <= DATALENGTH(@BIGINTs)
    )
GO

Poniższy kod upakowuje liczby całkowite do binarnego obiektu blob. Odwracam tutaj kolejność bajtów:

static byte[] UlongsToBytes(ulong[] ulongs)
{
int ifrom = ulongs.GetLowerBound(0);
int ito   = ulongs.GetUpperBound(0);
int l = (ito - ifrom + 1)*8;
byte[] ret = new byte[l];
int retind = 0;
for(int i=ifrom; i<=ito; i++)
{
ulong v = ulongs[i];
ret[retind++] = (byte) (v >> 0x38);
ret[retind++] = (byte) (v >> 0x30);
ret[retind++] = (byte) (v >> 40);
ret[retind++] = (byte) (v >> 0x20);
ret[retind++] = (byte) (v >> 0x18);
ret[retind++] = (byte) (v >> 0x10);
ret[retind++] = (byte) (v >> 8);
ret[retind++] = (byte) v;
}
return ret;
}
14
A-K

Jestem rozdarty między odsyłaniem cię do SO lub udzielaniem odpowiedzi tutaj), ponieważ jest to prawie pytanie programistyczne. Ale skoro mam już rozwiązanie, którego używam ... opublikuję to;)

Działa to w ten sposób, że podajesz ciąg rozdzielany przecinkami (prosty podział, nie robi podziałów w stylu CSV) do procedury składowanej jako varchar (4000), a następnie podajesz tę listę do tej funkcji i odzyskujesz poręczną tabelę, stół tylko varcharów.

Pozwala to na przesłanie wartości tylko identyfikatorów, które chcesz przetworzyć, i możesz w tym momencie wykonać proste łączenie.

Alternatywnie możesz zrobić coś z CLR DataTable i przekazać to, ale to trochę więcej narzutów do wsparcia i wszyscy rozumieją listy CSV.

USE [Database]
GO
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO

ALTER FUNCTION [dbo].[splitListToTable] (@list      nvarchar(MAX), @delimiter nchar(1) = N',')
      RETURNS @tbl TABLE (value     varchar(4000)      NOT NULL) AS
/*
http://www.sommarskog.se/arrays-in-sql.html
This guy is apparently THE guy in SQL arrays and lists 

Need an easy non-dynamic way to split a list of strings on input for comparisons

Usage like thus:

DECLARE @sqlParam VARCHAR(MAX)
SET @sqlParam = 'a,b,c'

SELECT * FROM (

select 'a' as col1, '1' as col2 UNION
select 'a' as col1, '2' as col2 UNION
select 'b' as col1, '3' as col2 UNION
select 'b' as col1, '4' as col2 UNION
select 'c' as col1, '5' as col2 UNION
select 'c' as col1, '6' as col2 ) x 
WHERE EXISTS( SELECT value FROM splitListToTable(@sqlParam,',') WHERE x.col1 = value )

*/
BEGIN
   DECLARE @endpos   int,
           @startpos int,
           @textpos  int,
           @chunklen smallint,
           @tmpstr   nvarchar(4000),
           @leftover nvarchar(4000),
           @tmpval   nvarchar(4000)

   SET @textpos = 1
   SET @leftover = ''
   WHILE @textpos <= datalength(@list) / 2
   BEGIN
      SET @chunklen = 4000 - datalength(@leftover) / 2
      SET @tmpstr = @leftover + substring(@list, @textpos, @chunklen)
      SET @textpos = @textpos + @chunklen

      SET @startpos = 0
      SET @endpos = charindex(@delimiter, @tmpstr)

      WHILE @endpos > 0
      BEGIN
         SET @tmpval = ltrim(rtrim(substring(@tmpstr, @startpos + 1,
                                             @endpos - @startpos - 1)))
         INSERT @tbl (value) VALUES(@tmpval)
         SET @startpos = @endpos
         SET @endpos = charindex(@delimiter, @tmpstr, @startpos + 1)
      END

      SET @leftover = right(@tmpstr, datalength(@tmpstr) / 2 - @startpos)
   END

   INSERT @tbl(value) VALUES (ltrim(rtrim(@leftover)))
   RETURN
END
9
jcolebrand

Regularnie otrzymuję zestawy 1000 wierszy i 10000 wierszy wysyłanych z naszej aplikacji do przetworzenia przez różne procedury składowane programu SQL Server.

Aby sprostać wymaganiom dotyczącym wydajności, korzystamy z TVP, ale musisz zaimplementować własny streszczenie dbDataReader, aby rozwiązać niektóre problemy z wydajnością w domyślnym trybie przetwarzania. Nie będę wchodził w hows i dlaczego, ponieważ są one poza zakresem tej prośby.

Nie zastanawiałem się nad przetwarzaniem XML, ponieważ nie znalazłem implementacji XML, która pozostaje wydajna z ponad 10.000 „wierszy”.

Przetwarzanie list może być obsługiwane przez przetwarzanie tabel liczb jednowymiarowych i dwuwymiarowych (liczb). Wykorzystaliśmy je z powodzeniem w różnych obszarach, ale dobrze zarządzani TVP są bardziej wydajni, gdy jest ich więcej niż kilkaset „wierszy”.

Podobnie jak w przypadku wszystkich opcji dotyczących przetwarzania programu SQL Server, musisz dokonać wyboru na podstawie modelu użytkowania.

5
Robert Miller

W końcu dostałem szansę zrobienia kilku TableValuedParameters i działają one świetnie, więc wkleję cały kod lotta, który pokazuje, jak ich używam, wraz z próbką z mojego bieżącego kodu: (uwaga: używamy ADO .NETTO)

Uwaga: piszę trochę kodu dla usługi i mam wiele predefiniowanych bitów kodu w drugiej klasie, ale piszę to jako aplikację konsolową, aby móc go debugować, więc zgarnąłem to z aplikacja konsoli. Przepraszam za mój styl kodowania (jak na stałe parametry połączenia), ponieważ było to coś w rodzaju „zbuduj jeden, aby go wyrzucić”. Chciałem pokazać, jak używam List<customObject> i wsuń go z łatwością do bazy danych jako tabelę, której mogę użyć w procedurze przechowywanej. Kod C # i TSQL poniżej:

using System;
using System.Collections.Generic;
using System.Data;
using System.Data.SqlClient;
using a;

namespace a.EventAMI {
    class Db {
        private static SqlCommand SqlCommandFactory(string sprocName, SqlConnection con) { return new SqlCommand { CommandType = CommandType.StoredProcedure, CommandText = sprocName, CommandTimeout = 0, Connection = con }; }

        public static void Update(List<Current> currents) {
            const string CONSTR = @"just a hardwired connection string while I'm debugging";
            SqlConnection con = new SqlConnection( CONSTR );

            SqlCommand cmd = SqlCommandFactory( "sprocname", con );
            cmd.Parameters.Add( "@CurrentTVP", SqlDbType.Structured ).Value = Converter.GetDataTableFromIEnumerable( currents, typeof( Current ) ); //my custom converter class

            try {
                using ( con ) {
                    con.Open();
                    cmd.ExecuteNonQuery();
                }
            } catch ( Exception ex ) {
                ErrHandler.WriteXML( ex );
                throw;
            }
        }
    }
    class Current {
        public string Identifier { get; set; }
        public string OffTime { get; set; }
        public DateTime Off() {
            return Convert.ToDateTime( OffTime );
        }

        private static SqlCommand SqlCommandFactory(string sprocName, SqlConnection con) { return new SqlCommand { CommandType = CommandType.StoredProcedure, CommandText = sprocName, CommandTimeout = 0, Connection = con }; }

        public static List<Current> GetAll() {
            List<Current> l = new List<Current>();

            const string CONSTR = @"just a hardcoded connection string while I'm debugging";
            SqlConnection con = new SqlConnection( CONSTR );

            SqlCommand cmd = SqlCommandFactory( "sprocname", con );

            try {
                using ( con ) {
                    con.Open();
                    using ( SqlDataReader reader = cmd.ExecuteReader() ) {
                        while ( reader.Read() ) {
                            l.Add(
                                new Current {
                                    Identifier = reader[0].ToString(),
                                    OffTime = reader[1].ToString()
                                } );
                        }
                    }

                }
            } catch ( Exception ex ) {
                ErrHandler.WriteXML( ex );
                throw;
            }

            return l;
        }
    }
}

-------------------
the converter class
-------------------
using System;
using System.Collections;
using System.Data;
using System.Reflection;

namespace a {
    public static class Converter {
        public static DataTable GetDataTableFromIEnumerable(IEnumerable aIEnumerable) {
            return GetDataTableFromIEnumerable( aIEnumerable, null );
        }

        public static DataTable GetDataTableFromIEnumerable(IEnumerable aIEnumerable, Type baseType) {
            DataTable returnTable = new DataTable();

            if ( aIEnumerable != null ) {
                //Creates the table structure looping in the in the first element of the list
                object baseObj = null;

                Type objectType;

                if ( baseType == null ) {
                    foreach ( object obj in aIEnumerable ) {
                        baseObj = obj;
                        break;
                    }

                    objectType = baseObj.GetType();
                } else {
                    objectType = baseType;
                }

                PropertyInfo[] properties = objectType.GetProperties();

                DataColumn col;

                foreach ( PropertyInfo property in properties ) {
                    col = new DataColumn { ColumnName = property.Name };
                    if ( property.PropertyType == typeof( DateTime? ) ) {
                        col.DataType = typeof( DateTime );
                    } else if ( property.PropertyType == typeof( Int32? ) ) {
                        col.DataType = typeof( Int32 );
                    } else {
                        col.DataType = property.PropertyType;
                    }
                    returnTable.Columns.Add( col );
                }

                //Adds the rows to the table

                foreach ( object objItem in aIEnumerable ) {
                    DataRow row = returnTable.NewRow();

                    foreach ( PropertyInfo property in properties ) {
                        Object value = property.GetValue( objItem, null );
                        if ( value != null )
                            row[property.Name] = value;
                        else
                            row[property.Name] = "";
                    }

                    returnTable.Rows.Add( row );
                }
            }
            return returnTable;
        }

    }
}

USE [Database]
GO

SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO

ALTER PROC [dbo].[Event_Update]
    @EventCurrentTVP    Event_CurrentTVP    READONLY
AS

/****************************************************************
    author  cbrand
    date    
    descrip I'll ask you to forgive me the anonymization I've made here, but hope this helps
    caller  such and thus application
****************************************************************/

BEGIN TRAN Event_Update

DECLARE @DEBUG INT

SET @DEBUG = 0 /* test using @DEBUG <> 0 */

/*
    Replace the list of outstanding entries that are still currently disconnected with the list from the file
    This means remove all existing entries (faster to truncate and insert than to delete on a join and insert, yes?)
*/
TRUNCATE TABLE [database].[dbo].[Event_Current]

INSERT INTO [database].[dbo].[Event_Current]
           ([Identifier]
            ,[OffTime])
SELECT [Identifier]
      ,[OffTime]
  FROM @EventCurrentTVP

IF (@@ERROR <> 0 OR @DEBUG <> 0) 
BEGIN
ROLLBACK TRAN Event_Update
END
ELSE
BEGIN
COMMIT TRAN Event_Update
END

USE [Database]
GO

CREATE TYPE [dbo].[Event_CurrentTVP] AS TABLE(
    [Identifier] [varchar](20) NULL,
    [OffTime] [datetime] NULL
)
GO

Będę również konstruktywnie krytykować mój styl kodowania, jeśli masz to do zaoferowania (wszystkim czytelnikom, którzy napotkają to pytanie), ale proszę, zachowaj konstruktywność;) ... Jeśli naprawdę mnie chcesz, znajdź mnie na czacie tutaj . Mam nadzieję, że dzięki tej części kodu można zobaczyć, w jaki sposób można użyć List<Current> jak zdefiniowałem jako tabelę w db i List<T> w swojej aplikacji.

5
jcolebrand

Wybrałbym propozycję nr 1 lub, alternatywnie, stworzyłem tabelę scratch, która po prostu przechowuje przetworzone identyfikatory. Wstaw do tej tabeli podczas przetwarzania, a po zakończeniu wywołaj procedurę podobną do poniższej:

BEGIN TRAN

UPDATE dt
SET processed = 1
FROM dataTable dt
JOIN processedIds pi ON pi.id = dt.id;

TRUNCATE TABLE processedIds

COMMIT TRAN

Zrobisz wiele wstawek, ale będą przy małym stoliku, więc powinno być szybko. Możesz także wsadowo wstawiać swoje wkładki za pomocą ADO.net lub dowolnego adaptera danych, którego używasz.

Tytuł pytania obejmuje zadanie przesyłania danych z aplikacji do procedury składowanej. Ta część jest wykluczona przez pytanie, ale spróbuję też odpowiedzieć na to pytanie.

W kontekście sql-server-2008, jak określono w tagach, jest kolejny świetny artykuł E. Sommarskog Tablice i listy w SQL Server 2008 . BTW znalazłem to w artykule, do którego Marian odniósł się w swojej odpowiedzi.

Zamiast po prostu podać link, cytuję jego listę treści:

  • Wprowadzenie
  • Tło
  • Parametry wyceniane w tabeli w języku T-SQL
  • Przekazywanie parametrów wycenianych w tabeli od ADO .NET
    • Korzystanie z listy
    • Korzystanie z DataTable
    • Korzystanie z czytnika danych
    • Uwagi końcowe
  • Korzystanie z parametrów wycenianych w tabeli z innych interfejsów API
    • ODBC
    • OLE DB
    • ADO
    • LINQ i Entity Framework
    • JDBC
    • PHP
    • Perl
    • Co jeśli Twój interfejs API nie obsługuje TVP
  • Uwagi dotyczące wydajności
    • Po stronie serwera
    • Strona klienta
    • Klucz podstawowy czy nie?
  • Podziękowania i opinie
  • Historia zmian

Poza wymienionymi tam technikami mam wrażenie, że w niektórych przypadkach zbiorcze kopiowanie i wkładka zbiorcza zasługują na uwzględnienie w ogólnym przypadku.

2
bernd_k

Przekazywanie parametrów tablicy do procedury składowanej

dla najnowszej wersji MS SQL 2016

W MS SQL 2016 wprowadzono nową funkcję: SPLIT_STRING () do analizy wielu wartości.

To może łatwo rozwiązać twój problem.

dla starszej wersji MS SQL

Jeśli używasz starszej wersji, wykonaj ten krok:

Najpierw wykonaj jedną funkcję:

 ALTER FUNCTION [dbo].[UDF_IDListToTable]
 (
    @list          [varchar](MAX),
    @Seperator     CHAR(1)
  )
 RETURNS @tbl TABLE (ID INT)
 WITH 

 EXECUTE AS CALLER
 AS
  BEGIN
    DECLARE @position INT
    DECLARE @NewLine CHAR(2) 
    DECLARE @no INT
    SET @NewLine = CHAR(13) + CHAR(10)

    IF CHARINDEX(@Seperator, @list) = 0
    BEGIN
    INSERT INTO @tbl
    VALUES
      (
        @list
      )
END
ELSE
BEGIN
    SET @position = 1
    SET @list = @list + @Seperator
    WHILE CHARINDEX(@Seperator, @list, @position) <> 0
    BEGIN
        SELECT @no = SUBSTRING(
                   @list,
                   @position,
                   CHARINDEX(@Seperator, @list, @position) - @position
               )

        IF @no <> ''
            INSERT INTO @tbl
            VALUES
              (
                @no
              )

        SET @position = CHARINDEX(@Seperator, @list, @position) + 1
    END
END
RETURN
END

Po wykonaniu tej czynności, po prostu przekaż swój ciąg znaków do tej funkcji za pomocą separatora.

Mam nadzieję, że to ci pomoże. : -)

1
Ankit Bhalala