Databricks Runtime 11.2 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.2 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję we wrześniu 2022 r.

Nowe funkcje i ulepszenia

• Zmień na uprawnienia ALTER TABLE w kontroli dostępu do tabel (ACL tabeli)
• dynamiczne przycinanie MERGE INTO
• Ulepszone wykrywanie konfliktów w Delta przy użyciu dynamicznego przycinania plików
• Nowa karta Integracji typu open source na stronach głównych DSE/SQL
• ulepszenia wykrywania partycji CONVERT TO DELTA
• Schematy tabel obsługują teraz wartości domyślne kolumn
• Nowe funkcje geoprzestrzenne H3
• Nowa zależność Databricks Runtime
• Użycie własnego klucza: szyfrowanie poświadczeń usługi Git
• SQL: Nowa funkcja agregacji any_value
• Polecenia systemu plików narzędzi Databricks są teraz dozwolone na większej liczbie typów klastrów
• Uprawnienia CREATE można teraz przyznać w metaskładnicach dla Unity Catalog
• Zoptymalizowane zapisy dla niepartycjonowanych tabel w klastrach z obsługą funkcji Photon
• Obsługa funkcji Photon dla większej liczby źródeł danych
• SQL: ALTER SHARE teraz obsługuje wersję startową

Zmiana uprawnień na ALTER TABLE w kontrolach dostępu do tabel (ACL tabeli)

Teraz użytkownicy potrzebują tylko MODIFY uprawnień do zmiany schematu lub właściwości tabeli za pomocą ALTER TABLE. Własność jest nadal wymagana, aby udzielić uprawnień do tabeli, zmienić jej właściciela i lokalizację lub zmienić jego nazwę. Ta zmiana powoduje, że model uprawnień dla ACL tabeli jest spójny z katalogiem Unity. Zobacz: ALTER TABLE.

Dynamiczne przycinanie dla MERGE INTO

W przypadku korzystania z obliczeń MERGE INTO z włączoną usługą Photon funkcja przycinania plików dynamicznych i partycji jest używana w razie potrzeby w celu zwiększenia wydajności, na przykład w przypadku scalenia małej tabeli źródłowej z większą tabelą docelową.

Ulepszone wykrywanie konfliktów w funkcji Delta przy użyciu dynamicznego oczyszczania plików

Podczas sprawdzania potencjalnych konfliktów przy zatwierdzaniu, wykrywanie konfliktów uwzględnia teraz pliki, które są przycinane przez dynamiczne przycinanie plików, ale nie byłyby przycinane przez filtry statyczne. Spowoduje to zmniejszenie liczby transakcji zakończonych niepowodzeniem.

Nowa karta Integracji typu open source na stronach głównych DSE/SQL

Wprowadzenie nowej karty "Open Source Integrations" na stronach głównych DSE/SQL, która wyświetla open source opcje integracji, takie jak DLT i dbt core.

CONVERT TO DELTA ulepszenia wykrywania partycji

CONVERT TO DELTA automatycznie generuje schemat partycji tabel Parquet zarejestrowanych w metastore Hive lub w katalogu Unity, eliminując konieczność podania klauzuli PARTITIONED BY.

CONVERT TO DELTA korzysta z informacji o partycji z magazynu metadanych w celu odnajdywania plików dla tabeli Parquet zamiast wyświetlania całej ścieżki podstawowej, dzięki czemu usunięte partycje nie są dodawane do tabeli delty.

Zobacz Konwersja na Delta Lake.

Schematy tabel obsługują teraz wartości domyślne kolumn

Schematy tabel obsługują teraz ustawianie wartości domyślnych dla kolumn. INSERT, UPDATEi DELETE polecenia dla tych kolumn mogą odwoływać się do tych wartości za pomocą słowa kluczowego DEFAULT . Na przykład CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET , a następnie INSERT INTO t VALUES (1, DEFAULT) dołączy wiersz (1, 42). To zachowanie jest obsługiwane w przypadku źródeł danych CSV, JSON, Orc i Parquet.

Nowe funkcje geoprzestrzenne H3

Teraz można używać 28 nowych wbudowanych wyrażeń H3 na potrzeby przetwarzania geoprzestrzenowego w klastrach z obsługą funkcji Photon, dostępnych w usługach SQL, Scala i Python. Zobacz Funkcje geoprzestrzenne H3.

Nowa zależność środowiska wykonawczego usługi Databricks

Środowisko Databricks Runtime jest teraz zależne od biblioteki H3 Java w wersji 3.7.0.

Przynieś swój własny klucz: szyfrowanie poświadczeń Git

Za pomocą Azure Key Vault można szyfrować osobisty token dostępu usługi Git lub inne poświadczenia usługi Git.

Zobacz Konfigurowanie integracji z usługą Git dla folderów Git.

SQL: Nowa funkcja agregacji any_value

Nowa any_value funkcja agregacji zwraca dowolną losową wartość expr dla grupy wierszy. Zobacz funkcję agregacji any_value.

Polecenia systemu plików narzędzi usługi Databricks są dozwolone dla większej liczby typów klastrów

dbutils.fs Polecenia (z wyjątkiem poleceń związanych z montowaniem) są teraz dozwolone w klastrach z izolacją użytkowników z Unity Catalog, a także w starszych klastrach ACL tabel, gdy użytkownik ma ANY FILE uprawnienia.

Uprawnienia CREATE można teraz przyznać w metasklepach dla Unity Catalog

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT, oraz uprawnienia CREATE PROVIDER można teraz przyznawać w metaskładnicach Unity Catalog.

Zoptymalizowane zapisy dla niepartycjonowanych tabel w klastrach z obsługą funkcji Photon

Zarządzane tabele w Unity Catalog automatycznie zapisują pliki o dobrze dostosowanym rozmiarze z niepartycyjnych tabel, aby poprawić szybkość zapytań i zoptymalizować wydajność.

Obsługa funkcji Photon dla większej liczby źródeł danych

Aplikacja Photon obsługuje teraz więcej źródeł danych, w tym CSV i Avro, a także jest zgodna z buforowanymi ramkami danych. Wcześniej skanowanie tych źródeł danych oznaczało, że całe zapytanie nie może być fotonizowane, niezależnie od operatorów lub wyrażeń zapytania. Teraz zapytania skanujące te źródła danych mogą być fotonizowane, zmniejszając znaczne opóźnienia i poprawiając TCO.

Ta funkcja jest domyślnie włączona w spark.databricks.photon.photonRowToColumnar.enabled konfiguracji.

Ograniczenia:

• Schematy z typami zagnieżdżonymi są nieobsługiwane (tj. tablice, mapy i struktury) w tej wersji.
• Źródła ORC, RDD, Kinesis, Kafka i EventHub nie są obsługiwane w tej wersji.

SQL: ALTER SHARE obsługuje teraz WERSJĘ POCZĄTKOWĄ

Polecenie ALTER SHARE obsługuje teraz funkcję START VERSION, która umożliwia dostawcom udostępnianie danych począwszy od określonej wersji tabeli. Zobacz: ALTER SHARE.

Uaktualnienia biblioteki

• Uaktualnione biblioteki Python:
  • distlib z 0.3.4 do 0.3.5
  • filelock z wersji 3.7.1 do wersji 3.8.0
  • wykres z wersji 5.8.2 do 5.9.0
  • protobuf z wersji 4.21.2 do wersji 4.21.5
• Uaktualnione biblioteki języka R:
  • broom od 0.8.0 do 1.0.0
  • bslib z 0.3.1 do 0.4.0
  • callr od 3.7.0 do 3.7.1
  • caret od 6.0-92 do 6.0-93
  • dbplyr z wersji 2.2.0 do 2.2.1
  • devtools z wersji 2.4.3 do 2.4.4
  • ocena w zakresie od 0,15 do 0,16
  • Aktualizacja wersji z 2.1.0 na 2.1.1
  • fontawesome z 0.2.2 do 0.3.0
  • przyszłość z wersji 1.26.1 do 1.27.0
  • typy ogólne od 0.1.2 do 0.1.3
  • aktualizacja wersji gert z 1.6.0 do 1.7.0
  • globals z 0.15.1 do 0.16.0
  • googlesheets4 z 1.0.0 do 1.0.1
  • hardhat z 1.1.0 do 1.2.0
  • htmltools z wersji 0.5.2 do 0.5.3
  • równocześnie z aktualizacją z wersji 1.32.0 do 1.32.1
  • filar od 1.7.0 do 1.8.0
  • aktualizacja pkgload z wersji 1.2.4 na 1.3.0
  • processx z wersji 3.6.1 do 3.7.0
  • Program Rcpp z wersji 1.0.8.3 do 1.0.9
  • przepisy od 0.2.0 do 1.0.1
  • rlang z wersji 1.0.2 do 1.0.4
  • roxygen2 z 7.2.0 do 7.2.1
  • RSQLite z wersji 2.2.14 do 2.2.15
  • sass z wersji 0.4.1 do 0.4.2
  • błyszczące od 1.7.1 do 1.7.2
  • stringi z wersji 1.7.6 do 1.7.8
  • tibble z 3.1.7 do 3.1.8
  • tidyverse z 1.3.1 do 1.3.2
  • timeDate z 3043.102 do 4021.104
  • xfun od 0.31 do 0.32
• Uaktualnione biblioteki Java:
  • org.apache.orc.orc-core z wersji 1.7.4 na 1.7.5
  • org.apache.orc.orc-mapreduce z wersji 1.7.4 do 1.7.5
  • Aktualizacja org.apache.orc.orc-shims z wersji 1.7.4 do 1.7.5

Apache Spark

Środowisko Databricks Runtime 11.2 obejmuje platformę Apache Spark 3.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Zwraca szersze typy interwałów ANSI z funkcji percentylu
• [SPARK-40054] [SQL] Przywracanie składni obsługi błędów try_cast()
• [SPARK-39489] [CORE] Zwiększanie wydajności rejestrowania zdarzeń JsonProtocol przy użyciu narzędzia Jackson zamiast Json4s
• [SPARK-39319] [CORE][sql] Tworzenie kontekstów zapytań w ramach SparkThrowable
• [SPARK-40085] [SQL] Użyj klasy błędów INTERNAL_ERROR zamiast IllegalStateException, aby wskazać usterki
• [SPARK-40001] [SQL] Spraw, aby zapisy NULL w kolumnach DOMYŚLNYch JSON zapisywały 'null' do magazynu.
• [SPARK-39635] [SQL] Obsługa metryk modułów sterujących w interfejsie API metryk niestandardowych DS v2
• [SPARK-39184] [SQL] Zarządzanie zbyt małą tablicą wyników w sekwencjach dat i ciągach czasowych
• [SPARK-40019] [SQL] Refaktoryzacja komentarza containNull w ArrayType i poprawa niejasności logiki w wyrażeniu collectionOperatora dotyczącym containsNull
• [SPARK-39989] [SQL] Obsługa szacowania statystyk kolumn, jeśli jest to wyrażenie z możliwością składania
• [SPARK-39926] [SQL] Naprawiono usterkę w obsłudze domyślnej kolumny dla niewektorowych skanowań Parquet
• [SPARK-40052] [SQL] Obsługa bezpośrednich buforów bajtowych w VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Naprawianie typu interwału docelowego w błędach przepełnienia rzutu
• [SPARK-39835] [SQL] Naprawiono problem z funkcją EliminateSorts, polegającą na usuwaniu globalnego sortowania umieszczonego poniżej lokalnego sortowania
• [SPARK-40002] [SQL] Nie wypychaj limitu przez okno przy użyciu ntile
• [SPARK-39976] [SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
• [SPARK-39985] [SQL] Włączanie niejawnych wartości domyślnych kolumn w we wstawieniach z DataFrames
• [SPARK-39776] [SQL] JOIN szczegółowy ciąg znaków powinien zawierać typ sprzężenia
• [SPARK-38901] [SQL] DS w wersji 2 obsługuje przesuwanie w dół różnorodnych funkcji
• [SPARK-40028] [SQL][kontynuacja] Ulepszenie przykładów funkcji tekstowych
• [SPARK-39983] [CORE][sql] Nie buforuj nieserializowane relacje emisji na sterowniku
• [SPARK-39812] [SQL] Uprość kod, który konstruuje AggregateExpression z użyciem toAggregateExpression
• [SPARK-40028] [SQL] Dodawanie przykładów binarnych dla wyrażeń ciągu
• [SPARK-39981] [SQL] Rzuć wyjątek QueryExecutionErrors.castingCauseOverflowErrorInTableInsert w elemencie Cast
• [SPARK-40007] [PYTHON][sql] Dodawanie trybu do funkcji
• [SPARK-40008] [SQL] Obsługa rzutowania liczb całkowitych do interwałów ANSI
• [SPARK-40003] [PYTHON][sql] Dodawanie "mediany" do funkcji
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand powinien ponownie zapisać relację wyników
• [SPARK-39951] [SQL] Aktualizacja sprawdzania kolumnowego Parquet V2 dla zagnieżdżonych pól
• [SPARK-33236] [shuffle] Backport do Databricks Runtime 11.x: Umożliwić usługę shuffle opartą na przesyłaniu do przechowywania stanu w bazie danych na poziomie NM dla restartu zachowującego pracę
• [SPARK-39836] [SQL] Uprość program V2ExpressionBuilder, wyodrębniając typową metodę.
• [SPARK-39873] [SQL] Usuwanie OptimizeLimitZero i scalanie go z EliminateLimits
• [SPARK-39961] [SQL] Rzutowanie z obsługą push-down w DS V2, jeśli rzutowanie jest bezpieczne
• [SPARK-39872] [SQL] Zmiana na użycie BytePackerForLong#unpack8Values z tablicowym API wejściowym w VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Usuń niepotrzebne AliasHelper lub PredicateHelper dla niektórych reguł
• [SPARK-39900] [SQL] Zajmowanie się częściowym lub negowanym warunkiem w przepychaniu predykatów formatu binarnego
• [SPARK-39904] [SQL] Zmień nazwę inferDate na preferujDate i wyjaśnij semantyka opcji w źródle danych CSV
• [SPARK-39958] [SQL] Dodawanie dziennika ostrzeżeń, gdy nie można załadować niestandardowego obiektu metryki
• [SPARK-39932] [SQL] WindowExec powinien wyczyścić bufor końcowej partycji
• [SPARK-37194] [SQL] Unikaj niepotrzebnego sortowania przy zapisie v1, jeśli nie jest to partycja dynamiczna
• [SPARK-39902] [SQL] Dodaj szczegóły skanowania do węzła skanowania planu Spark w SparkUI
• [SPARK-39865] [SQL] Pokaż odpowiednie komunikaty o błędach przepełnienia podczas wstawiania danych do tabeli
• [SPARK-39940] [SS] Odśwież tabelę katalogu dla zapytania strumieniowego z wykorzystaniem ujścia DSv1
• [SPARK-39827] [SQL] Używanie klasy błędu ARITHMETIC_OVERFLOW przy przepełnieniu typu int add_months()
• [SPARK-39914] [SQL] Dodaj konwersję filtru DS V2 do filtru w wersji 1
• [SPARK-39857] [SQL] Ręczne przeportowanie Databricks Runtime 11.x; V2ExpressionBuilder używa nieprawidłowego typu LiteralValue dla warunku In #43454
• [SPARK-39840] [SQL][python] Wyodrębnij PythonArrowInput jako symetrię do PythonArrowOutput
• [SPARK-39651] [SQL] Przycinanie warunku filtru, jeśli porównanie z funkcją rand jest deterministyczne
• [SPARK-39877] [PYTHON] Dodawanie elementu unpivot do interfejsu API ramki danych PySpark
• [SPARK-39909] [SQL] Organizowanie sprawdzania informacji wypychanych dla aplikacji JDBCV2Suite
• [SPARK-39834] [SQL][ss] Uwzględnij statystyki źródła i ograniczenia dla LogicalRDD, jeśli pochodzą z DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) wypełnia brakujące nowe kolumny z wartością null
• [SPARK-39860] [SQL] Więcej wyrażeń powinno rozszerzać predykat
• [SPARK-39823] [SQL][python] Zmień nazwę Dataset.as na Dataset.to i dodaj DataFrame.to w PySpark
• [SPARK-39918] [SQL][pomocnicza] Zastąp wyraz "nieporównywalny" ciągiem "nieporównywalny" w komunikacie o błędzie
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu In
• [SPARK-39862] [SQL] Ręczne przenoszenie wstecz dla PR 43654 dla Databricks Runtime 11.x: Aktualizacja SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, aby umożliwić/zabronić ALTER TABLE ... Dodawaj polecenia COLUMN oddzielnie.
• [SPARK-39844] [SQL] Ręczne backportowanie dla PR 43652 dla Databricks Runtime 11.x
• [SPARK-39899] [SQL] Napraw przekazywanie parametrów komunikatu do InvalidUDFClassException
• [SPARK-39890] [SQL] Spraw, aby TakeOrderedAndProjectExec dziedziczył AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Obsługa obiektu CharType w narzędziu PySpark
• [SPARK-38864] [SQL] Dodaj unpivot / melt do zestawu danych
• [SPARK-39864] [SQL] Leniwie zarejestruj ExecutionListenerBus
• [SPARK-39808] [SQL] Obsługa trybu funkcji agregującej
• [SPARK-39875] [SQL] Zmień protected metodę w klasie końcowej na private lub package-visible
• [SPARK-39731] [SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu zasad poprawionego analizatora czasu.
• [SPARK-39805] [SS] Wycofanie trigger.Once i promowanie trigger.AvailableNow
• [SPARK-39784] [SQL] Umieść wartości literałów po prawej stronie filtra źródła danych po przetłumaczeniu wyrażenia Catalyst na filtr źródła danych
• [SPARK-39672] [SQL][3.1] Naprawa problemu z usuwaniem projektu przed filtrem w kontekście skorelowanego podzapytania
• [SPARK-39552] [SQL] Ujednolicenie wersji 1 i 2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists powinna obsługiwać zagnieżdżoną przestrzeń nazw
• [SPARK-37287] [SQL] Wydzielenie dynamicznej partycji i sortowania według kubełków z pliku FileFormatWriter
• [SPARK-39469] [SQL] Określanie typu daty dla wnioskowania schematu CSV
• [SPARK-39148] [SQL] Wypychanie agregacji w DS V2 może współpracować z OFFSET lub LIMIT
• [SPARK-39818] [SQL] Naprawiono usterkę w typach ARRAY, STRUCT i MAP z wartościami DOMYŚLNYmi z polami NULL
• [SPARK-39792] [SQL] Dodaj funkcję DecimalDivideWithOverflowCheck dla średniej dla liczb dziesiętnych
• [SPARK-39798] [SQL] Zastąp toSeq.toArray na .toArray[Any] w konstruktorze GenericArrayData
• [SPARK-39759] [SQL] Implementowanie indeksów list w JDBC (dialekt H2)
• [SPARK-39385] [SQL] Obsługuje popychanie w dół REGR_AVGX i REGR_AVGY
• [SPARK-39787] [SQL] Użyj klasy błędu w przypadku błędu analizowania funkcji to_timestamp
• [SPARK-39760] [PYTHON] Obsługa platformy Varchar w PySpark
• [SPARK-39557] [SQL] Ręczne backportowanie do środowiska Databricks Runtime 11.x: Obsługa typów tablic, struktur, mapy jako wartości domyślnych
• [SPARK-39758] [SQL][3.3] Naprawa NPE w funkcjach regexp z powodu nieprawidłowych wzorców
• [SPARK-39749] [SQL] Tryb SQL ANSI: użyj reprezentacji zwykłego ciągu podczas konwersji wartości dziesiętnej na ciąg znaków
• [SPARK-39704] [SQL] Implementowanie funkcji createIndex & dropIndex i indexExists w JDBC (dialekt H2)
• [SPARK-39803] [SQL] Użyj LevenshteinDistance zamiast StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Obsługa typu TimestampNTZ w źródle danych JDBC
• [SPARK-39781] [SS] Dodano obsługę udostępniania max_open_files dostawcy magazynu stanów bazy danych Rocksdb
• [SPARK-39719] [R] Implementacja databaseExists/getDatabase w SparkR z obsługą przestrzeni nazw 3L
• [SPARK-39751] [SQL] Zmień nazwę metryki agregacji kluczy skrótu
• [SPARK-39772] [SQL] Przestrzeń nazw powinna mieć wartość null, gdy baza danych ma wartość null w starych konstruktorach
• [SPARK-39625] [ SPARK-38904][sql] Add Dataset.as(StructType)
• [SPARK-39384] [SQL] Kompilowanie wbudowanych funkcji agregacji regresji liniowej dla dialektu JDBC
• [SPARK-39720] [R] Implementowanie tableExists/getTable w usłudze SparkR dla przestrzeni nazw 3L
• [SPARK-39744] [SQL] REGEXP_INSTR Dodawanie funkcji
• [SPARK-39716] [R] Zrób tak, by currentDatabase/setCurrentDatabase/listCatalogs w SparkR obsługiwało przestrzeń nazw 3L
• [SPARK-39788] [SQL] Zmień nazwę catalogName na dialectName dla JdbcUtils
• [SPARK-39647] [CORE] Zarejestrować wykonawcę w ESS przed zarejestrowaniem BlockManagera
• [SPARK-39754] [CORE][sql] Usuń nieużywane import lub niepotrzebne {}
• [SPARK-39706] [SQL] Ustaw brakującą kolumnę z wartością defaultValue jako stałą w ParquetColumnVector
• [SPARK-39699] [SQL] Udoskonalenie CollapseProject dla bardziej inteligentnego tworzenia wyrażeń kolekcji
• [SPARK-39737] [SQL] PERCENTILE_CONT i PERCENTILE_DISC powinien obsługiwać filtr agregowany
• [SPARK-39579] [SQL][python][R] Umożliwienie kompatybilności ListFunctions/getFunction/functionExists z trójwarstwową przestrzenią nazw
• [SPARK-39627] [SQL] Przesuwanie JDBC V2 powinno ujednolicić interfejs API kompilacji
• [SPARK-39748] [SQL][ss] Uwzględnij plan logiczny źródła dla LogicalRDD, jeśli pochodzi z DataFrame
• [SPARK-39385] [SQL] Tłumaczenie funkcji agregacji regresji liniowej na potrzeby wypychania
• [SPARK-39695] [SQL] REGEXP_SUBSTR Dodawanie funkcji
• [SPARK-39667] [SQL] Dodaj inne obejście, jeśli nie ma wystarczającej ilości pamięci do skompilowania i emisji tabeli
• [SPARK-39666] [ES-337834][sql] Użyj UnsafeProjection.create, aby spełniać spark.sql.codegen.factoryMode w ExpressionEncoder
• [SPARK-39643] [SQL] Zakaz wyrażeń podzapytania w wartościach domyślnych
• [SPARK-38647] [SQL] Dodaj SupportsReportOrdering jako domieszkę w interfejsie dla Scan (DataSourceV2)
• [SPARK-39497] [SQL] Poprawa wyjątków analizy w przypadku braku kolumny klucza mapy
• [SPARK-39661] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
• [SPARK-39713] [SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL]Usługa DS w wersji 2 obsługuje funkcje wypychania daty/godziny
• [SPARK-39638] [SQL] Zmiana sposobu użycia ConstantColumnVector do przechowywania kolumn partycji w OrcColumnarBatchReader
• [SPARK-39653] [SQL] Usuń ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) z ColumnVectorUtils
• [SPARK-39231] [SQL] Użyj ConstantColumnVector zamiast On/OffHeapColumnVector do przechowywania kolumn partycji w VectorizedParquetRecordReader
• [SPARK-39547] [SQL] Element V2SessionCatalog nie powinien zgłaszać wyjątku NoSuchDatabaseException w elemenie loadNamspaceMetadata
• [SPARK-39447] [SQL] Unikaj błędu AssertionError w metodzie AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Przeróbka MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec powinien uwzględniać kolejność wyjściową elementów podrzędnych
• [SPARK-39606] [SQL] Używanie statystyk podrzędnych do szacowania operatora zamówienia
• [SPARK-39611] [PYTHON][ps] Naprawić nieprawidłowe aliasy w array_ufunc
• [SPARK-39656] [SQL][3.3] Naprawienie nieprawidłowej przestrzeni nazw w DescribeNamespaceExec
• [SPARK-39675] [SQL] Przełącz konfigurację "spark.sql.codegen.factoryMode" z celu testowania do celu wewnętrznego
• [SPARK-39139] [SQL] DS V2 obsługuje przesuwanie w dół DS V2 UDF
• [SPARK-39434] [SQL] Podaj kontekst zapytania dotyczący błędu czasu wykonania, gdy indeks tablicy wykracza poza zakres
• [SPARK-39479] [SQL] DS w wersji 2 obsługuje optymalizację funkcji matematycznych (niezgodne z ANSI)
• [SPARK-39618] [SQL] REGEXP_COUNT Dodawanie funkcji
• [SPARK-39553] [CORE] wielowątkowe wyrejestrowanie tasowania nie powinno rzucać NullPointerException (NPE) podczas używania Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Dodawanie pliku w celu rozwiązania problemu brakujących ogólnych funkcji pandas
• [SPARK-39444] [SQL] Dodawanie funkcji OptimizeSubqueries do listy nonExcludableRules
• [SPARK-39316] [SQL] Scalanie funkcji PromotePrecision i CheckOverflow w arytmetykę binarną dziesiętną
• [SPARK-39505] [Interfejs użytkownika] Zawartość dziennika ucieczki renderowana w interfejsie użytkownika
• [SPARK-39448] [SQL] Dodaj ReplaceCTERefWithRepartition do nonExcludableRules listy
• [SPARK-37961] [SQL] Zastąp maxRows/maxRowsPerPartition dla niektórych logicznych operatorów
• [SPARK-35223] Przywracanie dodawania problemuNavigationLink
• [SPARK-39633] [SQL] Obsługa znacznika czasowego w sekundach dla TimeTravel przy użyciu opcji DataFrame
• [SPARK-38796] [SQL] Zaktualizuj dokumentację dotyczącą formatów liczb za pomocą funkcji {try_}to_number
• [SPARK-39650] [SS] Naprawiono błędny schemat danych w deduplikacji przesyłania strumieniowego z zachowaniem zgodności wstecznej
• [SPARK-39636] [CORE][ui] Naprawiono wiele usterek w JsonProtocol, które wpływają na poziomy przechowywania (StorageLevels) i żądania zasobów zadania/wykonawcy (Task/Executor ResourceRequests)
• [SPARK-39432] [SQL] Zwracanie ELEMENT_AT_BY_INDEX_ZERO z element_at(*, 0)
• [SPARK-39349] Dodać scentralizowaną metodę CheckError dla zapewnienia jakości ścieżki błędów
• [SPARK-39453] [SQL] DS V2 obsługuje przesuwanie w dół różnych nieagregujących funkcji (nienależących do ANSI)
• [SPARK-38978] [SQL] DS V2 obsługuje operator push downOFFSET
• [SPARK-39567] [SQL] Obsługa interwałów ANSI w funkcjach percentylu
• [SPARK-39383] [SQL] Obsługa kolumn DOMYŚLNYCH w ALTER TABLE ALTER COLUMNS dla źródeł danych w wersji 2
• [SPARK-39396] [ SQL] Naprawienie wyjątku logowania LDAP "kod błędu 49 — nieprawidłowe poświadczenia"
• [SPARK-39548] [SQL] Polecenie CreateView z zapytaniem zawierającym klauzulę okna napotkało problem: nie znaleziono nieprawidłowej definicji okna.
• [SPARK-39575] [AVRO] dodaj funkcję ByteBuffer#rewind po ByteBuffer#get w Avr...
• [SPARK-39543] Opcja DataFrameWriterV2 powinna zostać przekazana do właściwości magazynu w przypadku powrotu do wersji 1
• [SPARK-39564] [SS] Ujawnia informacje tabeli katalogu w planie logicznym w zapytaniu przesyłanym strumieniowo
• [SPARK-39582] [SQL] Popraw znacznik "Since" dla array_agg
• [SPARK-39388] [SQL] Ponowne użycie orcSchema przy przesuwaniu w dół predykatów Orc
• [SPARK-39511] [SQL] Ulepszenie lokalnego limitu 1 dla prawej strony lewego półłączenia/antyłączenia, jeśli warunek łączenia jest pusty
• [SPARK-38614] [SQL] Nie wypychaj limitu przez okno korzystające z percent_rank
• [SPARK-39551] [SQL] Dodaj sprawdzanie nieprawidłowego planu AQE
• [SPARK-39383] [SQL] Obsługa kolumn DOMYŚLNYCH w ALTER TABLE ADD COLUMNS do źródeł danych V2
• [SPARK-39538] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
• [SPARK-39383] [SQL] Ręczne przeniesienie do środowiska Databricks Runtime 11.x: refaktoryzacja obsługi kolumny DEFAULT, aby zrezygnować z przekazywania głównego analizatora.
• [SPARK-39397] [SQL] Zrelaksuj aliasAwareOutputExpression, aby obsługiwać alias za pomocą wyrażenia
• [SPARK-39496] [SQL] Obsługa struktury null w pliku Inline.eval
• [SPARK-39545] [SQL] Zastąp metodę concat w ExpressionSet w Scali 2.13, aby zwiększyć wydajność
• [SPARK-39340] [SQL] Funkcja DS v2 agg pushdown powinna zezwalać na kropki w nazwie kolumn najwyższego poziomu
• [SPARK-39488] [SQL] Upraszczanie obsługi błędów obiektu TempResolvedColumn
• [SPARK-38846] [SQL] Dodaj jawne mapowanie danych między typem liczbowym Teradata a typem DecimalType Spark
• [SPARK-39520] [SQL] Przesłoń -- metodę dla ExpressionSet w Scala 2.13
• [SPARK-39470] [SQL] Obsługa rzutowania interwałów ANSI na liczby dziesiętne
• [SPARK-39477] [SQL] Usuń informacje o "liczbie zapytań" ze złotych plików aplikacji SQLQueryTestSuite
• [SPARK-39419] [SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
• [SPARK-39061] [SQL] Ustaw prawidłowo nullowalność dla Inline atrybutów wyjściowych
• [SPARK-39320] [SQL] Obsługa funkcji agregującej MEDIAN
• [SPARK-39261] [CORE] Ulepszanie formatowania nowego wiersza dla komunikatów o błędach
• [SPARK-39355] [SQL] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE powinien zredagować właściwości
• [SPARK-37623] [SQL] Obsługa funkcji agregującej ANSI: regr_intercept
• [SPARK-39374] [SQL] Ulepszanie komunikatu o błędzie dla listy kolumn określonej przez użytkownika
• [SPARK-39255] [SQL][3.3] Ulepszanie komunikatów o błędach
• [SPARK-39321] [SQL] Refaktoryzacja operatora TryCast w celu użycia elementu RuntimeReplaceable
• [SPARK-39406] [PYTHON] Akceptowanie tablicy NumPy w elemecie createDataFrame
• [SPARK-39267] [SQL] Czyszczenie niepotrzebnego symbolu dsl
• [SPARK-39171] [SQL] Ujednolicenie wyrażenia rzutowania
• [SPARK-28330] [SQL] Obsługa języka ANSI SQL: klauzula przesunięcia wyniku w wyrażeniu zapytania
• [SPARK-39203] [SQL] Przepisanie lokalizacji tabeli na bezwzględny identyfikator URI na podstawie identyfikatora URI bazy danych
• [SPARK-39313] [SQL] toCatalystOrdering powinien zakończyć się niepowodzeniem, jeśli nie można przetłumaczyć V2Expression
• [SPARK-39301] [SQL][python] Korzystanie z właściwości LocalRelation i uwzględnianie rozmiaru partii strzałki w elemenie createDataFrame z optymalizacją strzałek
• [SPARK-39400] [SQL] Spark SQL powinno usunąć katalog zasobów Hive w każdym przypadku

Aktualizacje konserwacji

Zobacz aktualizacje konserwacyjne środowiska Databricks Runtime 11.2.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

Zainstalowane biblioteki Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki Microsoft CRAN w wersji 2022-08-15.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)