header image
 

Obsługa danych hierarchicznych z użyciem PL/pgSQL


Wstęp

Pracując z bazami danych często ma się do czynienia z danymi hierarchicznymi. Oznacza to, że struktura rekordów przypomina drzewo. Każdy element może mieć maksymalnie jednego rodzica (jeśli nie ma rodzica to nazywany jest korzeniem drzewa), jak również dowolną ilość dzieci. Przodkami elementu nazywamy jego rodzica, rodzica jego rodzica, rodzica rodzica jego rodzica, itd. Natomiast potomkami nazywamy dzieci elementu, dzieci jego dzieci, itd.

Struktura bazy danych

Istnieje wiele metod przechowywania danych hierarchiczny w relacyjnych bazach danych. Najprostsza polega na dodaniu do rekordu pola wskazującego element który jest rodzicem (jest to zwykle klucz obcy odnoszący się do klucza głównego rodzica lub NULL jeśli mamy do czynienia z korzeniem). Jest to bardzo prosta struktura, którą bardzo łatwo zaimplementować.

Poniższym przykład pokazuje prostą hierarchiczną strukturę danych. Warto zwrócić uwagę na narzucone więzy integralności.


CREATE TABLE tree (
  id INTEGER PRIMARY KEY,
  parent INTEGER
    REFERENCES tree(id)
    ON DELETE CASCADE,
  value VARCHAR(100)
);
INSERT INTO tree VALUES (1,   NULL, 'a');
INSERT INTO tree VALUES (2,   NULL, 'b');
INSERT INTO tree VALUES (11,  1,    'aa');
INSERT INTO tree VALUES (111, 11,   'aaa');
INSERT INTO tree VALUES (112, 11,   'aab');
INSERT INTO tree VALUES (12,  1,    'ab');
INSERT INTO tree VALUES (121, 12,   'aba');
INSERT INTO tree VALUES (122, 12,   'abb');
INSERT INTO tree VALUES (21,  2,    'ba');
INSERT INTO tree VALUES (211, 21,   'baa');

Wiele prostych operacji da się wykonać na tej strukturze za pomocą nie skąplikowanych zapytań SQL. Poniższe przykłady pokazują operacje dla rekordu, którego wartość wynosi ‘ab’. Warto zwrócić uwagę na usuwanie danych (za pomocą instrukcji DELETE) - dzięki użyciu konstrukcji ON DELETE CASCADE podczas tworzenia tabeli baza zapewnia nam automatyczne usuwanie wszystkich potomków usuwanego rekordu.


-- pobranie klucza rodzica
SELECT parrent FROM tree WHERE value = 'ab';
-- pobranie rodzica
SELECT * FROM tree WHERE id = (
  SELECT parent FROM tree WHERE value = 'ab'
);
-- pobranie dzieci
SELECT * FROM tree WHERE parent = (
  SELECT id FROM tree WHERE value = 'ab'
);
-- zmiana rodzica elementu
UPDATE tree
  SET parent = (SELECT id FROM tree WHERE value = 'b')
  WHERE value = 'ab';
-- usuniecie elementu i wszystkich jego potomków
DELETE FROM tree WHERE value = 'ab';

Pobieranie przodków i potomków

Niestety w tej strukturze danych pobieranie przodków i potomków jest bardziej skomplikowane. Zwykle aby rozwiązać ten problem stosuje się wielokrotne wywoływanie zapytań SQL z poziomu aplikacji korzystającej z bazy danych. Niestety jest to rozwiązanie wolniejsze od zastosowania pojedynczego wywołania.

Jeśli korzystamy z bazy danych PostgreSQL to możemy rozwiązać ten problem poprzez wykorzystanie języka PL/pgSQL.

Pobieranie przodków (ancestors)

Poniższy funkcja zwraca ciąg kluczy rekordów na ścieszce od klucza podanego jako argument do korzenia danego drzewa.


CREATE OR REPLACE FUNCTION tree_ancestors(
  start_id int
) RETURNS SETOF int AS $$
DECLARE
  cid int := start_id;
BEGIN
  WHILE cid IS NOT NULL LOOP
    RETURN NEXT cid;
    SELECT parent INTO cid FROM tree WHERE tree.id = cid;
  END LOOP;
END;
$$ LANGUAGE plpgsql strict;

-- przykłady użycia:
-- pobranie samych numerów przodków
SELECT * FROM tree_ancestors(111);
SELECT t FROM tree_ancestors(111) AS t;
-- pobranie głebokości w drzewie (1 == korzen)
SELECT count(*) FROM tree_ancestors(111);
-- pobranie całych rekordów przodków
SELECT id, parent, value
  FROM tree_ancestors(111) AS t JOIN tree ON t = tree.id;

Pobieranie potomków (descendants)

Poniższy funkcja zwraca ciąg kluczy rekordów potomków danego rekordu. Kolejność wyników jest typowa dla wyszukiwania wszerz.
Oznacza to, że najpierw są zwracane dzieci rekordu, dopiero potem dzieci tych dzieci, itd.


CREATE OR REPLACE FUNCTION tree_descendants(
  start_id int
) RETURNS SETOF int AS $$
DECLARE
  rec RECORD;
  current INT[];
  build INT[];
  tmp INT;
BEGIN
  build := ARRAY[0];
  current := ARRAY[0, start_id];
  WHILE current > ARRAY[0] LOOP
    build := ARRAY[0];
    FOR i IN 2..array_upper(current, 1) LOOP
      tmp := current[i];
      FOR rec IN SELECT * FROM tree WHERE parent = tmp LOOP
        RETURN NEXT rec.id;
        build := build || rec.id;
      END LOOP;
    END LOOP;
    current := build;
  END LOOP;
END;
$$ LANGUAGE plpgsql strict;

– przykłady użycia:
– pobranie numerów potomków
SELECT * FROM tree_descendants(1);
SELECT t FROM tree_descendants(1) AS t;
– pobranie ilości potomków
SELECT count(*) FROM tree_descendants(1);
– pobranie całych rekordów potomków
SELECT id, parent, value
  FROM tree_descendants(1) AS t JOIN tree ON t = tree.id;

Podsumowanie

Kilka ogólnych uwag dotyczących korzystania z PL/pgSQL do obsługi tej struktury danych:

  • wykorzystanie PL/pgSQL wiąże nas z bazą PostgreSQL
  • bardzo trudno było by korzystać z tej metody za pomocą ORM
  • jeśli mamy zamiar korzystać ze zliczania przodków a zwłaszcza potomków to zalecane by było napisać funkcje bardziej dostosowane do tego celu

RINQ - Ruby Integrated Query Language

Cele

Już od dłuższego czasu odchodzi się od pisania zapytań do baz danych poprzez pisanie zapytań SQL. Ma to wiele przyczyn, wśród nich można wymienić:

  • niezgodność pomiędzy modelem relacyjnym a obiektowym
  • brak przenośności - niestety SQL nie jest standardem, różne bazy danych mają własną składnię, często mocno się różniącą
  • kolejny język do nauki
  • zagrożenie SQL Injection

Wszystkie te problemy rozwiązuje Mapowanie Obiektowo-Relacyjne (ORM - Object-Relational Mapping). Lecz istnieje jeszcze jeden zagadnienie, którym warto by się zająć:

  • obsługa wyłącznie baz danych

Istnieje wiele różnych źródeł danych, nie tylko relacyjne bazy danych. Odwołujemy się do nich bardzo często w ten sam sam sposób. Wybieramy tylko te elementy kolekcji które są nam potrzebne, wybieramy potrzebne pola elementów, sortujemy wedle zadanych kryteriów. Czy można korzystać z różnych danych w ten sam sposób?

LINQ - Language Integrated Query

LINQ to technika dostępna w .NET (np. z poziomu języka C#). Umożliwia ona tworzenie zapytań zintegrowanych z językiem z którego korzystamy.

Jej zadaniem jest ujednolicenie sposobu dostępu do danych z różnych źródeł. Przykładowe zapytania:

  • Obiekty w aplikacji
    
    int[] numbers = { 5, 4, 1, 3, 9, 8, 6, 7, 2, 0 };
    
    var q =
      from n in numbers
      where n < 5
      select n;
    
  • Dane XML
    
    XElement doc = XElement.Load(@"numbers.xml");
    var q = new XElement("numbers",
      from n in doc.Elements("number")
      where (int) n < 5
      select new XElement("number", n)
      )
    );
    
  • Bazy danych
    
    Database db = Database(...)
    var q =
      from n in db.numbers
      where n.number < 5
      select new {n.number};
    

Przegląd możliwości języka Ruby

Odpowiedniki LINQ da się stworzyć w wielu językach. Ale w Ruby będzie to implementacja nie tylko działająca ale też dająca możliwość tworzenia czytelnego kodu.

DSL - Domain-specific programming language

Języki dziedzinowe w odróżnieniu od języków ogólnych (takich jak C, Java czy Python) są wysokowyspecjalizowane i tworzone to rozwiązywania konkretnych problemów. Dzięki temu są dobrze dopasowane do określonych zadań, a przez to wygodne w stosowaniu. Pozwala to na przyśpieszenie pracy z nimi.

Języki dziedzinowe wcale nie są czymś nowym. Stykamy się z nimi codzienne i wydają się nam tak oczywiste że nie dostrzegamy czym są. Warto więc wymienić kilka przykładów:

  • znaki drogowe
  • notacja muzyczna
  • wyrażenia regularne
  • pliki Makefile

DSL jest bardzo często stosowany w języku Ruby. Przykładem tego może być ActiveRecord dostępny w Ruby On Rails. Przykładowy model:


class Post < ActiveRecord::Base
  has_many :comments
  has_and_belongs_to_many :tags
end

Metaprogramowanie

Metaprogramowanie dało by się streścić jako programy piszące programy. W Ruby, jako że jest on językiem dynamicznym, program może zmieniać nawet swój własny kod podczas działania. Najczęściej służy temu funkcja eval:


name = 'plus'
op = '+'
a = "def #{name}(a, b) a #{op} b end"
eval(a)
plus(1,2)

Symbole


'very_long_name'

:very_long_name

Symbole bywają (błędnie) nazywane lekkimi stringami. Bardzo często stosuje się je jako klucze w słownikach.

Atrybuty - settery, gettery


class Cos
  def a
    @a
  end
  def a=(value)
    @a = value
  end
end

class Cos
  attr_accesor :a
end

Pomijanie nawiasów w wywołaniu funkcji


c = Cos.new()
c.a=(7)
puts c.a()

funkcja({'a'=>'Ala', b=>'Beata'})

inna_funkcja(3.14, {'a'=>'Ala'})

c = Cos.new
c.a = 7
puts c.a

funkcja 'a'=>'Ala', b=>'Beata'

inna_funkcja 3.14, 'a'=>'Ala'

Jeśli nie spowoduje to niejednoznaczności to można usunąć nawiasy z wywołania funkcji. Dzięki temu oszczędza się kilku znaków oraz sprawia, że kod wygląda czytelniej.

Ruby nie posiada argumentów w postaci słów kluczowych tak jak Python. Można je jednak jest bardzo łatwo zastąpić używając słowników z pominiętymi nawiasami klamrowymi. W takich konstrukcjach bardzo często używa się symboli.

Otwarte moduły


module Kernel
  def query()
    puts 'this is query'
  end
end

Moduły można łatwo modyfikować. Jeśli coś dodamy do modułu Kernel

Otwarte klasy


class Fixnum
  def hours
    self * 3600
  end
  alias hour hours
end

Time.mktime(2006, 01, 01) + 14.hours

Metody można nie tylko dodawać ale też zamieniać (korzystając z aliasów).

Otwarte obiekty


a = 'hello'

class <<a
  def to_s
    "<#{self}>"
  end
end

Brakujące metody


class Cos
  def method_missing(method_name, *args)
    method_name = method_name.to_s
    if method_name[0..3] == 'say_'
      puts method_name[4..-1]
    else
      raise NoMethodError, "`#{method_name}' in #{self}"
    end
  end
end

Domknięcia


def two_times()
  if block_given?
    yield
    yield
  end
end
two_times { puts 'Hello'}

[1,2,3,4].delete_if {|a| a % 2 == 0}

RINQ

Pozwolę sobie przedstawić tu dwie propozycje propozycje RINQ. Są one autorstwa Stena Friedricha z Technische Fachhochschule Berlin.

Operatory zapytań

Pierwsza metoda przypomina trochę korzystanie z cout w C++, lub Django ORM. Wywołujemy po koleji ciąg funkcji z których każda zwraca ten sam obiekt, lecz zmodyfikowany przez to wywołanie.


customernames = customers.
  qwhere   {|c| c.address.city == "Torun"}.
  qselect  {|c| {:firstname => c.firstname,
                 :lastname => c.lastname}}.
  qorderby {|c| c.lastname}

Wyrażenia zapytań

Tu wkracza DSL. Przykład takiej implementacji autorstwa Petera Vanbroekhovena jest How to create a Domain Specific Language? - Metaprogramming in Ruby.


customerfirstnames = query do
  qfrom :c => customers
  qwhere c.lastname == "Kowalski"
  qselect c.firstname
end

Slajdy

RINQ - slajdy