Python DB API – Korzystanie z relacyjnych baz danych w Pythonie



Wprowadzenie

Python posiada – jak każdy porządny język programowania – zunifikowany interfejs dostępu do relacyjnych baz danych. Koncepcyjnie jest on zbliżony do JDBC (Java DataBase Connectivity), lecz dzięki wykorzystaniu możliwości Pythona o wiele prostrzy.

W chwili obecnej obowiązuje Python Database API v2.0 (znane też jako PEP 249). Jest ona rozwinięciem Python Database API v1.0 (PEP 248).

Prosty przykład

Oto prosty przykład kodu wyświetlającego całą zawartość tabeli test. Korzystam z nim z relacyjnej bazy danych SQLite. Jej obsługa jest standardowo dostępna w Pythonie począwszy od wersji 2.5.

import sqlite3
db = sqlite3.connect('dbapi.db')
cur = db.cursor()

cur.execute('SELECT * FROM `test`')
print cur.rowcount
for i in cur.fetchall():
    print  i

db.close()

W pierwszej linii importujemy moduł obsługi wybranej przez nas bazy danych. Warto zwrócić uwagę, że niektóre bazy danych mają więcej niż jeden dostępny moduł (przykładowo PostgreSQL ma psycopg oraz psycopg2). Moduły dla większości baz trzeba samemu zainstalować.

W drugiej linii nawiązujemy połączenie z bazą. Paramatry jakie przekazujemy funkcji connect zależą od wybranej bazy danych. W przypadku SQLite jest to tylko nazwa pliku w którym przechowywane są dane. Innym bazą trzeba przekazać często o wiele więcej informacji (zwykle: nazwę bazy danych, adres maszyny na której się ona znajduje, nazwę użytkownika i jego hasło).

W trzeciej linii tworzymy kursor. Będziemy za jego pomocą wysyłali zapytania do bazy danych i odbierali z niej ich wyniki.

W piątej linii wysyłamy do bazy zapytanie. Warto zwrócić uwagę, że treść zapytania (tzn 'SELECT * FROM `test`') nie jest ujednolicana i zależy od bazy z jakiej korzystamy.

W szóstej linii wyświetlamy ile wierszy wyniku uzyskaliśmy.

W siódmej i ósmej linii pobieramy wszystkie wiersze wyniku do tablicy (robi to cur.fetchall()), a następnie wyświetlamy każdy wiersz w nowej linii.

W dziesiątej linii zamykamy połączenie z bazą danych.

Skrócony opis API

Interface modułu

connect(parametry...)
Łączy się z bazą danych wskazana poprzez parametry. Zwraca obiekt połączenia.
paramstyle

Określa sposób w jaki w zapytaniach wskazuje się miejsce na parametry.

Nie należy tworzyć zapytania przez konkatenację fragmentów SQL i parametrów. Tak stworzony kod jest podatny na ataki SQL injection.

'qmark'
cur.execute('SELECT * FROM `test` WHERE ' +
    'name = ? AND salary > ?',
    ('Adam', 1000) )
'numeric'
cur.execute('SELECT * FROM `test` WHERE ' +
    'name = :1 AND salary > :2',
    ('Adam', 1000) )
'named'
cur.execute('SELECT * FROM `test` WHERE ' +
    'name = :nm AND salary > :sal',
    {'nm': 'Adam', 'sal': 1000} )
'format'
cur.execute('SELECT * FROM `test` WHERE ' +
    'name = %s AND salary > %d',
    ('Adam', 1000) )
'pyformat'
cur.execute('SELECT * FROM `test` WHERE ' +
    'name = %(nm)s AND salary > %(sal)d',
    {'nm': 'Adam', 'sal': 1000} )

Wyjątki

Poniżej opisana jest hierarchia wyjątków.

Warning
Wyrzucany gdy nastąpi ważne ostrzeżenie.
Error
Klasa bazowa dla pozostałych błędów.

InterfaceError
Wyrzucany gdy błąd nastąpił w interfejsie bazy danych, a nie w samej bazie danych.
DatabaseError
Wyrzucany gdy błąd nastapił wewnątrz bazy danych.

DataError
Wyrzucany gdy pojawią się niepoprawne dane, przykładowo liczby z poza obsługiwanego zakresu, napisy dłuższe niż pole na nie przeznaczone.
OperationalError
Wyrzucany gdy pojawią się błędy w trakcie przetwarzania transakcji, nastąpi nagłe rozłączenie. W praktyce bywa wyrzucany również w przypadku gdzie powinien być zastosowany ProgrammingError.
IntegrityError
Wyrzucany gdy zachodzi próba przekroczenia więzów integralności, typu ustawienie już istniejącej wartości w kolumnie, której wartości powinny być unikalne lub ustawienie nieprawidłowego klucza obcego.
InternalError
Wywoływany gdy w bazie wystąpi wewnętrzny problem.
ProgrammingError
Wyrzucany gdy pojawią się odwołania do nieistniejących tabel, próby stworzenia już istniejących, itp.
NotSupportedError
Wyrzucany gdy nastąpi próba skorzystania z metody nie obsługiwanej przez bazę danych (przykładowo rollback() w bazie bez wsparcia transakcji).

Obiekt połączenia (connection)

close()
Zamyka połączenie z bazą danych. Automatycznie zamyka również wszystkie kursory z niego korzystające. Zamknięcie połączenia bez uprzedniego zatwierdzenia transakcji spowoduje jej wycofanie.
commit()
Zatwierdza transakcje. Metoda istnieje tylko w bazach obsługujących transakcje.
rollback()
Wycofuje transakcje. Metoda istnieje tylko w bazach obsługujących transakcje.
cursor()
Zwraca nowy kursor powiązany z tym połączeniem. W razie potrzeby może być emulowane.

Obiekt kursora (cursor)

Informacje o wyniku

description
Lista opisów poszczególnych kolumn odpowiedzi. Opis pojedynczej kolumny zawiera kolejno elementy:

name
nazwa kolumny – element obowiązkowy, musi być ustawiony
type_code
typ kolumny – element obowiązkowy, musi być ustawiony
display_size
internal_size
precision
scale
null_ok
False jeśli kolumna ma atrybut NOT NULL, True w przeciwnym wypadku

Elementy które nie są ustawione mają wartość None.

rowcount
Liczba zwróconych wierszy w przypadku SELECT, lub liczba stworzonych/zmienionych/usuniętych wierszy w przypadku INSERT / UPDATE / DELETE. Jeśli nie można ustalić ilość wierszy ostatniej instrukcji to rowcount jest ustawione na -1.

Wysyłanie zapytań

execute(operation[, parameters])
Tworzy i wywołuje zapytanie w bazie danych. Opcjonalny argument parameters może być (w zależności od paramstyle) sekwencją lub słownikiem. Wyniki zapytania są dostępne za pomocą kursora.
executemany(operation, seq_of_parameters)
Tworzy i wywołuje wielokrotne zapytanie w bazie danych. Zasadniczo działa jak poniższy kod (ale umożliwia lepszą optymalizację):

for parameters in seq_of_parameters:
    execute(operation, parameters)

Pobieranie danych

Po wykonaniu zapytania pobierającego dane z bazy należy je z niej odebrać.

fetchone()
Pobierana następny wiersz z wyniku zapytania, zwracając pojedynczą sekwencję, lub None kiedy wszystkie dane zostały już pobrane. Przykład użycia tej metody do pobrania wszystkich elementów z kursora

row = cur.fetchone()
while row is not None:
    print row
    row = cur.fetchone()
fetchmany([size=cursor.arraysize])
Pobiera pewną określoną poprzez argument size ilość elementów. Jeśli argument nie jest jawnie podany to zostaje użyta wartość cursor.arraysize.
fetchall()
Pobiera wszystkie (z tych, które oczekują na pobranie) wiersze z wyniku zapytania. Zwraca sekwencję sekwencji.

Inne

callproc(procname[, parameters])
Wywołuje procedurę składowaną. Dostępne tylko w niektórych bazach danych.
close()
Zamyka kursor, od tej pory nie można z niego korzystać.

RINQ – Ruby Integrated Query Language

Cele

Już od dłuższego czasu odchodzi się od pisania zapytań do baz danych poprzez pisanie zapytań SQL. Ma to wiele przyczyn, wśród nich można wymienić:

  • niezgodność pomiędzy modelem relacyjnym a obiektowym
  • brak przenośności – niestety SQL nie jest standardem, różne bazy danych mają własną składnię, często mocno się różniącą
  • kolejny język do nauki
  • zagrożenie SQL Injection

Wszystkie te problemy rozwiązuje Mapowanie Obiektowo-Relacyjne (ORM – Object-Relational Mapping). Lecz istnieje jeszcze jeden zagadnienie, którym warto by się zająć:

  • obsługa wyłącznie baz danych

Istnieje wiele różnych źródeł danych, nie tylko relacyjne bazy danych. Odwołujemy się do nich bardzo często w ten sam sam sposób. Wybieramy tylko te elementy kolekcji które są nam potrzebne, wybieramy potrzebne pola elementów, sortujemy wedle zadanych kryteriów. Czy można korzystać z różnych danych w ten sam sposób?

LINQ – Language Integrated Query

LINQ to technika dostępna w .NET (np. z poziomu języka C#). Umożliwia ona tworzenie zapytań zintegrowanych z językiem z którego korzystamy.

Jej zadaniem jest ujednolicenie sposobu dostępu do danych z różnych źródeł. Przykładowe zapytania:

  • Obiekty w aplikacji
    int[] numbers = { 5, 4, 1, 3, 9, 8, 6, 7, 2, 0 };
    
    var q =
      from n in numbers
      where n < 5
      select n;
    &#91;/sourcecode&#93;
    
    </li>
    
    <li> <b>Dane XML</b>
    
    
    XElement doc = XElement.Load(@"numbers.xml");
    var q = new XElement("numbers",
      from n in doc.Elements("number")
      where (int) n < 5
      select new XElement("number", n)
      )
    );
    &#91;/sourcecode&#93;
    
    </li>
    
    <li> <b>Bazy danych</b>
    
    
    Database db = Database(...)
    var q =
      from n in db.numbers
      where n.number < 5
      select new {n.number};
    &#91;/sourcecode&#93;
    
    </li>
    
    </ul>
    
    <h1>Przegląd możliwości języka Ruby</h1>
    
    <p>
        Odpowiedniki LINQ da się stworzyć w wielu językach. Ale w Ruby będzie to implementacja nie tylko działająca ale też dająca możliwość tworzenia czytelnego kodu.
    </p>
    
    <h2>DSL - Domain-specific programming language</h2>
    
    <p>
        <b>Języki dziedzinowe</b> w odróżnieniu od <b>języków ogólnych</b> (takich jak C, Java czy Python) są wysokowyspecjalizowane i tworzone to rozwiązywania konkretnych problemów. Dzięki temu są dobrze dopasowane do określonych zadań, a przez to wygodne w stosowaniu. Pozwala to na przyśpieszenie pracy z nimi.
    </p>
    
    <p>
        Języki dziedzinowe wcale nie są czymś nowym. Stykamy się z nimi codzienne i wydają się nam tak oczywiste że nie dostrzegamy czym są. Warto więc wymienić kilka przykładów:
    </p>
    
    
    
    <ul>
    <li>znaki drogowe</li>
    <li>notacja muzyczna</li>
    <li>wyrażenia regularne</li>
    <li>pliki Makefile</li>
    </ul>
    
    <p>
        DSL jest bardzo często stosowany w języku Ruby. Przykładem tego może być ActiveRecord dostępny w Ruby On Rails. Przykładowy model:
    </p>
    
    
    class Post < ActiveRecord::Base
      has_many :comments
      has_and_belongs_to_many :tags
    end
    &#91;/sourcecode&#93;
    
    
    <h2>Metaprogramowanie</h2>
    <p>
        Metaprogramowanie dało by się streścić jako <i>programy piszące programy</i>. W Ruby, jako że jest on językiem dynamicznym, program może zmieniać nawet swój własny kod podczas działania. Najczęściej służy temu funkcja <i>eval</i>:
    </p>
    
    
    name = 'plus'
    op = '+'
    a = "def #{name}(a, b) a #{op} b end"
    eval(a)
    plus(1,2)
    

    Symbole

    'very_long_name'
    
    :very_long_name
    

    Symbole bywają (błędnie) nazywane lekkimi stringami. Bardzo często stosuje się je jako klucze w słownikach.

    Atrybuty – settery, gettery

    class Cos
      def a
        @a
      end
      def a=(value)
        @a = value
      end
    end
    
    class Cos
      attr_accesor :a
    end
    

    Pomijanie nawiasów w wywołaniu funkcji

    c = Cos.new()
    c.a=(7)
    puts c.a()
    
    funkcja({'a'=>'Ala', b=>'Beata'})
    
    inna_funkcja(3.14, {'a'=>'Ala'})
    
    c = Cos.new
    c.a = 7
    puts c.a
    
    funkcja 'a'=>'Ala', b=>'Beata'
    
    inna_funkcja 3.14, 'a'=>'Ala'
    

    Jeśli nie spowoduje to niejednoznaczności to można usunąć nawiasy z wywołania funkcji. Dzięki temu oszczędza się kilku znaków oraz sprawia, że kod wygląda czytelniej.

    Ruby nie posiada argumentów w postaci słów kluczowych tak jak Python. Można je jednak jest bardzo łatwo zastąpić używając słowników z pominiętymi nawiasami klamrowymi. W takich konstrukcjach bardzo często używa się symboli.

    Otwarte moduły

    module Kernel
      def query()
        puts 'this is query'
      end
    end
    

    Moduły można łatwo modyfikować. Jeśli coś dodamy do modułu Kernel

    Otwarte klasy

    class Fixnum
      def hours
        self * 3600
      end
      alias hour hours
    end
    
    Time.mktime(2006, 01, 01) + 14.hours
    

    Metody można nie tylko dodawać ale też zamieniać (korzystając z aliasów).

    Otwarte obiekty

    a = 'hello'
    
    class <<a
      def to_s
        "<#{self}>"
      end
    end
    

    Brakujące metody

    class Cos
      def method_missing(method_name, *args)
        method_name = method_name.to_s
        if method_name[0..3] == 'say_'
          puts method_name[4..-1]
        else
          raise NoMethodError, "`#{method_name}' in #{self}"
        end
      end
    end
    

    Domknięcia

    def two_times()
      if block_given?
        yield
        yield
      end
    end
    two_times { puts 'Hello'}
    
    [1,2,3,4].delete_if {|a| a % 2 == 0}
    

    RINQ

    Pozwolę sobie przedstawić tu dwie propozycje propozycje RINQ. Są one autorstwa Stena Friedricha z Technische Fachhochschule Berlin.

    Operatory zapytań

    Pierwsza metoda przypomina trochę korzystanie z cout w C++, lub Django ORM. Wywołujemy po koleji ciąg funkcji z których każda zwraca ten sam obiekt, lecz zmodyfikowany przez to wywołanie.

    customernames = customers.
      qwhere   {|c| c.address.city == "Torun"}.
      qselect  {|c| {:firstname => c.firstname,
                     :lastname => c.lastname}}.
      qorderby {|c| c.lastname}
    

    Wyrażenia zapytań

    Tu wkracza DSL. Przykład takiej implementacji autorstwa Petera Vanbroekhovena jest How to create a Domain Specific Language? – Metaprogramming in Ruby.

    customerfirstnames = query do
      qfrom :c => customers
      qwhere c.lastname == "Kowalski"
      qselect c.firstname
    end
    

    Slajdy

    RINQ – slajdy