Multimedia

Co to są multimedia
\”Integracja wielu różnorodnych mediów (telewizji, techniki audio i wideo, informatyki, teletransmisji) na pewnej wspólnej bazie, która może stanowić komputer, specjalny odtwarzacz płyt kompaktowych lub przystawka do odbiornika telewizyjnego; także nazwa systemu umożliwiającego swobodną, interaktywną wymianę informacji w postaci tekstu, grafiki, obrazu (nieruchomego i ruchomego), dźwięku (mowy, muzyki) itp. między różnymi jego elementami. […]”
Historia multimediów (1)
-rysunki, -wprowadzenie tekstu, -uzupełnienie tekstu ilustracjami, -prezentacje, podczas których łączono tekst, ilustracje, dźwięk i wideo, -komputer, -dawniej termin multimedia oznaczał pakiety pomocy naukowych, -dawna nazwa komputerów multimedialnych: audio-video computer, -pierwsza wzmianka o komputerowym systemie multimedialnym: w 1986 roku dotyczyła systemu do przygotowywania płyt kompaktowych w trybie mixed-mode, -komputery domowe można traktować już jako komputery multimedialne. Niektórzy łączą system multimedialny z wykorzystaniem płyty CD.
Zastosowania multimediów
-rozrywka (gry), -edukacja (również nauczanie na odległość), -hypermedia (przeglądarki, Internet), -prezentacje multimedialne, -komunikacja (telekonferencje, poczta multimedialna), -symulacja komputerowa, -hobby (edycja dźwięku, wideo, fotografii), -pomoc osobom niepełnosprawnym
Kierunki rozwoju systemów multimedialnych
-systemy teletransmisji (oparte o Internet, ale też np. Video-On-Demand), -cyfrowe wideo, -komputerowe centrum sterowania, dające dostęp do wszystkich urządzeń audio/wideo, -nowe rodzaje interfejsów (rozpoznawanie mowy, rozpoznawanie gestów, hologramy)
Multimedialne komputery
-komputery przeznaczone do gier, -komputery tylko do zastosowań multimedialnych (Philips CD-I, Commodore CDTV), -komputery PC wyposażone w sprzęt multimedialny, -komputery sieciowe, podłączane do telewizora
Współczesny komputer multimedialny
-szybki procesor (np. Pentium II), -szybka karta graficzna wyposażona w akcelerator trójwymiarowy, -karta dźwiękowa z syntezą WaveTable i procesorem DSP, -napęd DVD z dekoderem MPEG, -dodatkowe wyposażenie (np. tuner TV i radiowy, karta wideo, skaner)
Multimedialny system operacyjny
Multimedia Operating System (MOS)
-duża przepustowość danych
-nadzór nad priorytetami wykonania poszczególnych procesów
-obsługa urządzeń multimedialnych
-operacje multimedialne ukryte w systemie, niewidoczne dla użytkownika (i programisty)
Różnice między MOS a RTOS
-mniejszy nacisk na bezpieczeństwo i stabilność
-większość operacji jest powtarzalna
-wpływ urządzeń zewnętrznych (np. synchronizacja MIDI)
Interfejs użytkownika w s.m. (IU)
„Interfejs użytkownika składa się z części systemu, które są widoczne dla użytkownika oraz którymi może on manipulować oraz z modeli i wrażeń, które tworzą się w umyśle użytkownika podczas pracy z tymi częściami systemu” L. Barfield
Model użytkownika: model wewnętrzny systemu, model interakcji z systemem. Model użytkownika powinien umożliwiać użytkownikowi poprawne wnioskowanie dotyczące przewidywanego zachowania systemu.
Źródła informacji przy tworzeniu IU: doświadczenie, interakcja z systemem (sprzężenie zwrotne), obserwacja, analiza.
Metafora: oparta na świecie rzeczywistym (np. pulpit, katalogi), sztuczna (np. przepływ danych przy przetwarzaniu).
IU – zasady
Standard ISO 9241, style-guides.
Kroki projektowania IU: -analiza potrzeb użytkownika, -wybór rodzajów okien i menu, -rozplanowanie okien, -zdefiniowanie kolorów, -wybór ikon, -komunikaty, wskazówki, podpowiedzi, -testowanie
IU – kolor
Zalety: dostarcza dodatkowych informacji (nowy wymiar), kategoryzuje informacje.
Problemy: przyciąga uwagę, oko różnie reaguje na różne kolory, częste problemy z postrzeganiem kolorów, różne znaczenie kolorów w różnych środowiskach i kulturach.
Wybór kolorów: co najwyżej pięć kolorów (więcej nie mieści się w pamięci krótkoterminowej).
IU – głos
Komputer powinien mówić, gdy użytkownik nie patrzy na ekran, porusza się lub nie ma dostępu do komputera. Komunikaty powinny najpierw zawierać cel, a potem czynność (\”Aby uruchomić program, naciśnij spację\”). Powinna być możliwość niewysłuchiwania komunikatów do końca oraz powtarzania ich. Średnia prędkość 180 słów na minutę.
Menu i nawigowanie
Można założyć, że użytkownik ma odruch klikania na to co go interesuje. W polskich wersjach językowych polecenia menu powinny być w trybie rozkazującym: Wytnij, Kopiuj, Otwórz.. Odpowiednie okna dialogowe powinny być zatytułowane odpowiednio: Wycinanie, Kopiowanie, Otwieranie -trzy kropeczki – dalszy dialog. Unikać całych zdania Press to Quit = Quit.
Czcionki, kolory i animacja
Kolor pozwala przyciągnąć uwagę. Nie więcej niż cztery kroje pisma i kolory (dotyczy też wielkości). Animacja może zwrócić uwagę na niektóre elementy, ale za dużo jest nużące i denerwujące (miganie, \”pływanie”, powiększanie, rotacje).
Rysunki, ikony i symbole
Symbole zastępują słowa. Należy używać zbioru powszechnie używanych symboli (np. do oznaczenia poleceń na pasku narzędzi). Dobrze jest wykorzystać symbole znane z życia (np. znaki drogowe).
Media w multimediach
Tekst: drukowany, na ekranie, książki elektroniczne, hipertekst.
Grafika: rastrowa, wektorowa, trójwymiarowa.
Dźwięk: odtwarzany, generowany.
Animacja: animacja komputerowa, animacja 3D.
Wideo
Tekst
Powstał około 6000 lat, Mezopotamia, Egipt, Sumeria, Babilonia. Nawet pojedyncze słowa, mogą mieć bardzo duże znaczenie. Język literacki, gazetowy, ogłoszeń, komunikatów komputerowych itp.
Druk
Pierwsze drukowane były rysunki, ok. VI w. n.e. w Chinach. Druk niezależnymi czcionkami: XI w. w Chinach, 1445 w Europie (Gutenberg)
Czcionki
typeface (czcionka) – rodzina znaków graficznych zawierająca wiele rozmiarów i styli
-Helvetica, Times, Courier
font (krój) – wybrany rozmiar i styl danej rodziny
-Font: Times 12p italic, Courier 10p Bold
Rozmiar wyrażony jest zazwyczaj w punktach, gdzie jeden punkt to 1/72 cala. Style: pogrubiony (bold), kursywa (italic), podkreślony (underlining), kontur (outlining). Wielkość czcionek w drukarstwie wyraża się nazwami (np. Petit = 8pt, Garmond = 10 pt, Cycero = 12pt)
Czcionki:
-jednoelementowe i dwuelementowe
-szeryfowe i bezszeryfowe
-antykwa, gotyk, hybrydy, pisanki
Czcionki w komputerze
-czcionki rastrowe
-czcionki skalowalne
-1985 – Adobe Postscript. Opis strony i czcionek (krzywe Beziera). Użyte na początku w komputerach Apple
-1989 – True Type (quadratic curves). Użyte w Apple System 7 i Microsoft Windows
Pismo w multimediach
Inne czcionki dla prezentacji na ekranie, inne dla druku. Lepiej czytać na papierze, na ekranie powinno być mniej informacji. Wygodniejsza jest orientacja pionowa, konieczne jest przewijanie. Łączenie grafiki z tekstem.
Hipertekst
Elementy dokumentu są ze sobą połączone (struktura grafu). Można poruszać się między częściami dokumentu (węzły i połączenia). Dostępne jest wyszukiwanie informacji. Dokumenty bardzo często mają strukturę hierarchiczną.
Hipertekst – zalecenia
Węzły powinny być proste. Nie powinno się dublować informacji. Hierarchiczna struktura dokumentu. Rozsądna liczba odwołań. Dobrze jest wprowadzić „ścieżkę”, po której porusza się użytkownik.
Hypermedia – projektowanie
RMM – Relationship Management Methodology
-określa system hipermedialny jako mechanizm zarządzania zależnościami między obiektami zawierającymi informacje
-zastosowanie: systemy o znanej strukturze
OOHDM – Object-Oriented Hypermedia Design Model
Hipertekst – przykłady
HTML
-World Wide Web Consortium (W3C)
-przewodniczący: Tim Berners-Lee
-początek 1990.
-ISO Standard 8879:1986 Information Processing Text and Office Systems; Standard Generalized Markup Langauge (SGML)
Microsoft Windows Help
Grafika
-rastrowa (mapa bitowa) – informacja o pikselach
-wektorowa – matematyczne równania opisujące obrazy, np. CADowskie.
-metafile (metaplik) – mogą zawierać mieszaną informację.
-PDL (Page Description Langauge) – język do opisu drukowanej strony z tekstem i grafiką.
Mapa bitowa
Elementami są piksele. Piksele zapisuje się na bitach:
-bit – czarny i biały
-wiele bitów – kolory lub odcienie:
Wymiary w pikselach. Rozdzielczość (dpi – dot per inch). Dodatkowy opis tekstowy.
Modele kolorów
YUV
-Y – luminancja,
-U, V – chrominancja
-RGB -> Y
Y = 0.299 * R + 0.587 * G + 0.114 * B
U = 0.493 * (B – Y)
V = 0.877 * (R – Y)
HSI
-Hue (odcień), Saturation (nasycenie), Intensity (intensywność)
Kolory w mapach bitowych
4 bity, 8 bitów – paleta kolorów
8 bitów – obraz monochromatyczny
Standard RGB
-16 bitów (np. RRRRRRGGGGGBBBBB lub XRRRRRGGGGGBBBBB)
-24 bity (RRRRRRRRGGGGGGGGBBBBBBBB)
-24 bity + 8 bitów przezroczystości (kanal alfa)
Obliczenia wielkości
Bajty = { szerok * rozdz_poz * wysok * rozdz_pion * log2(kolory)} / 8
Przykład: zdjęcie paszportowewymiary: 3.4 cm x 4.4 cm = 1 1/3 \” x 1 3/4 \”
Pozyskiwanie grafiki
-skaner lub \”video capture device\”, -użycie programów graficznych, -ClipArty, Internet, -\”chwytania\” ekranów, -urządzenia cyfrowe: aparat fotograficzny, kamera
Grafika rastrowa – problemy
-objętość pamięci, -czasochłonność operacji, -skalowanie (interpolacja, MIP, reprezentacja kolorów)
Grafika wektorowa
-obiekty opisane wzorami matematycznymi, -łatwe skalowanie, obracanie i inne modyfikacje, -mała zajętość pamięci, -kosztowniejsze wyświetlanie, -trudniejsze tworzenie i pozyskiwanie
Zastosowania: -programy wspomagające projektowanie (CAD), -graficy komputerowi, -dokumenty publikowane elektronicznie
Formaty: -DXF i IGS (Autodesk), -metafile
Metapliki
Łączą grafikę wektorową z rastrową. Dodatkowo mogą zawierać informacje tekstowe. W systemie Windows można tworzyć metapliki rejestrując kolejno wykonywane operacje graficzne.
Język opisu strony
Formaty: -Postscript, -EPS (Encapsulated PostScript), -PDF (Portable Document Format)
Zawiera grafikę wektorową, rastrową, tekst oraz informacje o rozmieszczeniu na stronie. Umożliwia elektroniczną publikację dokumentów. Nowa tendencja – łączenie PDL z hipermediami (książki elektroniczne).
Grafika trójwymiarowa
Zwykle opis wektorowy. Czasami dodatkowo mapy bitowe. Informacje o oświetleniu, przezroczystość itp.
Realizacja: -odtwarzanie filmu, -w czasie rzeczywistym, -częściowo w czasie rzeczywistym
Głównie stosowana w animacji.
Język opisu sceny
-VRML – Virtual Reality Modeling Language – odpowiednik HTML dla 3D
-standard ISO VRML 2.0 – ISO/IEC 14772
-definiujemy obiekty, ich wzajemne położenie, ruch oraz interakcję z użytkownikiem
-oprogramowanie do tworzenia (np. VR-Creator)
Dźwięk
-odtwarzany (CD, karta muzyczna)
-generowany (generatory analogowe, modulacja częstotliwości, generatory cyfrowe – WaveTable, modele matematyczne)
Dźwięk cyfrowy
Częstotliwość próbkowania (Hz, kHz). Liczba bitów na próbkę (8, 16, 24). Liczba kanałów (1, 2, 4, 5+1).
44.1 kHz, 16 bit, stereo – jakość CD
48 kHz, 16 bit, stereo – DAT
32 kHz, 16 bit, stereo – jakość radiowa
8 kHz, 8 bit, mono – jakość telefoniczna
Próbkowanie
Maksymalna częstotliwość jest równa połowie częstotliwości próbkowania. Ucho ludzkie słyszy dźwięki o częstotliwości od 20 Hz do 20 kHz. Po co większe częstotliwości? Niesłyszalne składowe harmoniczne mogą wpływać na częstotliwości słyszalne.
Stereo/3D
Różnica w czasie docierania dźwięku do uszu – ok. 1 msec. Dźwięk słyszany z tyłu jest nieco stłumiony (kształt małżowin usznych). Dźwięki z daleka są cichsze. Zjawisko Dopplera.
Dźwięk – skróty
-PCM – Pulse Code Modulation
-U-LAW – standard w którym 8 bitów używane jest jak liczba zmiennoprzecinkowa czyli stosowana jest skal logarytmiczna, która dynamiką odpowiada 12 bitom liniowym.
-U-LAW = CCITT standard G.711
-A-LAW – rozszerzenie standardu U-LAW używane w telefonii europejskiej.
MPEG Layer 3
-algorytmy opracowane przez MPEG
-możliwość obcięcia – brak informacji o długości pliku w nagłówku
-próbkowanie (16 – 48)
-stopnie kompresji: 4, 8, 12
-możliwość kodowania danych
-ID3 – dodatkowe informacje tekstowe
MIDI
-standard – 1980 rok
-komunikacja pomiędzy urządzeniami muzycznych
-31.25 (+/- 1%) Kbod, asynchronicznie, bit startu, 8 bitowe dane i bit stopu.
-wtyczki 5 bolców typu DIN (180 stopni)
-kabel do 15 metrów
Zapis nutowy
Pięciolinia nuty skala
A 440 Hz 440*2^(0/12)
A# 466 Hz 440*2^(1/12)
B(H) 494 Hz 440*2^(2/12)
C, C#, D, D#, E, F, F#,G
G# 831 Hz 440*2^(11/12)
A 880 Hz 440*2^(12/12)
MIDI – Dane i rozkazy
format danych – wielobajtowe komunikaty, zawierające jeden bajt Status i jeden lub dwa bajty danych
typy rozkazów – Dwa główne to: Chanel i System, pierwszy zawiera 4 bitowy numer kanału i typ komunikatu: Voice lub Mode.
System to komunikat nie posiadający wyspecyfikowane nr kanału. Może to być Common czyli do wszystkich, Real-Time lub Exlusive dla wybranych odbiorców (ID)
Tworzenie plików MIDI
-gotowe – sieć, CD-ROM
-oprogramowanie – Midsoft Studio, Cakewalk
-skanowanie nut – MidiScan, SmartScore
-nagrywanie z urządzenia MIDI
Odtwarzanie MIDI
-synteza FM (dźwięk generowany), -WaveTable (dźwięk odtwarzany), -ładowana WaveTable (do pliku MIDI dołączona jest tablica próbek dla instrumentu)
MIDI – zalety i wady
Zalety: przenośność, popularność standardu, mała zajętość pamięci.
Wady: może różnie brzmieć na różnych kartach.
Format MOD
Pochodzenie – Amiga
-8-bitowe próbki instrumentów
-dane opisujące kolejne dźwięki i efekty specjalne
Rozszerzenia: -16-bitowe próbki, -próbki generowane dla kilku tonów, -połączenie z MIDI
Płyty CD
Red Book
-1980 (16 bits 44.1 kHz)
-Compact Disc Digital Audio (CD-DA)
-Norma ISO 10149
Zabezpieczenia przed błędami:
-EFM (Eight-to-Fourteen-Modulation)
-CIRC (Cross Interleave Reed-Solomon Code)
Bloki danych po 2352 bajtów
Yellow Book
-1984
Dźwięk + dane
-Mode 1 – dane komputerowe
-Mode 2 – dane multimedialne (skompresowany dźwięk i obraz) – CD-ROM XA
Blok danych – 2048 bajtów + 288 dodatkowych bajtów korekcji
Mixed Mode Disc
-Pierwsza ścieżka zawiera dane
-Dalsze ścieżki zawierają dźwięk
Green Book (CD-I)
-1987 Philips
-Dane i dźwięk, podobne do CD-ROM/XA
White Book
-CD-I MPEG-1 Video CD
Orange Book
-CD-MO, CD-R, CD-WO, CD-RW
Blue Book
-CD-Enhanced, CD-Extra lub CD-Plus, CD+
Photo CD
KARAOKE CD
CD-Bridge Disc
Dźwięk cyfrowy – przyszłość
-MPEG Layer 4
-MPEG Layer 3 CD
-kodowanie mowy (Internet, telekomunikacja)
Animacja
Człowiek postrzega ok. 10 faz ruchu na sekundę. Migająca klatka filmowa ma 24 klatki na sekundę. Obraz telewizyjny ma 25 klatek/sek. Częstotliwość odświeżania ekranu monitora – 75+ Hz.
Rodzaje animacji
-proste efekty tekstowe (np. wjeżdżające napisy itp.), -krótkie animacje np. na przyciskach, -rysowane filmy animowane, -animacje trójwymiarowe, -gotowe filmy
-animacje generowane przez program
Animacja – zasady
Najlepiej, gdy zmiana obrazu jest zsynchronizowana z częstotliwością wyświetlania. O ile to możliwe, lepiej przesuwać obiekt częściej, ale z małym krokiem niż rzadziej z krokiem większym. Należy pamiętać, że częstotliwość odświeżania ekranu może mieć wpływ na płynność animacji.
Filmy animowane
Rysowane za pomocą komputera: -rysunki rastrowe, -rysunki wektorowe
Skanowane rysunki: -najlepiej skanować czarno-białe kontury, a kolory dodawać na komputerze
Inne metody: -wykorzystanie filmu z udziałem aktorów
Animacje trójwymiarowe: -motion-capture
Filmy animowane – uwagi
Łączenie animacji z tłem
-tło i animacja tego samego rodzaju
-kontury
-ostre
-alpha blending
-przesłanianie
Najpierw rysujemy, potem wymazujemy
Kompresja
Wideo
-komputer steruje magnetowidem
-Overlay – obraz wideo miksowany z obrazem komputerowym
-łapanie klatek
-cyfrowe wideo
Pozyskiwanie wideo
Karta wideo
-duża przepustowość
-szybki procesor lub kompresja sprzętowa
uwaga – niektóre karty zapisują w formacie wymagającym sprzętowej dekompresji
-możliwość wyjścia na wideo
-synchronizacja z dźwiękiem
Płyty CD/DVD
Formaty wideo
-Animator Pro (FLI lub FLC)
-Macintosh Time-Based Data Fomat (QuickTime – MOV)
-Windows Audio Video Interleaved format (AVI)
-Moving Picture Expert Group (MPG, MPEG)
Obraz i dźwięk
Synchronizacja
-ramki kluczowe (key-frames)
-zwykle dźwięk ma wyższy priorytet
-Co robić, gdy „rozjedziemy się”
Panning i dźwięk 3-D
Różne ścieżki dźwiękowe
Gry komputerowe – historia
Pierwsza gra komputerowa – 1977 r., Pong firmy Atari
Najpierw do gier wykorzystywane były specjalizowane automaty
-linie rysowane wiązką elektronową (BattleZone, Asteroid)
-wykorzystanie kineskopu odbijającego się w lustrze
Mikrokomputery ogólnego przeznaczenia z udogodnieniami dla gier
-specjalizowane układy graficzne
-synchronizacja wyświetlania
-przerwania od urządzeń graficznych
-wykorzystanie „sprite’ów”
-obsługa urządzeń zewnętrznych (joystick, paddle)
-obsługa cardridge’y z grami
Konsole do gier (Sega, Nintendo, Sony): -cardridge, -płyty CD
Komputery PC: -problemy z kartami graficznymi (CGA, EGA, Hercules, VGA), -praktycznie brak dźwięku, -brak urządzeń zewnętrznych
Gry komputerowe – dziś
Automaty – elita, bardzo drogie specjalizowane układy, często razem z częściami mechanicznymi
Konsole
Komputery PC: -nowoczesne gry wymagają dodatkowego sprzętu, -wykorzystanie Internetu
Rodzaje gier komp.
Zręcznościowe:
-Shoot’em up (2D, 3D), FPP (First Person Perspective), TPP (Third Person Perspective), symulatory
Umysłowe: -gry planszowe (szachy, go), strategie
Mieszane: -Real Time Strategy (RTS), przygodowe (Point and Click)
Elementy gier komp.
Pomysł i scenariusz: -zwykle poprzedzone analizą rynku, -scenariusz możliwie szczegółowy, -specyfikacja interfejsu
Grafika: -modele papierowe, przestrzenne, -filmy z udziałem aktorów, -rysunki na papierze lub kalce
Muzyka i dźwięk: -ścieżka dźwiękowa nagrywana przez profesjonalne zespoły, -realizacja w studiu
Program: -wykorzystanie standardowych bibliotek (DirectX, OpenGL), -jeśli potrzebne, to różne tryby pracy, -gotowe narzędzia
Technologia gier komp.
Microsoft Windows
-DirectDraw, Direct 3D, DirectSound, DirectSound 3D, DirectInput
-OpenGL
-WinAllegro
DOS
-Protected Mode
-DJGPP, Allegro
Gry komp. – Projektowanie
Gra jest uproszczeniem rzeczywistości, a nie symulacją. Konieczność wprowadzenia interakcji. Bez konfliktu nie ma gry. Gracz musi czuć się bezpiecznie.
Tworzenie GK
Rób takie gry, jakie sam lubisz. Zdobądź doświadczenie
Testuj swoje gry. Zbierz informacje o temacie gry. Zdobądź potrzebną wiedzę techniczną. Rób sobie przerwy. Zachowuj etapy przejściowe. Zadbaj o oprawę i promocję.
Grafika w GK
Założenia: szybkość, możliwie mała zajętość pamięci, wyrazistość.
Rodzaje:
-2D, 3D, izometryczna
-generowana, kafelkowa
-jednoekranowa, przesuwana
Grafika 2D w GK
Sprite’y (niezależnie poruszające się obiekty)
-nakładanie się sprite’ów i tła
-wykrywanie kolizji
Kafle (tiles)
-mała zajętość pamięci, łatwa reprezentacja
-kafle muszą pasować do siebie
-kafle mogą być 2D lub izometryczne
Alpha blending
Gry przygodowe
Scenariusz jak w filmie (z dialogami i podziałem na role). Scenariusze liniowe i nieliniowe. Dużo grafiki i animacji. Nagrywanie dźwięku z udziałem aktorów. Stosunkowo proste kodowanie (gotowe narzędzia).
Przykład narzędzia dla gier przygodowych
Gamepiler
-obiektowa reprezentacja świata gry
-język skryptowy oparty na C
-edytor animacji
-obsługuje:
-poruszanie się
-rozmowy
-kieszeń
-animacje pełnoekranowe
-zapis i odczyt stanu gry
-panning dźwięku
-kanał alpha w animacjach