UNIX a Internet

E-mail

• Elektronická pošta
• 1965 - MIT v USA
• Komunikace mezi uživateli sálového počítače
• 1966 - přenos zpráv různými počítači
• 1969 - ARPANET
• Nejprve různé systémy přenosu zpráv
• 1971 - znak @

@

• 1971 - Ray Tomlinson
• Zavináč, anglicky "at"
• Původně poštovní adresa pro konkrétní počítač
• Dříve: petr@slow.nti.tul.cz
• Dnes: petr.novak42@tul.cz
• Zodpovědnost za příjem pošty pro doménu definuje MX v DNS: počítač přijímající SMTP spojení na dané doméně

E-mailová adresa

• "Petr Novák" <petr.novak42@tul.cz>
• V uvozovkách je „plné jméno“, které si nastavuje sám uživatel včetně národních znaků (Base64)
• Adresa odesílatele se nijak nekontroluje
• Odchozí SMTP servery kontrolují jen existenci domény (např. @gmail.com)
• SMTP server nemá způsob zjistit platnost jména pokud není zároveň příjemcem

MDA

• Mail Delivery Agent
• Program, který uloží e-mail uživateli do schránky
• Na Linuxu: procmail, maildrop
• Někdy jako součást MTA (bezpečnostní riziko)
• Některé umožňuje poštu filtrovat, provádět autom. akce
• Schránka typicky v podobě:
• Mbox
• MailDir

MBox

• Tradiční formát - velký soubor s mnoha e-maily
• Pomalejší zpracování, nevhodné pro (rozdílové) zálohování

MailDir

• Sdresář, kde každý e-mail je jeden soubor
• Novější, je typicky rychlejší

SMTP

• Simple Mail Transfer Protocol (1982)
• Slouží pro předávání elektronické pošty
• Používají ho ke vzájemné komunikaci MTA
• MTA se řídí jen údaji v obálce
• Používá standardně TCP port 25
• Původně se počítalo jen s přepravou ASCII: prostý anglický text (spodních 7 bitů)
• SMTP definuje:
• Obálku: reálná adresa odesílatele a příjemce
• Vlastní e-mail: libovolný obsah

Příklad SMTP komunikace

[jirka@proxima ~]$ telnet smtp.tul.cz 25
Trying 2001:718:1c01:16::aa...
Connected to smtp.tul.cz.
Escape character is '^]'.
220 bubo.tul.cz ESMTP Postfix
HELO neco
250 bubo.tul.cz
MAIL From: petr.novak42@tul.cz
250 2.1.0 Ok
RCPT To: jiri.hnidek@tul.cz
250 2.1.5 Ok
DATA
354 End data with .
Subject: Pokus
From: kobliha@cukrarna.cz
To: kremrole@sladarna.cz

Sladky pokus.
.
250 2.0.0 Ok: queued as 614E618050A0C
QUIT
221 2.0.0 Bye
Connection closed by foreign host.

SMTP komunikace

• Obálka: zahodí se po doručení e-mailu do schránky
• HELO jméno-klienta
• MAIL From: <e-mail@odesílatele>
• Slouží při vrácení chybového hlášení
• RCPT To: <e-mail@příjemce>
• Skutečný příjemce, kterému bude e-mail doručen
• Vlastní e-mail (příkaz DATA): hlavičky e-mailu, prázdný řádek, tělo e-mailu, samotná tečka na řádku
• Ukončení komunikace se SMTP serverem
• QUIT

ESMTP

• Rozšíření SMTP (1995)
• RFC 1869
• Indikace pomocí uvítacího příkazu EHLO
• Protistrana reaguje zasláním seznamu rozšíření
• STARTTLS
• Nutná podpora na obou stranách spojení
• Šifrování komunikace pomocí mezivrstvy TLS
• Autentizace serveru (certifikát)
• Řeší přenos hesla pomocí AUTH
• Zabezpečený přenos dat na SMTP server

Chybové zprávy

• Při problému s předáním e-mailu jinému MTA
• Trvalá chyba v doručování:
• Neznámý adresát, neznámá (cílová) doména
• Odmítnutí od MTA příjemce (nebo na cestě)
• E-mail je doručen zpět odesílateli
• Dočasná chyba v doručování
• Přeplněný mailbox uživatele
• Dočasné přetížení na straně cílového MTA
• E-mail zůstane ve frontě a pokus o doručení je opakován

Fronta

• Implementuje MTA (příkaz mailq)
• E-maily čekající na odeslání/doručení
• Je to specifický adresář (/var/spool/mqueue)
• Fronta se používá pro dočasné uložení před odesláním
• Při havárii je neodeslaný e-mail stále na disku
• Vysoká zátěž počítače s MTA
• E-mail se jen uloží do fronty, dále se (zatím) nezpracovává
• MTA se opakovaně snaží položky ve frontě zpracovat

Doručování z fronty

• Průchod frontou vždy po 15 - 45 minutách:
• E-mail zde čeká na nový pokus o doručení
• Z fronty bude smazán až po převzetí dalším MTA tj. po oznámení: „Message accepted for delivery“
• Po cca 4 hodinách:
• Varování odesílateli, že jsou problémy s doručením: „You don't need to resend your message“
• Po cca 4 dnech:
• E-mail vrácen odesílateli spolu s chybovým hlášením> „Mailbox full“, „Connection reset by peer“, ...

Ztráta e-mailu?

• E-mail by se neměl „ztratit“
• Dokud přijímající (MTA) nepotvrdí příjem, musí mít odesílající MTA e-mail stále na disku
• Při příjmu používá MTA zápisové bariéry a fsync()
• MTA přijme (do RAM) a dám pokyn k zápisu na disk
• Dokud disk nepotvrdí, že je zapsáno, nepokračuji dál
• Teprve po potvrzení potvrdím příjem e-mailu protistraně
• Fakticky je tak ztráta e-mailu nemožná

Formát e-mailu

• Hlavičky
• Některé pevně definovány
• From:, To, Subject:, Date:, Received:
• Uživatelské začínají na X-
• X-Virus-Scanned: clamav-milter 0.97.8 at smtp.firma.cz
• Je-li záznam delší, než max. povolená délka řádku, pokračuje se na dalším řádku mezerami
• Prázdný řádek
• Tělo e-mailu s vlastním obsahem

Hlavička e-mailu

• From:
• To:
• Slouží pro zobrazení odesílatele a příjemce při doručování se nijak nevyužívají.
• Subject:
• Předmět e-mailu
• Date:
• Datum odeslání, sestavuje klient, jen zobrazení
• Received:
• Průchody MTA

Průchody MTA

• Podpis vkládaný MTA při průchodu e-mailu
• Umístěn vždy na začátek hlaviček
• Odkud přijato (from ...), kým převzato (by ...)
• Dokumentuje "cestu" e-mailu skrze různé MTA
• Řádky v hlavičce mohou být zfalšovány odesílatelem!
• V záznamech jsou uvedena ID (vytváří MTA)
• Podle ID lze hledat v záznamech o přepravě (logy MTA)

Tělo e-mailu

• Hlavní část e-mailu
• Původně jen čisté ASCII (7 bitů) znaky s kódy: 0 - 127
• Problém s kódváním národních znaků: jak zakódovat 8 bitů do 7bitů
• Z počátku různé metody závislé na konrétním klientovi
• Např: 8bit, binary
• Způsoby překódování do 7bitové podoby
• uuencode, quoted printable, base64
• Dnes používán MIME standard (umí všichni klienti)

MIME

• Multipurpose Internet Mail Extensions
• RFC 2822 (2001)
• Umožňuje do e-mailu včlenit 8bitový obsah
• Text s národními znaky (+různá kódování). Dnes převážně UTF-8
• Přílohy v e-mailu jako soubory různých typů
• Internet media type (dříve MIME typy):
• image/jpeg, image/gif, image/png, ...
• text/plain, text/html, ...
• application/javascript, application/ogg, application/octet-stream
• audio/mpeg, audio/ogg, ...

POP

• Post Office Protocol (1984), port 110
• Dnes POP3 (verze 3) od roku 1988
• Vybírání poštovní schránky (jen z INBOXu)
• Jen příchozí pošta (resp. nová pošta)
• Určeno k off-line připojení (připojit se, stáhnout poštu, odpojit se)
• Dnes se příliš nepoužívá. Nahrazeno protokolem IMAP.

POP3S

• Podpora SSL/TLS
• Původní verze protokolu používala nezabezpečenou komunikaci
• TCP port 995
• Vložení mezivrstvy zajišťující šifrování
• Zbytek protokolu zůstane stejný
• Využití certifikátů k ověření autenticity protistrany (serveru)
• Šifrování komunikace mezi MTA a MUA

IMAP

• Internet Message Access Protocol (1988)
• RFC 1064, TCP port 143
• Vzdálený přístup k poštovní schránce (on-line)
• Umožňuje pracovat s dalšími složkami, ne tedy jen INBOX jako POP3
• Poměrně složitá a komplexní implementace
• Konkurenční přístup více klientů zároveň
• Nutná vzájemná synchronizace (po smazání emailu atp.)
• Možnost off-line práce s elektronickou poštou
• Prohledávání, přesouvání a kopírování e-mailů

IMAPS

• Podpora SSL/TLS
• Původní verze protokolů jen otevřenou komunikaci
• TCP port 993 (IMAPS)
• Vložení mezivrstvy zajišťující šifrování
• Zbytek protokolu zůstane stejný

SPAM & spol.

• Nevyžádaná elektronická pošta
• Typicky reklama na výrobky, služby (Viagra, konference, nigerijské e-maily, atd.)
• Reaguje zanedbatelné množství příjemců
• Rozesíláno obrovská množství e-mailů
• Nízká cena na odeslání 1 e-mailu, proto se vyplatí
• Antispamová ochrana
• Administrátor MTA nebo koncový uživatel
• Restrikce na SMTP servery
• Filtrování zpráv

HAM

• Opak SPAMu
• Většinou žádoucí pošta v podobně obchodních nabídek, bulletinů apod.
• Problém pro odesílatele, že vypadá jako nežádoucí
• Používání whitelistů: seznam výjimek
• E-maily je potřeba odesílat "pomalu" z velkého množství serverů
• Většinou pro firmy dostupné jako placená služba

SPAM a SMTP servery

• Ochrana proti SPAMu zaváděna na konci 90. let 20. století
• Přijímá e-mail pouze od důvěryhodných IP adres
• Od kohokoliv jen jako koncový příjemce:
• MTA s e-mailovými schránkami
• Výjimky:
• Autentizovaní uživatelé: AUTH pro SMTP
• Servery s MX záznamy v DNS
• Spammer pak nemá přes koho rozesílat a vznikají mu další náklady na rozesílání e-mailů

Filtrování zpráv

• Podle charakteristických slov
• Filtr má svoji databázi slov
• Různé váhy na slova: bayesovský filtr
• Vlastně expertní systém s umělou inteligencí
• Musí se nejprve "naučit" - databáze SPAMu
• SPAM je, když je pravděpodobnost větší než X
• Když je ještě větší než Y, pak samoučení
• Charakteristické rysy: špatně formátované hlavičky a podobně
• OCR na obrázkový SPAM

HOAX

• Virální zprávy
• Těží z naivity uživatelů
• Uživatelé si sami zprávy přeposílají
• Příklad: "Daruj krev umírající holčičce", "Pište PIN obráceně", ...
• Často nesmyslné
• Ochrana: nepřeposílat, přemýšlet, školit uživatele
• Jste-li na pochybách: www.hoax.cz - seznam známých HOAXů

Zabiják SPAMu

• SpamAssasin: program pro klasifikaci SPAMu
• Dnes pod hlavičkou Apache Foundation
• Bayesiánský filtr, databáze charakteristik
• Vlastní pravidla, veřejné blacklisty IP adres
• Propojení s externím OCR
• Když je pravděpodobnost nižší než 5, tak je e-mail OK
• Když je vyšší jak 5, označí e-mail jako SPAM
• MUA má pak možnost poštu roztřídit