No advertising, no support, no bug fixes, payment in advance.
— AT&T Unix Policy (1984)

Digital Ocean FreeBSD

Kommentar eines Users zum Launch von FreeBSD bei DigitalOcean. Einfach nur w0rd.

Should have gone with OpenBSD instead to be honest. Half the requests on your UserVoice are for OpenBSD. All the coolest stuff in FreeBSD comes from OpenBSD.

OpenBSD – the world’s simplest and most secure Unix-like OS. Creator of the world’s most used SSH implementation OpenSSH, the world’s most elegant firewall PF, the world’s most elegant mail server OpenSMTPD, the OpenSSL rewrite LibreSSL, and the NTP rewrite OpenNTPD. OpenBSD – the cleanest kernel, the cleanest userland, the cleanest configuration syntax and some of the world’s best documentation.

FreeBSD, on the other hand, is becoming more of a testbed for experimental, some would even say unnecessary technologies: https://news.ycombinator.com/item?id=8546756 … It’s also having a hard time catching up to OpenBSD: http://itwire.com/business-it-news/open-source/62641-crypto-freebsd-playing-catch-up-says-de-raadt

Ziemlich interessante Diskussion in der Kommentarsektion. Weiterlesen lohnt.

Trotz allem, gute Sache. Mehr Provider sollten mal *BSD VMs anbieten. Wegen mangelnder Location in .de wirds wohl aber erstmal rootbsd.

leave

Die Tage bin ich auf ein über 30 Jahre altes Stück Software gestoßen, dass seinen Ursprung in NetBSD hat. leave ist klein, simpel und nützlich. Tools die aus Jahrzehnten stammen, wo man als Admin noch Multi-User Großrechner administirert hat und CLI Programme um das Arbeitsleben herum programmiert hat.

leave waits until the specified time, then reminds you that you have to leave. You are reminded 5 minutes and 1 minute before the actual time, at the time, and every minute thereafter. When you log off, leave exits just before it would have printed the next message.

Auch heute noch ist es in NetBSD und OpenBSD per default enthalten. Unter Debian nachinstallierbar.

Es kann auch etwas penetrant werden, jetzt endlich heim zu gehen.

In Zeiten in denen man mit am Retina Display mit 4 Splitwindows, >15 Terminaltabs und multiplen Ebenen von tmux-Sessions sitzt aber leider eher unpraktisch.

cmddocs

“Ich habe mein eigenes Wiki programmiert. So einfach ist das.”

In letzter Zeit hab ich damit den ein oder anderen seltsamen Blick kassiert. Tatsächlich ist aber alles etwas anders.

gitit

Ich war lange ein zufriedener User von gitit. Zugegeben, nur wenn es dann wirklich mal kompiliert war. Ich wollte nicht zum 3. mal nach neuem OpenBSD Release 4-5 Stunden verschwenden, das Stück Haskell gebaut zu bekommen. Außerdem war ich das Webtinterface irgendwie Leid.

Übergang

Also was will ich überhaupt? Ich will auf CLI markdown schreiben und die Files mit git unter Versionskontrolle halten. Möglichst einfach durchsuchen und bearbeiten können. Ich dachte okay, gitit speichert Markdown Files. Ich kopier einfach alles weg, lege mir in einem Verzeichnis auf meiner OpenBSD CLI Maschine an, in dem ich alles finde was ich brauche. Das passt super ins Konzept mit mutt, taskwarrior, jrnl, weechat und was ich sonst so verwende.

Auf längere Sicht wurde es aber ziemlich Tippintensiv. Jedes mal alle git add, git commit, grep, tree Commands nutzen. Es hat sich irgendwie müßig angefühlt. Hab nicht mehr gerne damit gerarbeitet, kam zu dem Schluss das ich auf Commandline bleiben, aber mir das dokumentieren/notieren etwas erleichtern will.

cmddocs

Zuerst machte ich mich auf die suche nach CLI-Wikis, aber die da sowas so gut wie garnicht zu existieren scheint, fing ich an mir ein kleines Commandline Interface mit Python zu bauen. Dazu benutzt hab ich das Cli Modul, was so gefühlt der heilige Gral der CLI Module ist. Tabcompletion, Helps, History, CTRL-R (unendlich wichtig), ESC-., ist alles schon drin.

Die Codebase von cmddocs war nicht besonders schön, aber tat das was ich wollte. Ich war erstmal zufrieden. Dann kam #31c3, ich traf posativ wieder, der mich erstmal darauf Hinwies, wie hässlich eigentlich. Nach seinen Tipps fing ich dann an das ganze etwas umzustrukturieren. Eigentlich wollte ich das gute Stück nie irgendwo publishen, aber durch die Änderungen sieht der Code jetzt doch einigermaßen annehmbar aus. Ein Github Repo+Readme angelegt und gepushed.

Demo hier: asciinema cmddocs demo (etwas outdated)

Es fehlen noch ein paar Features, der View-Mode bzw. der aus 6 Zeilen bestehende Markdown->ANSI Converter hat noch ein paar Problemchen, aber alles in Allem bin ich wirklich zufrieden was daraus geworden ist.

Router Advertisments in OpenBSD

Seit OpenBSD 5.6 hat sich die Konfiguration für IPv6 Router Advertisements geändert.

Bisher hat man über sysctl ein globales Flag eingeschaltet, das die automatische Konfiguration von IPv6 Adressen erlaubt. Das Flag enabled die Option aber automatisch für alle Interfaces. Deshalb wurde es entfernt und durch ein Flag in ifconfig ersetzt.

1
2
$ sysctl net.inet6.ip6.accept_rtadv=1
sysctl: fourth level name accept_rtadv in net.inet6.ip6.accept_rtadv is invalid

Die neue Konfiguration wird nun in /etc/hostname.em0 angezogen.

1
2
3
$ cat hostname.em0
dhcp
inet6 autoconf

Ist also pro Interface einzeln konfigurierbar. Bin darüber gestolpert, da mir das beim (etwas dürftig formulierten) Changelog nicht aufgefallen ist. Nach etwas Mailinglisten stöbern hier und da konnt ichs aber finden.

Danach noch ein sh /etc/netstart em0 und IPv6 geht wieder.

SMTPS OpenSMTPD

Mein Mailprovider ist mittlerweile ein halbes Jahr neomailbox.net. Seit einiger Zeit hatte ich aber Probleme beim Einliefern von Mails zum SMTP Server. Mutt resettet beim SMTP mit CRAM-MD5 über SSL immer wieder die Verbindung. Kein Einliefern möglich.

Eigentlich ist die .muttrc ziemlich straight-forward was das betrifft

1
2
3
4
5
set smtp_url="smtp://user@neomailbox.net"
set smtp_pass="PW"
set ssl_starttls = yes
set smtp_authenticators = "cram-md5"
set ssl_force_tls = yes

Debugging

Also erstmal openssl angeworfen um damit zu schauen was die Serverseite so erzählt. Zuvor aber Username und Password in BASE64 encodiert vorbereiten:

1
2
perl -MMIME::Base64 -e 'print encode_base64("passwort");'
perl -MMIME::Base64 -e 'print encode_base64("username");'

Dann Verbindung zum SMTPS aufbauen und bisschen Tippern.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
openssl s_client -connect 5.148.176.58:465
---
220 s3.neomailbox.net ESMTP
ehlo noc.n0q.org
250-s3.neomailbox.net Hello noc.n0q.org [127.0.0.1]
250-SIZE 52428800
250-PIPELINING
250-AUTH CRAM-MD5 PLAIN LOGIN
250-STARTTLS
250 HELP
AUTH LOGIN
334 VXNlcm5hbWU6
XYZABCDEFGHIJ
334 UGFzc3dvcmQ6
ABCDEFGHIJKLMNO
235 Authentication succeeded
MAIL FROM:example@example.org
250 OK
RCPT TO:example@example.org
RENEGOTIATING
depth=1 C = BE, O = GlobalSign nv-sa, CN = AlphaSSL CA - SHA256 - G2
verify error:num=20:unable to get local issuer certificate
verify return:0

Ich bin mir bis jetzt nicht sicher ob das renegotiaten nach MAIL FROM: normal ist. Danach war jedenfalls auch meine Plaintext-Session vorbei. Fand ich komisch. Ich dachte auch ob es vielleicht am LibreSSL des OpenBSD auf der Kiste liegt, die ich benutze. Ein Test mit Debian bewies aber dann das Gegenteil.

OpenSMTP als lokaler MTA

So konnte das ja auch nicht bleiben. Mails verschicken können wär schon schön. Da es sowieso ein OpenBSD ist, auf der mein mutt läuft war der OpenSMTPD schon da.

Was folgt ist eine kurze Anleitung, alle Mails an einen remote SMTP Server mit Authentifizierung weiterzuleiten.

Das secrets File erstellen

1
2
3
4
$ echo "neo user:pw" > /etc/mail/secrets 
$ chown root:_smtpd /etc/mail/secrets 
$ chmod 640 /etc/mail/secrets 
$ makemap /etc/mail/secrets

und die smtpd.conf wie folgt anpassen:

1
2
3
4
5
listen on lo0
table aliases db:/etc/mail/aliases.db
table secrets db:/etc/mail/secrets.db
accept for local alias <aliases> deliver to mbox
accept for any relay via secure+auth://neo@neomailbox.net:465 auth <secrets>

Die .muttrc auf localhost umbiegen

1
set smtp_url="smtp://localhost:25"

Das hat jetzt nicht nur den Vorteil, dass ich wieder Mails versenden kann. Mir gefällt auch, dass ich jetzt bei eventualler nicht-Verfügbarkeit des Provider-SMTPs eine queuende Instanz habe. Ausserdem Logfiles in denen ich wirklich sehen kann wann eine Mail mein System verlassen hat. Negativ: Eine Komponente mehr die potentiell kaputt gehen kann.

Von gebundenen Ports die nicht hören wollen

Ich komme immer mal wieder in die Verlegenheit in der Arbeit solo zu benutzen. Um doppelte Läufe von Cronjobs zu verhindern beispielsweise.

Der betroffene Cronjob konnte nun aber schon mehrere Stunden nicht mehr ausgeführt werden.

1
2
./solo -port=3005 ./script.sh
solo(3005): Address already in use

Scheinbar läuft dieser Prozess noch, vermutlich ist er der eigentliche Prozess aber auf irgendeine Weise gestorben. Also machte ich mich auf die Suche nach dem Prozess, der den Port blockiert.

1
2
3
4
5
6
7
8
$ netstat -tapn | grep 3005 
$ lsof -Pnl +M -i4 | grep 3005
$ fuser 3005/tcp
$ lsof -i :3005
$ socklist | grep 3005
$ cat /proc/net/tcp 
$ cat /proc/net/udp 
$ ss -pl |grep 3005

Man sieht schon, ich hab “ein bisschen was” versucht um das herauszubekommen. Ich habe schon an solo an sich gezweifelt, und danach angefangen zu verifizieren, ob der Port wirklich in Verwendung ist.

1
2
$ netcat -lvp 3005
retrying local 0.0.0.0:3005 : Address already in use

Ich habe auch mit strace mitgehört, was Perl da tut.

1
2
3
$ strace -o /tmp/foo ./solo -port=3005 "echo anfang ; sleep 5 ; echo ende"
[...]
> bind(3, {sa_family=AF_INET, sin_port=htons(3005), sin_addr=inet_addr("127.0.0.1")}, 16) = 0

Okay. Der Port wird verwendet. Bis mir der Unterschied zwischen bind() und listen() auf OS-Ebene wirklich klar wurde verging eine peinlich lange Zeit. Was bedeutet das innerhalb des Betriebssystems eigentlich. Ich kann diesen Port/Socket mit den oben genannten Tools garnicht finden. Weil er lediglich “gebunden” ist aber nicht “hört”, nicht für andere zur Kommunikation bereitsteht.

Das war auch so dieser Moment, in dem ich mir dachte dass mir ein paar Uni-Vorträge in Betriebssystem-Lehre wohl nicht geschadet hätten.

Die einzige Weise mit der ich den Prozess finden konnte war mit einem Hinweis aus dem Netz. Bei nicht erkennbarem Protokoll werden in lsof mit can't identify protocol gekennzeichnet.

1
2
$ lsof | grep identify
2727            root    3u     sock                0,6      0t0   41804186 can't identify protocol

Das war aber auch schon das einzige was mir einfiel. Problem hatte sich dann für mich erledigt. Prozess beseitigt. Funktionierte wieder. Sollte jemand aber einen Hint haben, wie man gezielter danach suchen kann, bitte her damit!

Hartes Discard Protokoll

Ich habe verloren. Als ich gestern das OpenBSD unter devnull-as-a-service.com upgegraded habe, musste ich die Kiste durchbooten.

Nachdem ich das Discard Protokoll über den OpenBSD inetd auf Port 9 aktiviert habe, haben ein paar Leute dort dauerhaft Connections geöffnet.

Ich dachte, mal sehen wer längern kann. Client oder Server. Stellte sich heraus: die Clients.

Aber da ich ein guter Verlierer sein kann, Respekt und Gratz.

OpenBSD IPv6

Was ich ja schon immer komisch fand ist, dass die Dokumentation oder auch uch How-Tos im Netz was das Thema OpenBSD und IPv6 angeht echt ultra duerftig ist.

Da ich meine Debian VM auf der ich weechat, mutt, jabber usw laufen habe vor nem Monat ebenfalls auf OpenBSD umgezogen hab, stellte sich mir das Problem schon wieder.

IPv6 mit Router Adverisement (rtadv)

Am komfortablesten ist natuerlich einfach das rtadv den Hosting Providers herzunehmen. In meinem Fall rootbsd.net haben aber nur kleine Anleitungen fuer FreeBSD.

Um den IP Stack auf IPv6 Advertisements antworten zu lassen muss nur /etc/sysctl.conf editiert werden mit

net.inet6.ip6.accept_rtadv=1

Einmal rebooten oder per Hand sysctl net.inet6.ip6.accept_rtadv=1 ausfuehren.

1
2
3
4
5
6
7
8
9
10
11
$ ifconfig
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
        lladdr 00:16:3e:2c:4a:41
        priority: 0
        groups: egress
        media: Ethernet autoselect (1000baseT full-duplex)
        status: active
        inet6 fe80::216:3eff:fe2c:4a41%em0 prefixlen 64 scopeid 0x1
        inet 12.34.56.78 netmask 0xffffff80 broadcast 185.34.0.255
        inet6 2a00:d1e0:1000:3100:dead:beef:4a41 prefixlen 64 autoconf pltime 604729 vltime 2591929
        inet6 2a00:d1e0:1000:3100:dead:beef:df24 prefixlen 64 autoconf autoconfprivacy pltime 18185 vltime 537125

IPv6 mit statischer IP

Wenn der Provider kein Router Advertisment anbietet, aber dafür eine IP assigned und auf diese IP ein eigenens Netz für einen routet.

Konfigurieren der Adressen:

1
2
3
4
5
6
$ vi /etc/hostname.em0
inet 213.95.21.200 255.255.255.0 NONE
inet6 alias 2001:780:3:5::122 64   # Transit IP
inet6 alias 2001:780:132::1 48     # IP aus eigenem Netz
inet6 alias 2001:780:132::2 48     # IP aus eigenem Netz
inet6 alias 2001:780:132::3 48     # IP aus eigenem Netz

Konfiguration des Gateways

1
2
3
vi /etc/mygate 
213.95.21.1
2001:780:3:5::1

Und danach Interface reloaden mit sh /etc/netstart em0.

OpenBSD httpd

Reyk Floeter hat zuletzt begonnen seinen relayd zu forken und einen minimalistischen Webserver daraus zu bauen. Langfristig soll httpd in OpenBSD den erst kürzlich in Base gewanderten nginx ersetzen.

Die Hintergründe dazu kann man gut im BSDNOW Podcast 053 nachhören. Zuerst denkt man so “Was? Noch ein HTTP Daemon?”. Zusammengefasst soll der neue httpd aber genau das werden (und vor allem bleiben) wie nginx angefangen hat. Plain, Free, minimalistisch, einfach. So wurden auch schon mehrere Diffs/Features vom Entwickler abgelehnt.

Konfiguration OpenBSD gemäß sehr straight forward. pf/relayd like. Hab mir nen 5.6 Snapshot vom Mirror meiner Wahl besorgt und das Teil mal ausprobiert.

Nach etwas herumprobieren: grinsen. Comic Sans in den default Error Messages.

Bin mir nicht sicher ob das so bleibt. Die Config Parameter sind wie bei OpenBSD Software zu erwarten gut dokumentiert und eingängig.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
prefork 5

server "default" {
        listen on em0 port 80
        log syslog
        log access default-access.log
        directory auto index
        connection timeout 30
        connection max requests 120
}

server "httpd1.noqqe.de" {
        listen on 192.168.1.14 port 80
        root "/htdocs/httpd1/"
        log syslog
        directory auto index
}

server "httpd2.noqqe.de" {
        listen on 192.168.1.14 port 80
        root "/htdocs/httpd2/"
        log syslog
        directory auto index
        connection timeout 3600
}

Noch ist das gute Stück nicht Feautre-Complete bzw. Production-Ready. Dinge die noch fehlen, aber kommen werden ist zum Beispiel Basic HTTP Auth. SSL und ein bisschen mit beeswithmachineguns Performance austesten hab ich bisher noch nicht gemacht. curlfor-loop mit time zum Ausprobieren kann man kaum Performance Test nennen ;) Demnächst dann vielleicht.

httpd wird er ab 5.6 in Base mit nginx koexistieren. Portable Version ist ebenfalls geplant. Freu mich drauf.