Имеем:

• Debian Linux
• nginx в режиме FastCGI + php

Требуется:

• добавить поддержку perl / cgi в директории cgi-bin

Ну не Apache же ставить ради такой ерунды :) Для этого подойдёт быстрый и лёгкий веб-сервер mini-httpd.

apt-get install mini-httpd

Редактируем файл конфигурации /etc/mini-httpd.conf. Я изменил там лишь 3 строки:

port=9001
user=www-data
data_dir=/var/www/site.ru

Затем, в /etc/default/mini-httpd разрешаем автоматическую загрузку этого веб-сервера:

START=1

И запускаем его:

/etc/init.d/mini-httpd start

Теперь настроим nginx, чтобы при обращении к perl / cgi – скриптам он проксировал запросы на mini-httpd. В файле конфигурации nginx в секции server добавляем следующий location:

server {
 
....
 
	location ~ \.pl$ {
		root   /var/www/site.ru/cgi-bin;
		gzip off;
		proxy_pass    http://127.0.0.1:9001;
	}
 
....
 
}

Перезапускаем nginx и готово! :)

P.S.
Чтобы работала авторизация и куки, в location также можно добавить вот эти параметры:

set                     $referer        $http_referer;
proxy_set_header        Referer         $referer;
proxy_set_header        X-Real-IP       $remote_addr;
proxy_set_header        Host            localhost:9001;
proxy_set_header        REQUEST_METHOD  $request_method;
proxy_set_header        REMOTE_USER     $remote_user;
proxy_set_header        REMOTE_ADDR     $remote_addr;
proxy_set_header        SERVER_NAME     localhost;
proxy_set_header        SERVER_PORT     9001;
proxy_set_header        HTTP_COOKIE     $http_cookie;

Был великий и ужасный Slackware. И работал на нём Icecast сервер, настроенный следующим образом. И всё было хорошо. Но пришло время ставить Debian..

Итак, на тот момент под руками оказался Debian Lenny. Кстати, Squeeze был уже на подходе, но переходить до выхода релиза не хотелось. Но это не важно, так как всё что описано ниже должно запуститься и под Debian Squeeze.

Устанавливаем Icecast2:

В список репозиториев /etc/apt/sources.list добавьте мультимедиа репозиторий Debian, если у вас его нет, так как некоторые пакеты будут устанавливаться оттуда:

для squeeze:
deb http://mirror.yandex.ru/debian-multimedia/ squeeze main

для lenny:
deb http://mirror.yandex.ru/debian-multimedia/ lenny main

apt-get update

apt-get install icecast2

Автоматически будет созданы учётная запись, файл конфигурации и прочее. Для того, чтобы icecast запустился, необходимо в /etc/default/icecast2 установить значение:

ENABLE=true

Отредактируем файл конфигурации /etc/icecast2/icecast.xml

Если выкинуть всю воду и лишние комментарии, то получилось следующее:

<icecast>
	<limits>
        <clients>100</clients>
        <sources>2</sources>
        <threadpool>5</threadpool>
        <queue-size>524288</queue-size>
        <client-timeout>30</client-timeout>
        <header-timeout>15</header-timeout>
        <source-timeout>10</source-timeout>
        <burst-on-connect>1</burst-on-connect>
        <burst-size>165535</burst-size>
    </limits>
 
    <authentication>
        <source-password>password</source-password>
        <relay-password>password</relay-password>
        <admin-user>admin</admin-user>
        <admin-password>password</admin-password>
    </authentication>
 
    <hostname>siava.ru</hostname>
 
    <listen-socket>
        <port>8000</port>
    </listen-socket>
 
    <fileserve>1</fileserve>
    <paths>
        <basedir>/usr/share/icecast2</basedir>
        <logdir>/var/log/icecast2</logdir>
        <webroot>/usr/share/icecast2/web</webroot>
        <adminroot>/usr/share/icecast2/admin</adminroot>
        <pidfile>/usr/share/icecast2/icecast.pid</pidfile>
        <alias source="/" dest="/status.xsl"/>
    </paths>
 
    <logging>
        <accesslog>access.log</accesslog>
        <errorlog>error.log</errorlog>
      	<loglevel>4</loglevel> <!-- 4 Debug, 3 Info, 2 Warn, 1 Error -->
      	<logsize>10000</logsize> <!-- Max size of a logfile -->
    </logging>
 
    <security>
        <chroot>0</chroot>
        <changeowner>
            <user>icecast2</user>
            <group>icecast</group>
        </changeowner>
    </security>
</icecast>

(текст конфига желательно должен иметь кодировку utf8)

Теперь можно запустить Icecast2 командой:

/etc/init.d/icecast2 start

Давайте разберёмся как направить на Icecast2 аудиопоток.

Установка ices0

Я не сторонник перехвата чужих потоков, а хочу воспроизводить собственную коллекцию mp3 файлов. Поэтому, для таких целей понадобится ices. Но не тот, что имеется в репозитории Debian (ices2), а ices0. Так как ices2 воспроизводит только ogg-файлы (насколько я понял), а мне надо mp3.

К сожалению, ices0 отсутствует в репозитории, поэтому будем его собирать вручную. Однако, для сборки вручную надо подготовиться. Для этого установим следующее:

apt-get install build-essential

Также, нам потребуются библиотеки libshout3 и libxml2:

apt-get install libshout3-dev libxml2-dev

И ещё, для поддержки mp3 файлов потребуются библиотеки libmp3lame0. У меня не получилось их установить прямо из репозитория, поэтому ставил самостоятельно:

для 32-битных систем:

wget http://debian-multimedia.org/pool/main/l/lame/libmp3lame0_3.98.4-0.0_i386.deb
wget http://debian-multimedia.org/pool/main/l/lame/libmp3lame-dev_3.98.4-0.0_i386.deb

или для 64-битных:

wget http://debian-multimedia.org/pool/main/l/lame/libmp3lame0_3.98.4-0.0_amd64.deb
wget http://debian-multimedia.org/pool/main/l/lame/libmp3lame-dev_3.98.4-0.0_amd64.deb

dpkg -i libmp3lame0_3.98.4-0.0_i386.deb
dpkg -i libmp3lame-dev_3.98.4-0.0_i386.deb

(для 64-битной аналогично)

Всё готово для сборки ices0.

Скачиваем исходники:

wget http://downloads.us.xiph.org/releases/ices/ices-0.4.tar.gz

распаковываем:

tar -xf ices-0.4.tar.gz

и переходим в директорию с исходниками ices0:

cd ices-0.4

выполняем конфигурирование:

./configure --with-lame

и сборку с установкой:

make & make install

Готово! ices0 установлен. Теперь выполним его конфигурацию. Кстати, а надо ли? :) Я не уверен, но на всякий случай состряпал следующий конфиг. /usr/local/etc/ices.conf:

<?xml version="1.0"?>
<ices:Configuration xmlns:ices="http://www.icecast.org/projects/ices">
  <Playlist>
    <File>playlist.txt</File>
    <Randomize>1</Randomize>
    <Type>builtin</Type>
    <Module>ices</Module>
  </Playlist>
 
  <Execution>
    <Background>1</Background>
    <Verbose>0</Verbose>
    <BaseDirectory>/usr/share/icecast2</BaseDirectory>
  </Execution>
 
  <Stream>
    <Server>
      <Hostname>siava.ru</Hostname>
      <Port>8000</Port>
      <Password>password</Password>
      <Protocol>http</Protocol>
    </Server>
 
  </Stream>
</ices:Configuration>

(текст конфига желательно должен иметь кодировку utf8)

Финальные штрихи

Составим плейлист для ices0:

find /var/ftp/music/ -name '*.mp3' -exec echo '{}' \; >  /usr/share/icecast2/playlist.txt

И запустим аудиопоток:

su icecast2 -c "ices -c '/usr/local/etc/ices.conf' \
-D '/var/log/icecast2/' -F '/usr/share/icecast2/playlist.txt' \
-m 'radio' -u 'http://siava.ru:8000/radio.m3u' -d 'Music' \
-n 'Siava.Ru Music' -g 'All' -b 128 -B -r"

Вот и всё :)
Перепечатка только с указанием ссылки на источник. (c) Siava.Ru

Во-первых, понаблюдаем происходят ли частые парковки диска. Для этого, во время работы ноутбука от батареи, откройте консоль и выполните:

sudo smartctl --all /dev/sda | grep -i load_cycle

Повторите эту команду через пару минут. Если значение Load Cycle Count за это время прибавится, значит проблема имеется. Поэтому, в /etc/pm/power.d/ создаём файл с именем 95hdparm-apm следующего содержания:

#!/bin/sh
hdparm -B 254 /dev/sda

Сохраняем его и устанавливаем права на запуск:

sudo chmod u+rwx,g+rx,o+rx /etc/pm/power.d/95hdparm-apm

Перезагружаемся и проверяем работу. Для этого выполните команду:

sudo hdparm -I /dev/sda | grep -i "Advanced power management level"

Если результат равен 254, значит всё корректно :)

Оказывается, что все пользователи теперь записываются в новый файл /etc/samba/private/passdb.tdb, а при обновлении никакой конвертации или переноса не произошло. Через 10 минут поиска и чтения был найден очень простой инструмент. Перенос пользовательских данных происходит одной простой командой:

root@server:/etc/samba/private# pdbedit -i smbpasswd

Надеюсь, кому-нибудь пригодится :)

Первый способ, используя стандартный wget:

# wget -rEkp -np -nc http://www.domain.com/

Второй способ, используя httrack:

# httrack "http://www.domain.com/" -O "./www.domain.com" "+*.www.domain.com/*" -v

Первый способ намного более быстрый, но с некоторыми динамическими страницами могут быть проблемы, поэтому на помощь приходит httrack, -  жаль только, работает он гораздо медленнее :(

Как оказалось, всё элементарно и просто :)

Для этого нам понадобится утилита convmv. Скачать её можно отсюда. На момент написания статейки, последняя её версия была 1.14. В архиве прилагается уже скомпилированный вариант, который можно сохранить в директорию /usr/local/bin, либо запускать с любого места.

Параметры командной строки convmv:

# ./convmv --help
Your Perl version has fleas #22111 #37757 #49830
convmv 1.14 - converts filenames from one encoding to another
Copyright (C) 2003-2008 Bjoern JACKE <bjoern@j3e.de>
 
This program comes with ABSOLUTELY NO WARRANTY; it may be copied or modified
under the terms of the GNU General Public License version 2 or 3 as published
by the Free Software Foundation.
 
USAGE: convmv [options] FILE(S)
-f enc     encoding *from* which should be converted
-t enc     encoding *to* which should be converted
-r         recursively go through directories
-i         interactive mode (ask for each action)
--nfc      target files will be normalization form C for UTF-8 (Linux etc.)
--nfd      target files will be normalization form D for UTF-8 (OS X etc.)
--qfrom    be quiet about the "from" of a rename (if it screws up your terminal e.g.)
--qto      be quiet about the "to" of a rename (if it screws up your terminal e.g.)
--exec c   execute command instead of rename (use #1 and #2 and see man page)
--list     list all available encodings
--lowmem   keep memory footprint low (see man page)
--nosmart  ignore if files already seem to be UTF-8 and convert if posible
--notest   actually do rename the files
--replace  will replace files if they are equal
--unescape convert%20ugly%20escape%20sequences
--upper    turn to upper case
--lower    turn to lower case
--parsable write a parsable todo list (see man page)
--help     print this help

Предположим, что содержимое файлового сервера расположено в каталоге /home/ftp , тогда для конвертации имён файлов и директорий из кодировки cp-1251 в utf-8:

# ./convmv -r --notest -f cp-1251 -t utf-8 /home/ftp/*

Чтобы проверить работу конвертера, но без вноса изменений в файловую систему, выполняйте команду без параметра –notest

Надеюсь, что вам также пригодится, как пригодилось мне :)

Первый способ, используя ftp

#!/bin/sh
ftp -n -v -p -i "ftp.remote.domain" << cmd
user "login" "password"
cd /remotedir
lcd /localdir
mput *
quit

Минусы его заключаются в том, что все файлы из локальной директории закачиваются на удалённый ftp-сервер при каждом вызове скрипта. Именно все, а не те, что изменились.

Второй способ, используя lftp

#!/bin/sh
lftp -p 21 -u login,password ftp.remote.domain/remotedir  << cmd
mirror -e -R -c -v --log=/var/log/lftp.log /localdir/path .
quit

листинг всех параметров lftp mirror:

Usage: mirror [OPTS] [remote [local]]

Mirror specified remote directory to local directory

-c, --continue		continue a mirror job if possible
-e, --delete		delete files not present at remote site
--delete-first		delete old files before transferring new ones
-s, --allow-suid	set suid/sgid bits according to remote site
--allow-chown		try to set owner and group on files
--ignore-time		ignore time when deciding whether to download
-n, --only-newer	download only newer files (-c won't work)
-r, --no-recursion	don't go to subdirectories
-p, --no-perms		don't set file permissions
--no-umask		don't apply umask to file modes
-R, --reverse		reverse mirror (put files)
-L, --dereference	download symbolic links as files
-N, --newer-than=SPEC	download only files newer than specified time
-P, --parallel[=N]	download N files in parallel
-i RX, --include RX	include matching files
-x RX, --exclude RX	exclude matching files
RX is extended regular	expression
-v, --verbose[=N]	verbose operation
--log=FILE		write lftp commands being executed to FILE
--script=FILE		write lftp commands to FILE, but don't execute them
--just-print, --dry-run	same as --script=-

When using -R, the first directory is local and the second is remote.
If the second directory is omitted, basename of first directory is used.
If both directories are omitted, current local and remote directories are used.

Таким образом, на удалённый ftp из локальной директории загружаются только новые файлы. Отсутствующие в локальной директории файлы также удаляются на удалённом ftp сервере. За это отвечает параметр -e

ЧАСТЬ 1 – Оптимизация винчестера

Корневой раздел, на который у вас установлен Linux, скорее всего, содержит файловую систему ext3/ReiserFS/XFS. Сведения о монтируемых при загрузке разделах содержатся в файле /etc/fstab, где обязательно присутствует корневой раздел (/). Обратите внимание на пункт defaults, обозначающий стандартный набор параметров монтирования. Однако мы можем указать их и вручную, поставив после defaults запятую и перечислив ряд настроек, которые сделают файловую систему быстрее.

Например, для
ReiserFS: acl,user_xattr,noatime,nodiratime,notail,barrier=flush
Ext3: acl,user_xattr,noatime,nodiratime,barrier=1
XFS: defaults,noatime,nodiratime,logbufs=8,logbsize=32k,biosize=16,allocsize=512m,barrier

Вот что все это означает:
user_xattr – расширенные атрибуты файлов (используются для индексирования).
barrier – команда очистки кэша.
noatime и nodiratime – отключение записи времени последнего доступа (для файлов/директорий).
allocsize – размер заранее резервируемой области на диске. Высокое значение помогает избежать фрагментации.
biosize – размер I/O-блоков по умолчанию.
logbufs – количество встроенных буферов для ведения журнала.
logbsize – размер буфера.

Последние 3 параметра увеличивают скорость чтения/записи.

Включаем режим Writeback

В большинстве дистрибутивов при создании раздела ext3 используется тип журналирования Ordered (упорядоченный), т.к. он обеспечивает наилучшее соотношение скорости и безопасности. Однако самым быстрым режимом является Writeback (журналирование после записи): он осуществляет наименьшее журналирование.

Для его включения рекомендуется загрузиться в другой дистрибутив или с LiveCD, так как необходимо, чтобы ваш обычной корневой раздел (в нашем примере это /dev/sda1) был размонтирован:

tune2fs -O has_journal -o journal_data_writeback /dev/sda1

Включение индексирования директорий

Индексирование директорий увеличивает скорость чтения и записи «в» и «из» каталогов вашего жесткого диска. Это полностью безопасный и рекомендованный режим.

Сначала нужно указать режим журналирования:
tune2fs -O dir_index /dev/sda1

Затем – включить индексацию существующих директорий:
e2fsck -D /dev/sda1

Выполнение команды e2fsck может занять немного времени – это зависит от размера вашего раздела и количества директорий в нем.»

ЧАСТЬ 2 – Оптимизация загрузки Linux

Здесь необходимо понимать, что и когда происходит во время старта системы. Последовательность примерно такова:

1 В соответствии с записью в загрузчике GRUB/LILO, загружается ядро (kernel) и образ необходимых для загрузки драйверов (initrd).
2 Далее процесс /sbin/init запускает службы, настроенные для определенных уровней запуска. Последний уровень перед загрузкой графической системы – runlevel 5.
3 Запускается менеджер дисплея (обычно gdm/kdm), предлагающий ввести имя пользователя и пароль (если не включена функция автоматического входа в систему).
4 После того как вы авторизуетесь, будет загружена рабочая среда (обычно KDE или GNOME). При автоматическом входе в систему среда загружается сразу после запуска gdm/kdm, которых вы, соответственно, не видите.

Обычно все советы по уменьшению времени загрузки сводятся к отключению ненужных служб, но мы пойдем дальше и постараемся ускорить загрузку на самом первом этапе. Для этого необходимо пересобрать ядро без образа initramfs, который и отвечает за содержание файла initrd в директории /boot. Чтобы ОС смогла загрузиться без файла initrd, необходимо, чтобы в ядро был встроен драйвер файловой системы. Все остальные драйверы могут присутствовать в виде отдельных модулей. Итак, откройте окно конфигурации ядра (make xconfig или make menuconfig), найдите параметр Initial RAM filesystem and RAM disk (initramfs/initrd) support и снимите с него галочку. Теперь в разделе File systems убедитесь, что драйвер корневой файловой системы встроен в ядро (y), а не собирается в виде модуля (m). В качестве дополнительных мер по оптимизации ядра не забудьте сделать следующее:

В разделе Processor type and feautures выбрать свой тип процессора, повышенную частоту таймера (1000 Hz) и уменьшение задержек – Preemptible kernel (если у вас настольный компьютер). Также вы можете попробовать бестактовый режим – Tickless kernel, который очень положительно влияет на многозадачность.
Отключить явно ненужные модули, типа Dallas 1-Wire bus и другие устройства, которых у вас точно нет (например, Bluetooth или Firewire). Этим вы сэкономите время при сборке ядра.
Обязательно отключите Kernel debugging в разделе Kernel hacking, так вы сэкономите и на размере итогового ядра.

Теперь можно собрать ядро привычными командами: make all, make modules_install и make install. В большинстве современных дистрибутивов автоматически будет создана запись в файле загрузчика. Вы заметите, что она лишена записи об initrd. Теперь ядро будет загружаться и работать заметно быстрее!

Так вот, мой некогда любимый Deadline, а затем, сменивший его Anticipatory теперь нервно курят в сторонке :) Суть такова, что планировщик CFQ я не использовал из-за того, что его советуют ставить на Desktop-системы, мол для сервера он не катит.. а вот и зря! Deadline безусловно хорош, но при наличие на одном компе сервисов: mysql, httpd, игрового сервака, ftp, индексаторов и изрядного количества посетителей, которые умудряются всем этим пользоваться одновременно, получаются такие ситуации, когда из-за какого-нибудь тяжёлого SQL-запроса всё буквально «встаёт», ожидая его завершения. Система перебрасывая львиную долю своих ресурсов на этот запрос, ставя остальные в очередь, – а это не есть хорошо для веб-сервера.

Anticipatory делает примерно то же самое, а в некоторых случаях хуже. Пытаясь уменьшить число обращений к диску он заставляет систему ожидать некоторое время, чтобы поймать схожие запросы к областям диска. И опять же, в случае тяжёлых запросов к базе данных все остальные ждут своей очереди.

CFQ – планировщик активный по-умолчанию, а ведь и не зря! Он равномерно распределяет обращения к дисковой системе, выделяя примерно одинаковые ресурсы на это. Для веб-сервера с базой данных это просто идеальное сочетание, – все страницы генерятся быстро и непринуждённо, load average не скачет как сумасшедший, а равномерно колеблется в пределах некоторых отличных от нуля значений :)

Стоит отметить ещё одну мелочь – Timer frequency рекомендую задать максимальным значением в 1000Hz для ускорения времени отклика ядра на системные запросы.