[ Présentation | Squid (installation de base , installation avec squidguard ) | wwwoffle ( Caractéristiques , Installation , Configuration basique , Configuration avancée , Lancement automatisé , Utilisation) ]

Dernière modification 25 juillet 2006

Les proxy

Ce document est téléchargeable (format pdf)

Configuration du réseau

Présentation

Un proxy (serveur mandataire en français) est un outil logiciel permettant de sauvegarder les pages les plus fréquemment visitées ou les dernières visitées pour qu'elles s'affichent plus rapidement. SQUID est le proxy le plus communément utilisé par les professionnels, il est plutôt destiné pour une connexion permanente avec beaucoup de machines, il a de plus besoin d'un serveur DNS pour fonctionner (ça peut être celui du FAI), si vous passez en mode off-line, vous ne pouvez plus accèder aux pages les plus fréquemment visitées ou aux dernières visitées même si elles ont été sauvegardées, de même vous ne pourrez accèder aux pages que vous mettez en ligne sur votre serveur Apache en intranet, en fait il peut être intéressant pour les utilisateurs d'ADSL.
SquidGuard couplé à Squid permet de rajouter un contrôle pour le surf à partir de listes prédéfinies, c'est particulièrement intéressant quand vous ne voulez pas que vos utilisateurs surfent n'importe où.
WWWOFFLE au contraire vous permet d'accèder en mode off-line à ces pages, il est plus destiné à un usage de type poste isolé (ou petit réseau isolé) avec une connexion intermittente.

Squid

Installation de base

ATTENTION squid a besoin d'un serveur DNS pour fonctionner, cela peut être le serveur DNS du FAI ou un serveur DNS local.

Squid est disponible avec la Mandriva, package squid-2.X-STABLE qui requiert l'installation de perl-Authen-Smb (sous ubuntu package squid). Le fichier de configuration se trouve sous /etc/squid et a pour nom squid.conf, le fichier est très long, rassurez vous il n'y a que deux, trois trucs à rajouter ou à modifier pour que ça fonctionne.

Vous pouvez modifier la taille du répertoire de cache de squid en jouant sur le premier paramètre numérique de la variable cache_dir, ici il est limité à 40Mo.

cache_dir ufs /var/spool/squid 40 16 256

Par défaut les erreurs de squid sont mailés à l'utilisateur webmaster qu'il existe ou pas sur votre système, pour mettre un autre utilisateur, modifier la variable cache_mgr, pour ma part j'ai choisi l'utilisateur root comme destinataire.

cache_mgr root

Par défaut squid va chercher le nom du serveur DNS dans le fichier /etc/resolv.conf vous pouvez éventuellement définir des adresses IP de serveurs DNS avec la variable dns_nameservers comme ceci :

dns_nameservers 10.0.0.1 192.172.0.2

Dans le cas où il n'y a pas de d'adresse de serveur DNS dans votre fichier resolv.conf (cas d'attribution dynamique), je vous conseille de rajouter cette  ligne dns_nameservers avec les adresses IP de votre fournisseur d'accès systématiquement sans quoi squid ne se lancera pas au démarrage (pour connaitre les adresses IP, il suffit de se connecter et d'éditer le fichier /etc/resolv.conf). Si vous avez un server DNS local, vous n'avez pas à activer cette ligne, dès lors que vous avez un fichier resolv.conf contenant au moins la ligne

nameserver 127.0.0.1

Pour éviter les longs time out du à la résolution d'adresse, modifiez la variable suivante

dns_timeout 2 minutes

Si vous voulez indiquer des secondes, mettre seconds

Maintenant on va définir les autorisations d'accès (ACL Access Controls List), on va définir le réseau qui a le droit d'accéder à votre système, ici c'est le réseau privé d'adresse 192.168.13.0.

acl allowed_hosts src 192.168.13.0/255.255.255.0

On définit maintenant les autorisations d'accés HTTP, on autorise uniquement les allowed_hosts qu'on a défini précédemment.

http_access allow allowed_hosts

Voilà ce que ça donne au final sur ma Mandrake pour les autorisations d'accés :

#Recommended minimum configuration:
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl allowed_hosts src 192.168.13.0/255.255.255.0
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 563
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443 563     # https, snews
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT

(...)

#Recommended minimum configuration:
#
# Only allow cachemgr access from localhost
http_access allow manager localhost
http_access deny manager
# Deny requests to unknown ports
http_access deny !Safe_ports
# Deny CONNECT to other than SSL ports
http_access deny CONNECT !SSL_ports

# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS

# And finally deny all other access to this proxy
http_access allow localhost
http_access allow allowed_hosts
http_reply_access allow all

Pour lancer squid, il suffit maintenant de taper /etc/rc.d/init.d/squid start

Si vous avez modifié /etc/squid/squid.conf, vous pouvez faire prendre en compte les modifs, en tapant:

sous mandriva

/etc/rc.d/init.d/squid restart

sous ubuntu

/etc/init.d/squid restart

Maintenant vous pouvez configurer vos postes clients, en configurant le browser pour qu'il se serve d'un proxy avec pour nom le nom de votre poste Linux (défini dans c:/windows/hosts pour Win9X) et pour port 3128 (port par défaut). Connectez vous sur le net, et normalement ça devrait marcher.

ATTENTION Squid a nécessairement besoin d'un serveur DNS pour pouvoir marcher, cela peut-être un serveur DNS local pour pouvoir accéder à votre site web intranet ou le(s) serveur(s) DNS du FAI.

Les clients peuvent maintenant être configurés pour utiliser votre serveur comme proxy (port par défaut 3128).

WWWOFFLE

Caractéristiques

Ces caractéristiques sont les suivantes:

En mode connecté :
- sauvegarde des pages pour une visualisation ultérieure
- sauvegarde de certaines pages qui ont été modifiées
- mise en place de contrôle d'accès sur certaines pages
- contrôle des pages qui ne doivent pas être sauvegardées

En mode non connecté :
- peut être configuré pour lancer une connexion pour les pages non sauvegardées
- sélection des pages à sauvegarder à la prochaine connexion
- contrôle des pages pouvant être visualisées en mode off-line

Pour info wwwoffle marche très bien aussi sous windows, pour plus d'info voir la page que je lui ai consacré.

Installation

On récupérera wwwoffle à l'URL www.gedanken.demon.co.uk/wwwoffle/ . L'archive se présente sous la forme d'un tarball wwwoffle-2.8d.tgz  qu'on décompressera dans un répertoire de travail en tapant :

tar xvfz  wwwoffle-2.8e.tgz

Cela va nous créer un repertoire wwwoffle-2.8e. Dans ce répertoire on tape

./configure --with-default-language=fr --with-confdir=/etc/wwwoffle

On indique ici qu'on veut utiliser le français comme langue par défaut, et que le fichier de conf se trouvera sous /etc/wwoffle
En tapant ./configure -help, vous aurez les options nécessaires pour changer

- le port utilisé, par défaut c'est à localhost:8080 (pour info Squid utilise le port 3128), il n'y a pas de raison de changer cela,
- le répertoire d'installation des exécutables wwwoffle, par défaut /usr/local/bin et /usr/local/sbin, à changer éventuellement,
- le  répertoire où seront sauvegardées les pages, par défaut /var/spool/wwwoffle (attention à la taille de /var).

On tape maintenant :

make

NOTE Vous avez besoin du package flex pour compiler

Puis en tant que root

make install

ATTENTION: Si vous upgradez d'une ancienne version, il faudra taper dans le répertoire wwwoffle-2.8d

./wwwoffle-2.8e/conf/upgrade-config.pl /etc/wwwoffle/wwwoffle.conf

C'est pour upgrader le fichier de conf existant, en fait chez moi ça n'a pas toujous marché au poil, il vaut mieux prendre le fichier de conf exemple qu'on trouve sous wwwoffle-2.8e/conf et l'adapter à sa config.
 

Configuration basique

On va éditer le fichier /etc/wwwoffle/wwwoffle.conf. Pour modifier éventuellement le port d'Apache et de wwwoffle, vous avez la balise StartUp

StartUp
{
 bind-ipv4         = 0.0.0.0
#bind-ipv6         = ::

 http-port         = 8080
 wwwoffle-port     = 8081

Dans un premier temps on ne va pas modifier grand chose, si votre serveur s'appelle obelix et a pour adresse 192.168.13.11, votre nom de domaine interne breizland.bz pour qu'il soit vu de votre réseau interne vous devez rajouter :

LocalHost
{
 localhost
 127.0.0.1
 obelix.breizland.bz
 192.168.13.11

  ::ffff:127.0.0.1

 ip6-localhost
 ::1

#### Example ####
# The server is on www.foo.com, with IP address 11.22.33.44.
# www.foo.com
# 11.22.33.44
}

Maintenant vous devez autoriser les machines de votre réseau local à accéder au proxy wwwoffle en rajoutant :

 AllowedConnectHosts
{
*.breizland.bz
#### Example ####
# Only allow connections from hosts in the foo.com domain.
# *.foo.com
}

Si vous avez des sites accessibles en intranet, vous pouvez spécifier qu'ils ne soient pas "cachées" (sauvegardées dans le cache). Si vos sites se terminent par votre nom de domaine interne, on mettra :

LocalNet
{
*.breizland.bz
#### Example ####
# The local domain is foo.com so don't cache any hosts in it.
# *.foo.com
}

ATTENTION si vous passez par le proxy de votre FAI (nom proxy.fai.fr, port 3128 par exemple), vous devez modifier les lignes suivantes pour lire :

Proxy
{
<http://*> proxy = proxy.fai.fr:8080

#### Example ####
# Use www.foo.com as a default http proxy server on port 8080
# Except for the foo.com domain which has no proxy.
# http://*    = www.foo.com:8080
# *://foo.com = none
}

Configurons maintenant le navigateur. Pour Netscape Edition->Preférences->Avancées, il faut d'abord désactiver le cache, sélectionner Cache , puis au niveau de  Comparer le cache avec celui du réseau , choisissez Jamais. Toujours au niveau d'Avancées choisissez maintenant Proxy, puis Configuration manuelle du proxy, appuyez sur le bouton Afficher, pour les protocoles proxy FTP, proxy Gopher, proxy HTTP, proxy de sécurité, proxy WAIS mettez le nom du serveur wwoffle puis dans le champ port 8080, laissez les autres champs par défaut puis OK et encore OK.
Pour Konqueror, Configuration, Configurer Konqueror, Serveur mandataire (proxy), cocher Utiliser un serveur de proximité, cocher Configuration manuelle puisConfiguration, au niveau du champ HTTP saisissez http://votreserveurproxy, Port 8080, cliquez sur le petit bouton à droite du champ Port, puis OK.

On va maintenant lancer le proxy en lui disant de relire son fichier de configuration :

wwwoffled -c /etc/wwwoffle/wwwoffle.conf

A noter les commentaires

wwwoffled[4535] Important: WWWOFFLE Demon Version 2.8h (with zlib,without ipv6) started.
wwwoffled[4535] Warning: Running with root user or group privileges is not recommended.

Voir plus bas, comment arranger cela. Connecter vous à Internet. Une fois connecté, tapez

wwwoffle -online

Surfer normalement, déconnectez vous, puis taper

wwwoffle -offline

A présent en mode off-line, surfer sur les quelques pages que vous venez de visiter, elles ont toutes été sauvegardées, cliquer maintenant sur une de ces pages sur un lien non visité, une page de wwwoffle s'affiche vous disant que la requête a été enregistrée, faites de mêmes pour quelques autres liens. Reconnectez vous, puis une fois connecté, tapez :

wwwoffle -online

Puis pour télécharger les pages que vous cherchiez à accéder en mode off-line:

wwwoffle -fetch

Les pages seront ainsi sauvegardées et vous pourrez à présent y accéder en mode off-line. Déconnectez vous (en n'oubliant pas le wwwoffle -offline) et réessayer.

NOTE Vous pouvez lancer le daemon en mode debug en tapant simplement :

wwwoffled -d 6

Configuration avancée

La configuration basique peut suffire dans la plupart des cas, on peut cependant aller plus loin. Si vous faites :

ps aux | grep wwwoffled

On se rencontre que c'est root le propriétaire du daemon, c'est un peu génant dans la mesure où si wwwoffled est bugué quelqu'un peut se retrouver root sur le système, pour éviter cela, dans le fichier de configuration wwwoffle.conf au niveau des accolades StartUp, on décommentera :

run-uid           = daemon
run-gid           = daemon

ATTENTION L'utilisateur daemon doit avoir les droits d'écriture sur /var/spool/wwwoffle.

On peut indiquer à wwwoffle lors de la récupération d'une page de ne pas récupérer les images, pour cela vous disposez d'options de récupération avec FetchOptions

FetchOptions
{
 stylesheets = yes
 images      = yes
 frames      = yes
 scripts     = no
 objects     = no
 webbug-images = yes
 only-same-host-images = no
}

Les scripts correspondent au classe java par exemple.  Pour autoriser certaines personnes à se connecter au serveur wwwoffle, vous disposez de AllowedConnectUsers avec la syntaxe du type :

olivier:motdepasse1
veronique:motdepasse2

S'il n'y a rien c'est que tout le monde est autorisé dès lors qu'on est sur une machine autorisée (AllowedConnectHosts )

AllowedConnectUsers
{

#### Example ####
# Only allow connections from this one user.
# andrew:password
}

On peut spécifier de ne pas sauvegarder certaines pages :

DontCache
{

# pour ne pas sauvegarder les .gz et les .zip
    *://*/*.gz
    *://*/*.zip

# pour ne pas sauvegarder les pages du domaine penthouse.com (!)
*://*.penthouse.com/

#### Example ####
# Don't cache any hosts in the barfoo.com domain.
# *://*.barfoo.com/
# Don't cache any gzipped or tar files.
# *://*/*.gz
# *://*/*.tar
# Don't cache any files from /volatile in the foo.com domain.
# *://*.foo.com/volatile/*
}

Pour que les utilisateurs ne puissent pas accéder à certaines pages sauvegardées quand on est offline :

DontRequestOffline
{

#### Example ####
# Dont request any URLs at all when offline.
# *://*/
}

Au niveau de Purge, on peut voir que par défaut les pages sont sauvegardées 28 jours pour changer cela, vous disposez de la variableage avec les variables w (week) pour semaine, m (month) pour mois et y (year) pour année. Exemple :  age = 4w correspond à 4*7=28 jours, qui est d'ailleurs la valeur par défaut.

Pour faire le ménage pour que le cache ne dépasse pas 30Mo :

max-size = 30

Au niveau de StartUp, on peut spécifier un mot de passe, celui ci va servir à ce qu'uniquement les personnes le connaissant puissent modifier le fichier de config à partir d'un navigateur (voir paragraphe Utilisation).

password          = mot-de-passe-en-clair

La syntaxe pour spécifier une URL est la suivante :

 *://*              protocole quelconque, machine quelconque, port quelconque, chemin quelconque, arguments quelconques
 *://*/<path>   protocole quelconque, machine quelconque, port quelconque, chemin spécifié, arguments quelconques (exemple *://*/pub comme ftp://ftp.lip6.fr/pub ou http://www.yahoo.com/pub )
 *://*/*?     protocole quelconque, machine quelconque, port quelconque, chemin quelconque, pas d'arguments
 *://<host>   protocole quelconque, hôte spécifié, port quelconque, chemin quelconque, arguments quelconques
 <proto>://      protocole spécifié, hôte, port, chemin et arguments quelconques (exemple http:// ou ftp://)
 <proto>://<host>   protocole et hôte spécifiés, chemin, port et arguments quelconques (exemplehttp://www.yahoo.fr)

Lancement automatisé

Si squid est votre proxy habituel, vous n'êtes pas obligé de le désactiver puisque les deux outils n'utilisent pas le même port. Si vous voulez néanmoins le désactiver pour cause de double emploi :

chkconfig --level 345 squid off

Pour un lancement automatique du daemon, on copiera le fichier wwwoffled se trouvant sous ./wwwoffle-2.8e/contrib/redhat1 sous /etc/rc.d/init.d :

cp ./wwwoffle-2.8e/contrib/redhat1/wwwoffled /etc/rc.d/init.d

Vérifier éventuellement les chemins dans ce fichier.
puis pour un lancement automatique à l'état de marche 3, 4 et 5, il suffit de taper :

chkconfig --level 345 wwwoffled on

Et pour un arrêt aux autres ordres de marche

chkconfig --level 0126 wwwoffled off

Pour lancer le daemon il suffit alors de taper :

/etc/rc.d/init.d/wwwoffled start

Pour le stopper :

/etc/rc.d/init.d/wwwoffled stop

Pour le relancer :

/etc/rc.d/init.d/wwwoffled restart

Pour connaître son état (en marche ou arrêté)

/etc/rc.d/init.d/wwwoffled status

A chaque connexion on doit indiquer qu'on est online à wwwoffle, de même qu'on doit lui indiquer qu'on n'est plus online. Pour cela on dispose des fichiers ip-up et ip-down se trouvant sous /etc/ppp (sur une architecture de type RedHat/Mandrake). Dans le fichier ip-up on rajoutera :

# On indique à wwwoffle qu'on passe en mode online
/usr/local/bin/wwwoffle -online -c /etc/wwwoffle/wwwoffle.conf

# On récupère les pages qui ont été demandées pendant le mode offline
/usr/local/bin/wwwoffle -fetch -c /etc/wwwoffle/wwwoffle.conf &

Dans le fichier ip-down on rajoutera :

/usr/local/bin/wwwoffle -offline -c /etc/wwwoffle/wwwoffle.conf

A noter que pour le lancement du daemon et pour le passage online/offline il existe un ensemble de scripts pour les distribs de Linux les plus répandues sous ./wwwoffle-2.8e/contrib/redhat redhat1 et redhat2.
 

Utilisation

Vous disposez d'une page de consultation de wwwoffle à l'URL http://obelix.breizland.bz:8080/Welcome.html si obelix est le nom de votre serveur proxy et breizland.bz votre nom de domaine privé (ATTENTION saisissez exactement le même nom d'hôte que celui spécifié dans le fichier de config au niveau de LocalHost ).

Une page de consultation en français apparaît, vous pouvez voir son contenu en cliquant ici (ATTENTION les liens ne sont pas opérationnels). A partir de cette page vous avez dans l'ordre :

- la description du produit,
- l'index du cache, pour pouvoir entre autres :
    * voir la liste de toutes les pages httpd présentes en cache,
    * voir la liste des requêtes en attente,
    * voir la liste des pages à surveiller (voir si pages modifiées ou pas),
    * voir la liste des pages visitées à la dernière connexion,
- requête simple, pour spécifier une page à récupérer,
- suivi d'une page, pour spécifier une page à surveiller,
- contrôle interactif, pour administrer wwwoffle (édition du fichier de conf avec mot de passe),
- recherche dans le cache à partir de certains critères grâce à ht://Dig (qu'il faut installer),
- liens divers dont la FAQ de wwwoffle,
- e-mail de l'auteur en cas de problèmes (à rédiger en anglais) et listes de diffusion.

Vous avez la possibilité aussi de modifier en ligne le fichier de config.

Les clients peuvent maintenant être configurés pour utiliser votre serveur comme proxy (port par défaut 8080).
 
 

[Retour page d'accueil FUNIX]

[ Retour haut de la page]