[PHP] Récuperer la liste des membres de N-PN avec curl

[InstinctHack]

Salut,

/ ! \ Je prend n-pn comme site pour vous montrer mais n'exécuter pas ce code, il vous voudras surement un ban. C'est juste pour que vous voyez la démarche.

J'ai récemment voulu obtenir la liste des membres d'un forum dont l'administrateur avez interdis la page liste des membres.
Qu'il est con et qu'est-ce que je suis intelligent ( H.U.M.O.U.R )

déjà première chose, identifier où on peux récupérer les pseudos des gens
http://n-pn.fr/forum/memberlist.php
et analyser comment sont former les autres pages
http://n-pn.fr/forum/memberlist.php?sort...=30&page=5

également récuperer le nombre de page ( 44 actuellement )

et pour finir analyser le code html de la page :

Code HTML :


<tr>
        <td class="trow1" align="center"><!-- start: memberlist_user_avatar -->
<img src="./uploads/avatars/avatar_2020.jpg?dateline=1365462104" alt="" width="56" height="70" />
<!-- end: memberlist_user_avatar --></td>
        <td class="trow1"><a href="http://n-pn.fr/forum/member.php?action=profile&uid=2020"><span style="color:#628AAE">Nakayane</span></a><br />
<span class="smalltext">
        Nouveau<br />
       
        <img src="images/FantasyBlue/star.gif" border="0" alt="*" />
</span></td>
        <td class="trow1" align="center">08-04-2013, 23h17</td>
        <td class="trow1" align="center">Aujourd'hui, 12h04</td>
        <td class="trow1" align="center">3</td>
        <!-- start: memberlist_referrals_bit -->
<td class="trow1" align="center">0</td>
<!-- end: memberlist_referrals_bit -->
</tr>
 

(coucou Nakayane)

Et toutes les lignes qui présente un pseudo commence par :

Code :

    <td class="trow1"><a href="http://n-pn.fr/forum/member.php?action=profile&amp;uid=

on vas justement jouer sur ça par la suite.

Désormais il faut récuperer via un script le contenu des pages, et je vais utiliser CURL par php (si vous connaisez pas curl => http://oseox.fr/curl/ )

Code PHP :


                        $ch = curl_init('http://n-pn.fr/forum/memberlist.php?sort=regdate&order=descending&perpage=30&page='.$a.);
                        curl_setopt($ch, CURLOPT_FRESH_CONNECT, true);
                        curl_setopt($ch, CURLOPT_TIMEOUT,100000);
                        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT,100000);
                        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
                        curl_setopt($ch, CURLOPT_HEADER, false);
                        $page=curl_exec($ch);// Execution de la requête
                        if(curl_error($ch)!='')
                                echo curl_error($ch);
                        curl_close($ch);
 

et avec une simple boucle :

Code PHP :


for($a=1;$a<=44;$a++)
{
//le code précédant
}
 

on récupère le code html de toutes les pages ( je vous conseille un sleep(rand(0,5)); pour éviter qu'etre ban si vous tester ça sur un site )
d'ailleurs personnelement j'avais poussé le truc plus loin en définisant un intervalle d'extraction complet :

Code :

$number=44;
$time_min=1800;//le temps minimun que prendras l'extraction (en secondes)
$time_max=$time_min*2;//le max

$time_min/=$number;$time_max/=$number;//le temps min par page)
$time_min=ceil($time_min);$time_max=floor($time_max);//le temps max

//puis à chaque boucle
sleep(rand($time_min,$time_max));

(a noter que le temps max considère que vous avez la réponse instantannement de la part du serveur, ce qui est faux, donc réfléchissez un peu )

Bon pour le moment on récupere le contenu mais on en fait rien :/ on vas essayer de parcourir les lignes de la page

Code PHP :


                $lines=explode(PHP_EOL,$page);
       
                $pseudos=array();
                foreach($lines as $key=>$value)
                {
                }
 

Rien de bien compliqué...

désormais rappelez-vous de ce que je vous avez dis que les lignes des pseudos, qu'elles commencait toujours par la meme séquence.
Alors on peux donc les trouver!

Code PHP :


                        $value=trim($value);
                        $search='       <td class="trow1"><a href="http://n-pn.fr/forum/member.php?action=profile&uid=';
                        if(substr($value,0,mb_strlen($search))==$search)
                        {
                                $pseudos[]=strip_tags($value);
                        }
 

et voilà on supprime les espaces au début et à la fin de la chaine, donc on compare si le début de la chaine est égal à ce que l'on search, on ajoute le contenu de la ligne en ayant préalablement retirer les balises html

Ensuite faut sauvegarder les pseudos ou les afficher (sinon le $pseudos=array() les supprimeras)

exemple

Code PHP :


                $file2=fopen('data.txt','a+');
                fwrite($file2,serialize($pseudos).PHP_EOL);
//              fwrite($file,implode(PHP_EOL,$pseudos).PHP_EOL.PHP_EOL);
                fclose($file2);
 

Si quelque vous semble pas clair, demandez-moi, je répondais

---

bah suffit de rassembler les bouts quoi O.o si t'as compris le tuto, c'est pas compliquer, m'enfin, je vais le mettre.

[Polo]

J'ai récemment voulu obtenir la liste des membres d'un forum dont l'administrateur avez interdis la page liste des membres.
Qu'il est con et qu'est-ce que je suis intelligent

Je ne vois pas vraiment l'intérêt de prendre n-pn en exemple alors que la page listant les membres n'y est pas protégée...
Pour moi la principale difficulté c'est d'outre-passer la protection sécurisant l'accès à la liste des membres mais tu nous donne simplement la méthode pour récupérer la page via curl (ce qui ne présente aucun défi particulier, en soi).

Ce qui serait intéressant c'est de nous dire comment t'as outrepassé sa protection (c'est quand même pas juste en utilisant curl ?! o_O )...

[InstinctHack]

Ah tu veux la version compliquée ? J'aime <3
En fait le forum en question avais bloqué cette page, mais il y avais un gros sous-forum archive (présentation) et donc il était facile de récuperer les pseudos à partir de là, le problème c'est qu'il fallait être connecter pour y accéder, donc mon bot ne passais pas, alors je me suis connecter manuellement, et j'ai copié les cookies générés du domaine dans un fichier .txt pour que curl puisse les utiliser en rajoutant cette ligne :

Code PHP :


curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookies.txt');
 

et ainsi mon bot pouvais lancer des requetes http comme si c'était moi, et donc il avais accès au forum.

(C'est rien de très compliqué en fait, ni de H4CK3R, juste une automatisation de récupération de données très longues à récuperer à la main (genre 600 pages xD ) )
(et ma première ligne d'introduction c'était plus pour souligner qu'une fois une information partagée sur internet, il est impossible de la rendre privée (on peux essayer de la rendre peu accesible comme c'était le cas ici par la masse d'opérations manuelles à faire) )

Rien d'extraordinaire, tu as raison

[Hypnoze57]

Tu peux aussi te connecter à un site via les headers !

Code PHP :

<?php
$options = array("http"=>array("header"=>"Cookie:PHPSESSID=000000000000000000000;"));
$c = stream_context_create($options);
$file = file_get_contents("http://site.com",0,$c);
echo $file;
?>

EDIT :
J'ai utilisé le même principe (que pour récupérer les membres sur un forum !) il y a déjà un bon moment pour récupérer les derniers exploits de Exploit DB (Web only !) et les afficher sur votre page ! Appeler votre fichier exploits.php si vous utilisez la fonction d'affichage des exploits ! (ou alors changer le nom dans la source.)

Code PHP :

<?php
set_time_limit(0);
echo '<title>Derniers exploits</title>
<link rel="stylesheet" media="screen" type="text/css" title="Design" href="style.css" /><a href="index.php">Retour Ã  l\'injecteur SQL</a><br />
Liste des derniers exploit relaté sur <a href="http://exploit-db.com/">Exploit-DB</a> (Web Exploit only):<br /><br />';
$url = "http://www.exploit-db.com/webapps/";
$page = file_get_contents($url);
$exploit = explode('<td class="list_explot_description">', $page);

for($i=1;$i<=25;$i++) {
    preg_match('#<a  href="http://www.exploit-db.com/exploits/(.*)</a>#', $exploit[$i], $exploits);
    preg_match('#<a  href="http://www.exploit-db.com/exploits/(.*)">#', $exploit[$i], $nb_ex);
    $exploits[1] = str_replace($nb_ex[1].'">', '', $exploits[1]);
    echo '<a href="?id='.$nb_ex[1].'">'.$exploits[1].'</a><br />';
}

if(isset($_GET['id'])) {
    if(!empty($_GET['id'])) {
        $id = htmlentities(addslashes($_GET['id']));
        $url = 'http://www.exploit-db.com/exploits/'.$id;
        $page = file_get_contents($url);
        $poc = explode('<div id="container">', $page);
        echo $poc[1];
    } else {
        header('Location: exploits.php');
    }
}
?>

Sinon InstinctHack, ton code est plutôt pas mal !

[supersnail]

Sinon y'a aussi un RSS pour exploitdb :')