"""Agent d'audit : lit le site de chaque agence et remplit la grille (honoraires, qualité du site, société). Rotation : d'abord les agences jamais auditées (les plus commentées en premier), puis celles dont l'audit a plus de AUDIT_MAX_AGE jours. AUDIT_BUDGET limite le nombre d'agences par passage (≈ 5 pages Firecrawl chacune). """ import traceback, os, re, json, html, time, random, datetime, threading, requests, hashlib from concurrent.futures import ThreadPoolExecutor, as_completed from common import FC_OUT, time_left, is_adviser, load, save, fc_scrape, fc_search, claude_json, claude_vision_json, host, TODAY, MODEL_AUDIT, MODEL_EXTRACT, commune_of BUDGET = int(os.environ.get('AUDIT_BUDGET', '40')) # 9999 = tout auditer en un passage WORKERS = int(os.environ.get('AUDIT_WORKERS', '4')) # agences traitées en parallèle (Firecrawl Hobby : 5 requêtes simultanées) MAX_AGE = int(os.environ.get('AUDIT_MAX_AGE', '130')) # filet de sécurité : le réaudit normal suit le trimestre civil (premier lundi de janvier, avril, juillet, octobre) REV = 3 # révision de l'audit : les audits d'une révision antérieure (dates, barèmes en image, estimation) sont refaits PICK_SCHEMA = {'type': 'object', 'properties': {'urls': {'type': 'array', 'maxItems': 7, 'items': {'type': 'string'}, 'description': "Jusqu'à 7 URL du même site : honoraires/barème (page ou PDF), mentions légales, blog ou actualités (page liste), " "équipe, estimation en ligne, annonces, contact."}}, 'required': ['urls']} B = {'type': ['boolean', 'null']} AUDIT_SCHEMA = {'type': 'object', 'properties': { 'activities_offered': {'type': 'array', 'items': {'type': 'string', 'enum': ['vente', 'location', 'gestion']}, 'description': "Activités annoncées sur le site (le syndic n'est pas pris en compte)."}, 'syndic_only': {'type': 'boolean'}, 'seasonal_rental_concierge': {'type': 'boolean', 'description': "Vrai si l'activité principale est la conciergerie / gestion de location saisonnière (Airbnb, Booking…)."}, 'independent_network_adviser': {'type': 'boolean', 'description': "Vrai si c'est un conseiller indépendant (mandataire) d'un réseau type iad, Capifrance, Safti, sans agence propre."}, # --- honoraires, par activité --- 'fees_unverified': {'type': 'boolean', 'description': "Vrai seulement si la page du barème existe mais n'a pas pu être lue (image illisible, PDF inaccessible)."}, 'fees_schedule_url': {'type': ['string', 'null']}, 'fees_vente': {'type': 'object', 'properties': {'published': {'type': 'boolean', 'description': 'Barème chiffré de vente accessible en ligne'}, 'ttc': B, 'payer_indicated': {**B, 'description': "Le barème indique à la charge de qui sont les honoraires : vendeur, acquéreur, partage, ou « vendeur ou acquéreur selon le mandat » (méthode v5.2). Faux si le barème ne dit rien de la partie qui paie."}, 'complete': {**B, 'description': "Toutes les tranches de prix couvertes, sans « nous consulter » ni « sur devis »"}, 'payer': {'type': ['string', 'null'], 'enum': ['vendeur', 'acquereur', 'partage', None], 'description': 'Qui paie les honoraires de vente'}, 'brackets': {'type': 'array', 'description': "Tranches du barème de vente d'appartement ou de maison, recopiées telles quelles (montants tels que publiés, HT ou TTC selon le champ ttc). Vide si aucun chiffre.", 'items': {'type': 'object', 'properties': {'min_price': {'type': ['number', 'null']}, 'max_price': {'type': ['number', 'null'], 'description': 'null = sans plafond'}, 'pct': {'type': ['number', 'null'], 'description': '% du prix de vente'}, 'fixed_eur': {'type': ['number', 'null'], 'description': 'forfait en €'}}}}, 'minimum_eur': {'type': ['number', 'null'], 'description': 'Honoraires minimum (forfait plancher), si indiqué'}}, 'required': ['published']}, 'fees_location': {'type': 'object', 'properties': {'published': {'type': 'boolean'}, 'ttc': B, 'split_indicated': {**B, 'description': 'Le partage des honoraires entre bailleur et locataire est indiqué'}, 'tenant_eur_m2_visit_file_lease': {'type': ['number', 'null'], 'description': 'Honoraires locataire visite + dossier + bail, en € TTC par m²'}, 'tenant_eur_m2_inventory': {'type': ['number', 'null'], 'description': "Honoraires locataire d'état des lieux, en € TTC par m²"}, 'landlord_eur_m2_visit_file_lease': {'type': ['number', 'null'], 'description': 'Honoraires bailleur visite + dossier + bail, en € par m² (si exprimés au m²)'}, 'landlord_eur_m2_inventory': {'type': ['number', 'null'], 'description': "Honoraires bailleur d'état des lieux, en € par m²"}, 'landlord_fixed_eur': {'type': ['number', 'null'], 'description': "Honoraires bailleur de mise en location au forfait en € (si non exprimés au m²)"}, 'landlord_months_rent': {'type': ['number', 'null'], 'description': "Honoraires bailleur de mise en location exprimés en mois de loyer (ex. 1 pour « un mois de loyer »)"}, 'entremise_eur': {'type': ['number', 'null'], 'description': "Frais (honoraires) d'entremise et de négociation à la charge du bailleur, au forfait en €, s'ils sont facturés EN PLUS des honoraires de visite, dossier, bail et état des lieux ET s'ils s'appliquent aussi quand le bien est confié en gestion (null s'ils sont réservés à la location sans gestion)"}, 'entremise_pct_annual_rent': {'type': ['number', 'null'], 'description': "Mêmes frais d'entremise et de négociation, s'ils sont exprimés en % du loyer annuel"}}, 'required': ['published']}, 'fees_gestion': {'type': 'object', 'properties': {'published': {'type': 'boolean'}, 'ttc': B, 'extras_detailed': {**B, 'description': 'Les prestations incluses et celles facturées en plus (état des lieux, assurance loyers impayés…) sont détaillées'}, 'pct_rent': {'type': ['number', 'null'], 'description': "Honoraires de gestion courante en % (formule de base, tel que publié, HT ou TTC selon le champ ttc)"}, 'pct_basis': {'type': ['string', 'null'], 'enum': ['loyer_charges_comprises', 'loyer_hors_charges', 'encaissements', None], 'description': "Base du pourcentage, seulement si le barème la précise : sommes encaissées, loyer charges comprises, ou loyer hors charges. null si non précisée."}, 'fixed_eur_month': {'type': ['number', 'null'], 'description': 'Honoraires de gestion au forfait mensuel en €, si la formule de base est un forfait'}, 'works_mentioned': {**B, 'description': "Le barème parle des honoraires sur travaux (suivi ou gestion des travaux, interventions d'entretien)"}, 'works_pct': {'type': ['number', 'null'], 'description': "Honoraires sur travaux en % du montant des travaux"}, 'works_threshold_eur': {'type': ['number', 'null'], 'description': "Montant de travaux à partir duquel ces honoraires s'appliquent (ex. « au-delà de 1 500 € HT »), null s'ils s'appliquent dès le premier euro"}, 'works_fixed_eur': {'type': ['number', 'null'], 'description': "Honoraires sur travaux au forfait par intervention, en €"}, 'annual_fees_eur': {'type': ['number', 'null'], 'description': "Total des frais fixes annuels facturés en plus des honoraires de gestion dans une gestion courante sans incident (frais administratifs, aide à la déclaration des revenus fonciers, frais d'envoi, frais de tenue de compte…), en € par an. Ne pas compter : frais de contentieux, vacations horaires, frais liés à un événement exceptionnel, ni les frais liés à l'assurance loyers impayés (champ gli_fees_eur)"}, 'gli_fees_eur': {'type': ['number', 'null'], 'description': "Frais fixes liés à l'assurance loyers impayés facturés en plus de la prime (frais de gestion du contrat d'assurance, frais d'adhésion…), en € (montant annuel ou unique)"}, 'setup_eur': {'type': ['number', 'null'], 'description': "Frais uniques d'ouverture ou de mise en gestion du dossier, en €"}, 'formulas': {'type': 'array', 'description': "TOUTES les formules de gestion proposées au barème (ex. « Essentielle 5 % », « Sérénité 7 % avec assurance loyers impayés »), une entrée par formule, y compris celle décrite par pct_rent", 'items': {'type': 'object', 'properties': { 'label': {'type': 'string', 'description': 'Nom ou description courte de la formule'}, 'pct': {'type': ['number', 'null'], 'description': 'Pourcentage de la formule'}, 'basis': {'type': ['string', 'null'], 'enum': ['loyer_charges_comprises', 'loyer_hors_charges', 'encaissements', None]}, 'ttc': {'type': ['boolean', 'null'], 'description': 'Pourcentage TTC (true) ou HT (false)'}, 'fixed_eur_month': {'type': ['number', 'null']}, 'includes_gli': {'type': ['boolean', 'null'], 'description': "La formule comprend l'assurance (garantie) loyers impayés"}, 'excludes_core': {'type': ['boolean', 'null'], 'description': "true si la formule exclut explicitement le paiement des charges de copropriété ou l'aide à la déclaration des revenus fonciers (ex. « sans paiement des charges », ces services étant réservés à une formule supérieure)"}}}}, 'tax_help_eur': {'type': ['number', 'null'], 'description': "Aide à la déclaration des revenus fonciers facturée à part, en € par an"}, 'charges_payment_eur': {'type': ['number', 'null'], 'description': "Paiement des charges de copropriété facturé à part, en € par an"}, 'pno_fees_eur': {'type': ['number', 'null'], 'description': "Frais de gestion de l'assurance propriétaire non occupant (PNO), en € par an"}, 'gli_mentioned': {**B, 'description': "Le barème ou la page parle de l'assurance (garantie) loyers impayés"}, 'gli_pct': {'type': ['number', 'null'], 'description': "Taux de l'assurance loyers impayés proposée en option, en % ; si le barème propose plusieurs assureurs, le taux le plus bas"}, 'gli_basis': {'type': ['string', 'null'], 'enum': ['loyer_charges_comprises', 'loyer_hors_charges', 'encaissements', None]}, 'gli_ttc': {'type': ['boolean', 'null'], 'description': "Taux de l'assurance loyers impayés TTC (true) ou HT (false) ; une prime d'assurance est en général exprimée TTC"}}, 'required': ['published']}, # --- bloc A : mentions légales --- 'legal_carte_pro': {**B, 'description': 'Numéro de carte professionnelle ET CCI qui l\'a délivrée. Faux si la carte est affichée comme expirée à la date de lecture (date de fin de validité passée) (méthode v5.5)'}, 'legal_guarantee': {**B, 'description': 'Garant financier indiqué avec son nom et son montant'}, 'legal_rcp': {**B, 'description': 'Assurance responsabilité civile professionnelle indiquée'}, 'legal_mediator': {**B, 'description': 'Médiateur de la consommation indiqué'}, 'legal_company_id': {**B, 'description': 'Raison sociale, SIREN ou RCS et siège indiqués ; recopie le numéro SIREN ou RCS affiché dans le champ siren (le classement vérifie qu\'il correspond au registre national, méthode v5.5)'}, 'legal_privacy': {**B, 'description': 'Politique de confidentialité (RGPD) présente'}, 'legal_non_detention': {**B, 'description': "Mention « non-détention de fonds » présente"}, 'holds_funds': {**B, 'description': "L'agence indique détenir des fonds (garantie financière pour maniement de fonds, gestion locative)"}, # --- bloc C : information du client --- 'team_page': {**B, 'description': 'Page équipe avec les noms des collaborateurs'}, 'full_contact': {**B, 'description': 'Adresse, téléphone ET horaires affichés'}, 'latest_listing_date': {'type': ['string', 'null'], 'description': 'AAAA-MM-JJ de la date de publication ou de mise à jour la plus récente visible sur une annonce'}, 'estimation_tool': {**B, 'description': "Le site propose une estimation en ligne d'un bien (formulaire ou outil d'estimation, pas un simple lien « contactez-nous »)"}, 'estimation_requires_contact': {**B, 'description': "Estimation avec collecte de données : le formulaire exige nom, e-mail ou téléphone (champ obligatoire) avant de donner un résultat"}, 'estimation_instant_price': {**B, 'description': "Estimation anonymisée : un prix ou une fourchette s'affiche directement à l'écran, sans laisser ses coordonnées, sans rappel ni e-mail"}, 'estimation_url': {'type': ['string', 'null'], 'description': "URL de la page d'estimation de prix de vente, si elle existe"}, 'rent_estimation_url': {'type': ['string', 'null'], 'description': "URL de la page d'estimation de loyer, si elle existe"}, 'rent_estimation_tool': {**B, 'description': "Le site propose un estimateur de loyer en ligne (outil ou formulaire qui estime le loyer d'un bien à louer), distinct de l'estimation de prix de vente"}, 'rent_estimation_requires_contact': {**B, 'description': "Estimateur de loyer avec collecte de données : nom, e-mail ou téléphone exigés avant de donner le loyer estimé"}, 'rent_estimation_instant': {**B, 'description': "Estimateur de loyer anonymisé : un loyer ou une fourchette s'affiche directement à l'écran, sans laisser ses coordonnées"}, # --- bloc D : contenus --- 'articles': {'type': 'array', 'maxItems': 80, 'items': {'type': 'object', 'properties': { 'url': {'type': ['string', 'null'], 'description': "Adresse complète de l'article (lien du titre), indispensable"}, 'title': {'type': 'string'}, 'date': {'type': ['string', 'null'], 'description': 'AAAA-MM-JJ ou AAAA-MM si affichée'}, 'about_nice': {'type': 'boolean', 'description': 'Contenu consacré à la commune de l’agence (Nice, Cannes, Antibes… : quartier, marché local, réglementation locale, projet urbain), pas un article générique'}}, 'required': ['title', 'about_nice']}, 'description': "Articles, guides ou actualités rédigés visibles dans la rubrique de contenus (pas les annonces)."}, 'legal_name': {'type': ['string', 'null']}, 'siren': {'type': ['string', 'null'], 'description': '9 chiffres, lu sur le site (mentions légales, barème)'}, 'evidence': {'type': 'string', 'description': 'En 2 ou 3 phrases, ce qui a été observé et sur quelles pages.'}}, 'required': ['activities_offered', 'fees_vente', 'fees_location', 'fees_gestion', 'evidence']} _PS_WARNED = set() def pagespeed(url): """Score Google PageSpeed (mobile) : {'mobile': bool, 'perf': 0-100} ou None si l'outil n'a pas répondu. Essaie la clé dédiée (PAGESPEED_API_KEY), puis la clé Google du projet, puis sans clé (quota réduit, on patiente).""" keys = [] for k in (os.environ.get('PAGESPEED_API_KEY'), os.environ.get('GOOGLE_PLACES_API_KEY'), None): if k not in keys: keys.append(k) for key in keys: params = [('url', url), ('strategy', 'mobile'), ('category', 'performance'), ('category', 'seo'), ('category', 'best-practices')] if key: params.append(('key', key)) for attempt in range(4): try: r = requests.get('https://www.googleapis.com/pagespeedonline/v5/runPagespeed', params=params, timeout=150) except Exception as e: # noqa: BLE001 print('PageSpeed injoignable', url, str(e)[:120]); time.sleep(10); continue if r.status_code == 429: time.sleep(15 * (attempt + 1)); continue if r.status_code in (400, 403) and key: tag = 'dédiée' if key == os.environ.get('PAGESPEED_API_KEY') else 'Google du projet' if tag not in _PS_WARNED: _PS_WARNED.add(tag) print(f'PageSpeed : clé {tag} refusée ({r.status_code}) — activer « PageSpeed Insights API » sur cette clé :', r.text[:300]) break # clé suivante if not r.ok: print('PageSpeed', r.status_code, url, r.text[:160]); return None # site non analysable (erreur Lighthouse) lh = r.json().get('lighthouseResult', {}) perf = lh.get('categories', {}).get('performance', {}).get('score') au = lh.get('audits', {}) vp = next((au[k].get('score') for k in ('viewport', 'viewport-insight') if k in au and au[k].get('score') is not None), None) return {'perf': round(perf * 100) if perf is not None else None, 'mobile': (vp == 1) if vp is not None else None} return None # ---------- lisibilité par les IA (requêtes directes, sans Firecrawl ni IA) ---------- AI_BOTS = ('gptbot', 'oai-searchbot', 'chatgpt-user', 'claudebot', 'claude-searchbot', 'perplexitybot', 'google-extended') LOCAL_TYPES = {'realestateagent', 'localbusiness', 'professionalservice', 'homeandconstructionbusiness'} def robots_allows_ai(root): """True si robots.txt ne ferme pas tout le site (Disallow: /) aux principaux robots d'IA ; None si illisible.""" try: r = requests.get(root + '/robots.txt', headers=UA, timeout=20) except Exception: # noqa: BLE001 return None if r.status_code in (404, 410): return True # pas de robots.txt : tout est autorisé if not r.ok or ']+application/ld\+json[^>]*>(.*?)', html_text or '', re.S | re.I): try: data = json.loads(blk.strip()) except ValueError: continue stack = [data] while stack: x = stack.pop() if isinstance(x, list): stack += x elif isinstance(x, dict): out.append(x); stack += [v for k, v in x.items() if k == '@graph' or isinstance(v, (dict, list))] return out def has_local_schema(html_text): """Fiche schema.org d'agence immobilière ou d'entreprise locale avec nom, adresse et téléphone (JSON-LD ou microdonnées).""" for it in _ld_items(html_text): t = it.get('@type'); t = t if isinstance(t, list) else [t] if any(str(x).lower() in LOCAL_TYPES for x in t) and it.get('name') and it.get('address') and it.get('telephone'): return True h = html_text or '' return bool(re.search(r'itemtype=["\']https?://schema\.org/(RealEstateAgent|LocalBusiness)', h, re.I) and re.search(r'itemprop=["\']telephone', h, re.I) and re.search(r'itemprop=["\']address', h, re.I)) def readable_without_js(html_text): """Le texte de la page d'accueil est dans le HTML envoyé par le serveur (et non construit par un script).""" t = re.sub(r'<(script|style|svg|noscript|template)\b.*?', ' ', html_text or '', flags=re.S | re.I) t = re.sub(r'\s+', ' ', html.unescape(re.sub(r'<[^>]+>', ' ', t))).strip() return len(t) >= 800 and bool(re.search(r'immobili|(?:\+33|0)\s?[1-9](?:[\s.-]?\d{2}){4}', t, re.I)) def ai_readiness(site): root = _root(site) out = {'ai_robots': robots_allows_ai(root) if root else None, 'ai_schema': None, 'ai_nojs': None} try: r = requests.get(site, headers=UA, timeout=25, allow_redirects=True) if r.ok and ']*>', re.I) _NAME = re.compile(r'(?:property|name|itemprop)\s*=\s*["\'](article:published_time|og:published_time|datepublished|date|dc\.date\.issued|dc\.date|pubdate|publish-date|sailthru\.date)["\']', re.I) _CONTENT = re.compile(r'content\s*=\s*["\']([^"\']+)["\']', re.I) def page_date(html): """Date de publication lue dans le code d'une page d'article : balises meta, données structurées, balise