"""Outils partagés : stockage, rapprochement des agences, appels Firecrawl / Claude.""" import json, os, re, time, unicodedata, datetime, threading, atexit from pathlib import Path import requests ROOT = Path(__file__).resolve().parent.parent # Identité du site (bascule du 21/11/2026 : meilleure-agence-nice.fr devient meilleures-agences-immo-cote-dazur.fr) SITE_DOMAIN = 'meilleures-agences-immo-cote-dazur.fr' SITE = 'https://' + SITE_DOMAIN SITE_NAME = "Meilleures Agences Immo Côte d'Azur" SITE_ALT_NAMES = ['Meilleures Agences Immobilières Nice', 'Meilleure Agence Nice'] SITE_TAGLINE = "Le classement des agences immobilières de la Côte d'Azur" CONTACT_EMAIL = 'contact@' + SITE_DOMAIN OLD_DOMAINS = ['meilleure-agence-nice.fr'] # Classements par ville (décision du 21/11/2026) : la ville principale en premier, les communes voisines regroupées. # « ouvert » passe à True quand le relevé et l'audit des agences de la ville sont faits. VILLES = [ {'slug': 'nice', 'nom': 'Nice', 'communes': ['Nice'], 'ouvert': True}, {'slug': 'cannes', 'nom': 'Cannes', 'communes': ['Cannes', 'Le Cannet', 'Mandelieu-la-Napoule'], 'ouvert': False}, {'slug': 'antibes', 'nom': 'Antibes', 'communes': ['Antibes', 'Juan-les-Pins'], 'ouvert': False}, {'slug': 'cagnes-sur-mer', 'nom': 'Cagnes-sur-Mer', 'communes': ['Cagnes-sur-Mer', 'Saint-Laurent-du-Var', 'Vence'], 'ouvert': False}, {'slug': 'menton', 'nom': 'Menton', 'communes': ['Menton', 'Roquebrune-Cap-Martin'], 'ouvert': False}, {'slug': 'grasse', 'nom': 'Grasse', 'communes': ['Grasse'], 'ouvert': False}, ] # Communes : code INSEE (géocodage), codes postaux, centre (recherche Google Maps) COMMUNES = { 'Nice': {'insee': '06088', 'cp': ['06000', '06100', '06200', '06300'], 'lat': 43.7102, 'lon': 7.2620, 'r': 6500}, 'Cannes': {'insee': '06029', 'cp': ['06400', '06150'], 'lat': 43.5528, 'lon': 7.0174, 'r': 4000}, 'Le Cannet': {'insee': '06030', 'cp': ['06110'], 'lat': 43.5769, 'lon': 7.0191, 'r': 2500}, 'Mandelieu-la-Napoule': {'insee': '06079', 'cp': ['06210'], 'lat': 43.5466, 'lon': 6.9381, 'r': 4000}, 'Antibes': {'insee': '06004', 'cp': ['06600', '06160'], 'lat': 43.5808, 'lon': 7.1251, 'r': 5000}, 'Juan-les-Pins': {'insee': '06004', 'cp': ['06160'], 'lat': 43.5683, 'lon': 7.1100, 'r': 2000}, 'Cagnes-sur-Mer': {'insee': '06027', 'cp': ['06800'], 'lat': 43.6637, 'lon': 7.1489, 'r': 3500}, 'Saint-Laurent-du-Var': {'insee': '06123', 'cp': ['06700'], 'lat': 43.6730, 'lon': 7.1900, 'r': 3000}, 'Vence': {'insee': '06157', 'cp': ['06140'], 'lat': 43.7225, 'lon': 7.1119, 'r': 3500}, 'Menton': {'insee': '06083', 'cp': ['06500'], 'lat': 43.7747, 'lon': 7.4975, 'r': 3000}, 'Roquebrune-Cap-Martin': {'insee': '06104', 'cp': ['06190'], 'lat': 43.7600, 'lon': 7.4600, 'r': 3000}, 'Grasse': {'insee': '06069', 'cp': ['06130', '06520'], 'lat': 43.6589, 'lon': 6.9236, 'r': 5000}, } # Relevé limité à certaines villes (variable VILLES, ex. « cannes,antibes ») ; sans elle, Nice seule comme avant VILLES_ACTIVES = [v for v in VILLES if v['slug'] in (os.environ.get('VILLES') or '').split(',')] or [VILLES[0]] CP_ACTIFS = {cp: c for v in VILLES_ACTIVES for c in v['communes'] if c != 'Juan-les-Pins' for cp in COMMUNES[c]['cp']} def commune_of(address): """Commune d'une adresse (d'après son code postal), parmi toutes les villes du site.""" m = re.search(r'\b(06\d{3})\b', address or '') if not m: return None return next((c for c, d in COMMUNES.items() if m.group(1) in d['cp'] and c != 'Juan-les-Pins'), None) def ville_of(address): c = commune_of(address) return next((v['slug'] for v in VILLES if c in v['communes']), None) # AGENCIES_FILE : fichier d'agences à traiter (data/villes-agences.json pour le premier relevé des nouvelles villes) DATA = ROOT / os.environ.get('AGENCIES_FILE', 'data/agencies.json') # Date du relevé. RELEVE_DATE (AAAA-MM-JJ) la fige quand le site est reconstruit entre deux relevés pour un changement # d'affichage : sans cela, une reconstruction un autre jour déplacerait de quelques centièmes les notes qui dépendent de la date. TODAY = datetime.date.fromisoformat(os.environ['RELEVE_DATE']) if os.environ.get('RELEVE_DATE') else datetime.date.today() # Pondération du classement (cahier des charges validé le 11/11/2026) # Méthode v6 du 18/11/2026 : six piliers, 19 critères. Poids de chaque critère = médiane des six IA consultées (deux tours, # grille « vendeur »), ramenée à 100 au dixième (plus forts restes) ; politique de confidentialité, HTTPS et estimation en # ligne retirés de la note (médiane 0), affichés pour information. Le poids d'un pilier est la somme de ses critères. CRIT_W = { 'avis': {'qualite': 30.1, 'volume': 7.6, 'regularite': 5.9}, 'serv': {'reponses': 4.8, 'problemes': 15.1}, 'hono': {'publie': 6.7, 'payeur': 4.8, 'ttc': 3.0, 'complet': 3.4}, 'conf': {'carte': 2.7, 'garantie': 1.9, 'rcp': 1.9, 'mediateur': 1.4, 'rcs': 1.1, 'fonds': 1.1}, 'info': {'mobile': 0.9, 'equipe': 1.9, 'coord': 1.9}, 'anc': {'anciennete': 3.8}, } CRIT_N = {k: len(v) for k, v in CRIT_W.items()} # 3 ; 2 ; 4 ; 6 ; 3 ; 1 N_CRIT = sum(CRIT_N.values()) # 19 WEIGHTS = {k: round(sum(v.values()), 1) for k, v in CRIT_W.items()} # 43,6 / 19,9 / 17,9 / 10,1 / 4,7 / 3,8 (total 100) def pw(x): """Poids en pourcentage, à la française : 43,6 ; 5.""" x = WEIGHTS[x] if isinstance(x, str) else x return (f'{x:.1f}'.rstrip('0').rstrip('.')).replace('.', ',') # Plateformes d'avis certifiées NF ISO 20488 / NF Service « Gestion des avis » (NF522). Depuis la méthode v4 (13/11/2026), # ce coefficient N'EST PLUS APPLIQUÉ au classement : chaque avis compte 1 (la certification reste seulement affichée). # La valeur 1,5 de l'ancienne règle v3 n'est gardée que pour les scripts de simulation qui comparent l'ancienne et la nouvelle méthode. CERTIFIED = {'opinionsystem': 1.5, 'immodvisor': 1.5} REVIEWS_DIR = ROOT / 'data' / 'reviews' FIRECRAWL_KEY = os.environ.get('FIRECRAWL_API_KEY') ANTHROPIC_KEY = os.environ.get('ANTHROPIC_API_KEY') # Heure limite d'un passage : au-delà, plus aucune nouvelle agence n'est commencée, pour enregistrer avant la limite GitHub (6 h) DEADLINE = float(os.environ.get('JOB_START') or time.time()) + float(os.environ.get('MAX_MINUTES', '290')) * 60 # depuis le début du passage GitHub def time_left(): return time.time() < DEADLINE MODEL_EXTRACT = os.environ.get('MODEL_EXTRACT', 'claude-haiku-5-5') MODEL_AUDIT = os.environ.get('MODEL_AUDIT', 'claude-sonnet-5-5') # ---------- stockage ---------- def load(): return json.loads(DATA.read_text()) if DATA.exists() else {'agencies': [], 'meta': {}} def save(db): db['agencies'].sort(key=lambda a: a['id']) DATA.write_text(json.dumps(db, ensure_ascii=False, indent=1)) def new_id(db): # ID_BASE : les agences des nouvelles villes, relevées dans un fichier à part, reçoivent des numéros à partir de # 100001 pour ne jamais croiser ceux de Nice quand les deux fichiers seront réunis return max([a['id'] for a in db['agencies']] + [int(os.environ.get('ID_BASE') or 0)]) + 1 # ---------- normalisation et rapprochement ---------- def strip(s): return unicodedata.normalize('NFD', s or '').encode('ascii', 'ignore').decode().lower() def dom(u): if not u: return None d = re.sub(r'^https?://', '', u.strip().lower()) return re.sub(r'^www\.', '', d).split('?')[0].split('#')[0].rstrip('/') or None def host(u): d = dom(u) return d.split('/')[0] if d else None # Sites de réseau partagés par plusieurs agences : un même domaine ne suffit pas à rapprocher deux fiches. NETWORK_HOSTS = {'fr.foncia.com', 'orpi.com', 'squarehabitat.fr', 'laforet.com', 'citya.com', 'sixiemeavenue.com', 'ladresse.com', 'guy-hoquet.com', 'lamy-immobilier.fr', 'kaliz.fr', 'engelvoelkers.com', 'votre-agence-immo.fr', 'akorimmo.com', 'gecko-immobilier.com', 'palaisimmobilier.com', 'orea-immobilier.fr', 'groupe-optimmo.fr', 'leggett-immo.com', 'caaji.com', 'medicis-patrimoine.com', 'espaces-atypiques.com', 'haton-immobilier.com', 'cotouest-immobilier.com', 'myhome.immo', 'century21.fr', 'era-immobilier.com', 'eraimmobilier.com', 'arthurimmo.com', 'nestenn.com', 'iadfrance.fr'} def phone(p): if not p: return None d = re.sub(r'\D', '', p) if d.startswith('33'): d = '0' + d[2:] return d if len(d) == 10 else None ABBR = [(r'\bbd\b', 'boulevard'), (r'\bav\b', 'avenue'), (r'\bave\b', 'avenue'), (r'\bpl\b', 'place'), (r'\bprom\b', 'promenade'), (r'\bchem\b', 'chemin'), (r'\bst\b', 'saint'), (r'\bmal\b', 'marechal')] STOP = {'rue', 'boulevard', 'avenue', 'place', 'promenade', 'chemin', 'quai', 'allee', 'impasse', 'de', 'du', 'des', 'la', 'le', 'l', 'd', 'bis', 'ter', 'et', 'a', 'b'} GENERIC_WORDS = {'agence', 'immobilier', 'immobiliere', 'nice', 'cabinet', 'immo', 'transaction', 'transactions', 'gestion', 'real', 'estate', 'agency'} def addr_key(a): s = strip(a).replace('.', ' ').replace(',', ' ').replace("'", ' ') for p, r in ABBR: s = re.sub(p, r, s) m = re.search(r'(\d{1,4})\s*(?:bis|ter)?\s+([a-z\s\-]+)', s) if not m: return None words = [w for w in re.split(r'[\s\-]+', m.group(2)) if w and w not in STOP] return f"{m.group(1)}-{words[0]}" if words else None def postcode(a): if os.environ.get('VILLES'): # relevé des nouvelles villes : codes postaux de leurs communes m = re.search(r'\b(06\d{3})\b', a or '') return m.group(1) if m and m.group(1) in CP_ACTIFS else None m = re.search(r'\b06[0-3]00\b', a or '') return m.group(0) if m else None def name_tokens(n): return set(re.findall(r'[a-z]{4,}', strip(n))) - GENERIC_WORDS def keys_of(a): return {'phones': {phone(p) for p in a.get('phones', [])} - {None}, 'hosts': {host(u) for u in a.get('websites', [])} - {None}, 'akeys': {addr_key(x) for x in a.get('addresses', [])} - {None}} def match(db, name, address, ph, site, exclude_source=None): """Retrouve une agence existante : même adresse + nom compatible, puis même téléphone, puis même site propre.""" p, ak, h0, n = phone(ph), addr_key(address), host(site), name_tokens(name) pool = [a for a in db['agencies'] if not (exclude_source and a['sources'].get(exclude_source))] if ak: for a in pool: k = keys_of(a) if ak in k['akeys'] and (not n or n & name_tokens(a['name']) or (h0 and h0 in k['hosts'])): return a if p: for a in pool: k = keys_of(a) if p in k['phones']: if h0 and h0 not in NETWORK_HOSTS and k['hosts'] and h0 not in k['hosts'] and not (k['hosts'] & NETWORK_HOSTS): continue return a if h0 and h0 not in NETWORK_HOSTS: c = [a for a in pool if h0 in keys_of(a)['hosts']] if len(c) == 1: return c[0] return None def upsert(db, name, address, ph, site, source, entry, key): """Ajoute ou met à jour la fiche d'une source pour l'agence correspondante (créée si besoin). Pour Google, une agence qui a déjà une fiche Google identifiée (place_id) n'est pas rapprochée d'une autre fiche : deux bureaux d'une même enseigne restent séparés. Les fiches Google historiques sans place_id (relevé initial) sont, elles, complétées par la première fiche correspondante trouvée. """ a = None for x in db['agencies']: if any(e.get(key) == entry.get(key) for e in x['sources'].get(source, [])): a = x; break if a is None: if source == 'google': pool = {'agencies': [x for x in db['agencies'] if not any(e.get('place_id') for e in x['sources'].get('google', []))]} a = match(pool, name, address, ph, site) else: a = match(db, name, address, ph, site) if a is None: a = {'id': new_id(db), 'name': name, 'addresses': [], 'phones': [], 'websites': [], 'postcode': postcode(address), 'publisher': False, 'sources': {}, 'audit': None, 'first_seen': str(TODAY)} db['agencies'].append(a) for fld, v in (('addresses', address), ('phones', ph), ('websites', site)): if v and v not in a[fld]: a[fld].append(v) lst = a['sources'].setdefault(source, []) for i, e in enumerate(lst): if e.get(key) == entry.get(key) or (source == 'google' and not e.get('place_id')): lst[i] = {**{k: v for k, v in e.items() if k not in ('gid',)}, **entry}; break else: lst.append(entry) return a # ---------- Firecrawl ---------- class FirecrawlOut(Exception): """Plus de crédits Firecrawl : le passage s'arrête proprement au lieu d'enregistrer des résultats vides.""" FC_OUT = threading.Event() def _fc_post(path, payload, timeout): """Appel Firecrawl avec nouvel essai en cas de limite de débit (429 : 150 requêtes/minute), d'erreur serveur ou réseau. Crédits épuisés (402) : lève FirecrawlOut, ici et pour tous les appels suivants du script.""" if FC_OUT.is_set(): raise FirecrawlOut() for attempt in range(6): try: r = requests.post(f'https://api.firecrawl.dev/v2/{path}', timeout=timeout, headers={'Authorization': f'Bearer {FIRECRAWL_KEY}'}, json=payload) except requests.RequestException as e: print('Firecrawl réseau', str(e)[:200]); time.sleep(10 * (attempt + 1)); continue if r.status_code == 402: if not FC_OUT.is_set(): print('Firecrawl : CRÉDITS ÉPUISÉS — arrêt des lectures, rien n\'est enregistré pour les agences non traitées', r.text[:200]) FC_OUT.set(); raise FirecrawlOut() if r.status_code == 429 or r.status_code >= 500: if attempt == 0 or r.status_code != 429: print('Firecrawl', r.status_code, r.text[:160]) time.sleep(20 * (attempt + 1)); continue return r return None def fc_scrape(url, formats=('markdown',), wait=0, actions=None, main_only=False, timeout=120, proxy=None, max_age=None): """formats : noms ('markdown', 'links', 'rawHtml'…) ou objets Firecrawl (ex. {'type': 'screenshot', 'fullPage': True}). proxy : 'auto' réessaie avec un navigateur furtif si le site bloque les robots (Cloudflare…).""" body = {'url': url, 'formats': list(formats), 'onlyMainContent': main_only, 'waitFor': wait} if actions: body['actions'] = actions if proxy: body['proxy'] = proxy # max_age=0 : page lue en direct. Sans ce paramètre, Firecrawl peut renvoyer une copie en cache (jusqu'à 2 jours) : # les relectures ciblées l'imposent depuis le 17/11/2026 (une page corrigée le jour même avait été lue en cache). if max_age is not None: body['maxAge'] = max_age r = _fc_post('scrape', {**body, 'timeout': timeout * 1000}, timeout + 60) if r is None or r.status_code != 200: if r is not None: print('Firecrawl', r.status_code, r.text[:300]) return None return r.json().get('data') def fc_alex(provider, capability, options): """Appelle une capacité Alexandria de Firecrawl (ex. firecrawl-maps / businesses/reviews) ; renvoie ses données ou None.""" for attempt in range(3): try: r = _fc_post('scrape', {'alexandria': {'provider': provider, 'capability': capability, 'options': options}}, 180) if r is None: return None if r.status_code == 200: res = (r.json().get('data') or {}).get('alexandria') or [] if res and res[0].get('data') is not None: return res[0]['data'] print('Alexandria sans données', str(res)[:300]); return None print('Alexandria', r.status_code, r.text[:300]) if r.status_code in (400, 402, 403, 404): return None except requests.RequestException as e: print('Alexandria erreur', e) time.sleep(5 * (attempt + 1)) return None def fc_search(query, limit=5): r = _fc_post('search', {'query': query, 'limit': limit}, 60) if r is None or r.status_code != 200: return [] d = r.json().get('data', {}) return d.get('web', d) if isinstance(d, dict) else d # ---------- Claude ---------- def _extract_json(text): """Récupère le premier objet JSON complet d'une réponse texte.""" text = re.sub(r'^```(?:json)?\s*|\s*```$', '', text.strip()) start = text.find('{') if start < 0: return None depth, in_str, esc = 0, False, False for i, ch in enumerate(text[start:], start): if in_str: esc = (ch == '\\' and not esc) if ch == '"' and not esc: in_str = False continue if ch == '"': in_str = True elif ch == '{': depth += 1 elif ch == '}': depth -= 1 if depth == 0: return json.loads(text[start:i + 1]) return None # ---------- suivi des coûts Claude (tarifs en $ par million de tokens, entrée / sortie) ---------- PRICES = {'claude-sonnet-5-5': (2.0, 10.0), 'claude-haiku-5-5': (0.10, 0.50)} _USAGE = {} _USAGE_LOCK = threading.Lock() def _track(model, usage): with _USAGE_LOCK: u = _USAGE.setdefault(model, [0, 0, 0]) u[0] += getattr(usage, 'input_tokens', 0) or 0; u[1] += getattr(usage, 'output_tokens', 0) or 0; u[2] += 1 @atexit.register def _flush_usage(): """Ajoute la consommation Claude du script au total du mois (data/costs/AAAA-MM.json).""" if not _USAGE: return p = ROOT / 'data' / 'costs' / f'{TODAY:%Y-%m}.json' p.parent.mkdir(parents=True, exist_ok=True) d = json.loads(p.read_text()) if p.exists() else {'claude': {}, 'firecrawl_credits': 0, 'runs': []} for m, (i, o, n) in _USAGE.items(): c = d['claude'].setdefault(m, {'input': 0, 'output': 0, 'calls': 0, 'usd': 0.0}) pi, po = PRICES.get(m, (2.0, 10.0)) c['input'] += i; c['output'] += o; c['calls'] += n; c['usd'] = round(c['input'] / 1e6 * pi + c['output'] / 1e6 * po, 2) p.write_text(json.dumps(d, ensure_ascii=False, indent=1)) def claude_json(prompt, schema, model=None, max_tokens=4000): """Demande à Claude une réponse JSON suivant le schéma ; renvoie le dict, ou None après 3 essais.""" import anthropic client = anthropic.Anthropic(api_key=ANTHROPIC_KEY) instr = ("\n\nRéponds UNIQUEMENT par un objet JSON valide (sans texte autour, sans balises) conforme à ce schéma JSON. " "Utilise null quand une information n'apparaît pas.\n" + json.dumps(schema, ensure_ascii=False)) for attempt in range(3): try: msg = client.messages.create(model=model or MODEL_EXTRACT, max_tokens=max_tokens, messages=[{'role': 'user', 'content': prompt + instr}]) _track(model or MODEL_EXTRACT, msg.usage) text = ''.join(b.text for b in msg.content if b.type == 'text') data = _extract_json(text) if isinstance(data, dict) and all(k in data for k in schema.get('required', [])): return data print('Réponse IA incomplète, nouvel essai') except Exception as e: # noqa: BLE001 — on réessaie puis on abandonne proprement print('Claude erreur', str(e)[:300]); time.sleep(5 * (attempt + 1)) return None def claude_vision_json(prompt, images, schema, model=None, max_tokens=4000): """Comme claude_json, avec des images (URL publiques) jointes : barèmes publiés en image, captures de pages.""" import anthropic client = anthropic.Anthropic(api_key=ANTHROPIC_KEY) instr = ("\n\nRéponds UNIQUEMENT par un objet JSON valide (sans texte autour, sans balises) conforme à ce schéma JSON. " "Utilise null quand une information n'apparaît pas.\n" + json.dumps(schema, ensure_ascii=False)) content = [{'type': 'image', 'source': {'type': 'url', 'url': u}} for u in images[:6]] + [{'type': 'text', 'text': prompt + instr}] for attempt in range(3): try: msg = client.messages.create(model=model or MODEL_AUDIT, max_tokens=max_tokens, messages=[{'role': 'user', 'content': content}]) _track(model or MODEL_AUDIT, msg.usage) data = _extract_json(''.join(b.text for b in msg.content if b.type == 'text')) if isinstance(data, dict) and all(k in data for k in schema.get('required', [])): return data except Exception as e: # noqa: BLE001 print('Claude vision erreur', str(e)[:300]) if 'image' in str(e).lower() and len(content) > 1: content = content[:-2] + content[-1:] # image refusée (trop grande, inaccessible) : on retire la dernière (la capture d'abord) time.sleep(5 * (attempt + 1)) return None # Conseillers indépendants des réseaux (iad, Safti…) : rubrique supprimée le 11/11/2026, ni référencés, ni audités, ni relevés. ADVISER_RE = re.compile(r'\biad\b|iadfrance|capifrance|safti|optimhome|propri[eé]t[eé]s.?priv[eé]es|efficity|megagence|\bbsk\b|' r'immo r[eé]seau|conseill[eè]re? (en )?immobili|\bmandataire|agent commercial|lafourmi|exp france|exprealty|dr house', re.I) def is_adviser(a): if a.get('kind') == 'mandataire' or (a.get('audit') or {}).get('independent_network_adviser'): return True return bool(ADVISER_RE.search(' '.join([a['name']] + a.get('websites', []))))