"""Dossier de reproduction du classement (publié dans site/methode/reproduction/). Données élémentaires, sans texte d'avis ni nom d'auteur, et un script autonome (recalcul.py) qui recalcule chaque note à partir de ces données et la compare au classement publié. Appelé par build.py à chaque publication. """ import csv, io, json, shutil from common import ROOT, TODAY, WEIGHTS, REVIEWS_DIR, CRIT_W import service import avis OUT = ROOT / 'site' / 'methode' / 'reproduction' METHODE = 'v6 du 18/11/2026 (19 critères, poids par critère : médianes des six IA, grille vendeur, deux tours ; trois statuts Google pour la réponse aux avis négatifs)' SITE = 'https://meilleures-agences-immo-cote-dazur.fr' CODE = ['common.py', 'avis.py', 'service.py', 'build.py', 'collect_detail.py', 'collect_service.py', 'audit.py', 'export_repro.py'] def _relectures(pattern): """Relectures ciblées : {slug: {date, url}} (dernière relecture retenue).""" out = {} for f in sorted((ROOT / 'data' / 'rectifications').glob(pattern)): j = json.loads(f.read_text()) for slug, v in j['agences'].items(): out[slug] = {'date': j['date'], 'url': v.get('url') or (out.get(slug) or {}).get('url', ''), 'id': f.stem, 'appliquee': not v.get('decision', '').startswith('inchangé'), 'decision_inchangee_non_lue': v.get('decision', '').endswith('non lues')} return out RELECTURES = _relectures('payeur-*.json') # critère « Payeur indiqué » seul RELECTURES_BAREME = _relectures('baremes-*.json') # barème de vente entier (quatre critères) RELECTURES_MENTIONS = _relectures('mentions-*.json') # carte professionnelle et identification de la société def _csv(name, head, rows): buf = io.StringIO() w = csv.writer(buf, delimiter=';', lineterminator='\n') w.writerow(head); w.writerows(rows) (OUT / name).write_text(buf.getvalue(), encoding='utf-8') if name in ('lectures.csv', 'relectures-exceptionnelles.csv'): # copie en texte : certains assistants d'IA n'ouvrent pas les .csv (OUT / (name + '.txt')).write_text(buf.getvalue(), encoding='utf-8') def write(db, out): OUT.mkdir(parents=True, exist_ok=True) ranked = {r['id']: r for r in out if r.get('audit') and r.get('rank')} elig = [a for a in db['agencies'] if not (a.get('hidden') or a.get('excluded') or a.get('opposition'))] import build agg_rows, item_rows, crit_rows, soc_rows, src_rows = [], [], [], [], [] for a in elig: for src, r, k, _ in build.reviews(a): agg_rows.append([a['slug'], src, r, k]) if a['id'] not in ranked: continue rec = ranked[a['id']] p = REVIEWS_DIR / f"{a['id']}.json" full = json.loads(p.read_text()) if p.exists() else {} store = avis.tx(full) detailed = {s: v for s, v in store.items() if v.get('complete') and (v.get('items') or full[s].get('items'))} uq, _ = avis.unique_reviews(detailed) keep_q = {(x['src'], x.get('id')) for x in uq} us, _ = avis.unique_reviews({k: v for k, v in store.items() if v.get('items')}) keep_s = {(x['src'], x.get('id')) for x in us} for src, v in full.items(): if not isinstance(v, dict): continue for x in v.get('items', []): kept = x.get('kind') not in avis.HORS item_rows.append([a['slug'], src, x.get('id'), (x.get('date') or '')[:10], x.get('r'), x.get('kind') or 'non_precise', int(kept), int(bool(v.get('complete'))), int(kept and (src, x.get('id')) in keep_q), int(kept and (src, x.get('id')) in keep_s), avis.SHARED.get(avis.text_key(x.get('text')), 1), '' if 'reply' not in x else int(bool(x['reply'])), x.get('svc') or '']) au = a.get('audit') or {} c = au.get('company') or {} obs = (au.get('date') or '')[:10] # date de lecture du site de l'agence (critères Honoraires, Mentions légales, Information) rel = RELECTURES.get(a['slug']) # relecture ciblée d'un seul critère (journal data/rectifications/) for x in (rec.get('detail') or []) + (rec.get('honoDetail') or []): src = (au.get('fees_schedule_url') or au.get('site') or '') if x[0] == 'hono' else (au.get('site') or '') d_obs = obs rb = RELECTURES_BAREME.get(a['slug']) # identifiant de la lecture qui a fixé ce critère : lecture du calendrier (si elle a été horodatée), ou relecture ciblée lect = f"lecture-{au['date']}" if au.get('lecture') else '' if rb and x[0] == 'hono': d_obs, src, lect = rb['date'], rb['url'] or src, rb['id'] rm = RELECTURES_MENTIONS.get(a['slug']) if rm and x[0] == 'conf' and x[2].startswith(('Carte professionnelle', 'Identification de la société')) \ and not rm['decision_inchangee_non_lue']: d_obs, src, lect = rm['date'], rm['url'] or src, rm['id'] if rel and x[0] == 'hono' and x[2].startswith('Payeur indiqué'): d_obs, src, lect = rel['date'], rel['url'] or src, rel['id'] crit_rows.append([a['slug'], x[0], x[1], x[2], '' if x[3] is None else x[3], '' if x[4] is None else x[4], d_obs, src, lect]) # règles appliquées aux valeurs absentes, telles que le calcul de production les a appliquées (section 10 de la méthode) regles = [f'{k}:valeur_neutre_50' for k in (rec.get('provisoire') or [])] if au.get('no_website'): regles.append('sans_site:hono_info_conf_0') if au.get('fees_unverified'): regles.append('hono:bareme_illisible_20') na = sum(1 for x in (rec.get('detail') or []) if not x[4]) if na: regles.append(f'criteres_non_applicables:{na}') anc_src = ('exception_editeur_depot_de_marque' if 'exception' in ((a.get('anc_since') or {}).get('raison') or '') else 'rachat_prouve_saisie_manuelle') if (a.get('anc_since') or au.get('anc_since')) else ('registre_des_entreprises' if c.get('creation_date') else 'non_relevee') src_rows.append([a['slug'], a['id'], f"{SITE}/agence/{a['slug']}/", au.get('site') or '', str(TODAY), obs, au.get('fees_schedule_url') or '', au.get('estimation_url') or '', int(bool(au.get('fees_unverified'))), int(bool(au.get('no_website'))), ','.join(rec.get('provisoire') or []), ' '.join(regles), c.get('siren') or '', c.get('legal_name') or '', c.get('creation_date') or '', anc_src, (a.get('brand_since') or {}).get('year') or '', rel['date'] if rel else '', service.google_status(full), RELECTURES_BAREME[a['slug']]['date'] if a['slug'] in RELECTURES_BAREME else '', ','.join(sorted(set(au.get('offers') or au.get('activities_offered') or [])))]) soc_rows.append([a['slug'], rec['rank'], f"{rec['t']:.4f}", (a.get('anc_since') or {}).get('date') or au.get('anc_since') or c.get('creation_date') or '', int(bool(au.get('no_website'))), ','.join(rec.get('provisoire') or []), *[('' if rec['scores'][k] is None else f"{rec['scores'][k]:.4f}") for k in ('avis', 'serv', 'hono', 'conf', 'info', 'anc')], rec.get('ntot') or 0]) _csv('agregats-plateformes.csv', ['agence', 'plateforme', 'note', 'nombre'], agg_rows) _csv('avis-elementaires.csv', ['agence', 'plateforme', 'id', 'date', 'note', 'profil', 'compte_vente_achat', 'releve_complet', 'retenu_qualite', 'retenu_service', 'nb_agences_partageant', 'reponse_agence', 'probleme'], item_rows) # Journal des lectures faites hors calendrier trimestriel, et registre des relectures exceptionnelles (phase D de l'audit) reg = json.loads((ROOT / 'data' / 'relectures-exceptionnelles.json').read_text())['relectures'] lect_rows = [] for x in reg: for jn in x['journaux']: j = json.loads((ROOT / 'data' / 'rectifications' / f'{jn}.json').read_text()) page = 'mentions' if jn.startswith('mentions-') and 'baremes' not in jn else 'bareme' for slug, e in sorted(j['agences'].items()): lu = e.get('lu') if isinstance(e.get('lu'), dict) else {} lect_rows.append([x['id'], jn, slug, page, e.get('url') or '', lu.get('heure_utc') or e.get('heure_utc') or '', lu.get('empreinte_texte') or '', (e.get('decision') or '').replace(';', ',')]) for a in (x for x in elig if x['id'] in ranked): # lectures du calendrier trimestriel, horodatées depuis la v5.7 lc = (a.get('audit') or {}).get('lecture') if lc: lect_rows.append([f"lecture-{a['audit']['date']}", 'calendrier', a['slug'], 'site', a['audit'].get('site') or '', lc['heure_utc'], lc['empreinte_texte'], f"{lc.get('pages', '')} pages lues"]) _csv('lectures.csv', ['id_lecture', 'journal', 'agence', 'page', 'url', 'heure_utc', 'empreinte_texte', 'resultat'], lect_rows) _csv('relectures-exceptionnelles.csv', ['id_lecture', 'date_decision', 'inscription', 'type', 'motif', 'perimetre', 'lecture_en_direct', 'journaux'], [[x['id'], x['date_decision'], x['inscription'], x['type'], x['motif'].replace(';', ','), x['perimetre'].replace(';', ','), x['lecture_en_direct'].replace(';', ','), ' '.join(x['journaux'])] for x in reg]) _csv('criteres-sites.csv', ['agence', 'pilier', 'famille', 'critere', 'points', 'max', 'date_observation', 'url_source', 'id_lecture'], crit_rows) _csv('sources-agences.csv', ['agence', 'id', 'url_fiche', 'url_site', 'date_releve_avis', 'date_lecture_site', 'url_bareme', 'url_estimation', 'bareme_illisible', 'sans_site', 'piliers_provisoires', 'regles_valeurs_absentes', 'siren', 'raison_sociale', 'date_creation_societe', 'source_anciennete', 'enseigne_depuis', 'date_relecture_payeur', 'statut_avis_google', 'date_relecture_bareme', 'activites'], src_rows) _csv('agences.csv', ['agence', 'rang_publie', 'note_publiee', 'date_anciennete', 'sans_site', 'piliers_provisoires', 'avis', 'service', 'honoraires', 'mentions_legales', 'information', 'anciennete', 'nb_avis_total'], soc_rows) (OUT / 'parametres.json').write_text(json.dumps({ 'date_releve': str(TODAY), 'poids': WEIGHTS, 'poids_criteres': CRIT_W, 'moyenne_nice_M_REF': avis.M_REF, 'avis_fictifs_PRIOR': avis.PRIOR, 'demi_vie_mois': avis.HALF_LIFE, 'plafond_volume': avis.VOL_CAP, 'poids_avis_sans_date': avis.AGG_AGE, 'profils_ecartes': list(avis.HORS), 'version_methode': METHODE, 'identifiant_stable': "colonne id de sources-agences.csv (le slug peut changer si l'agence est renommée)"}, ensure_ascii=False, indent=1), encoding='utf-8') code = OUT / 'code' code.mkdir(exist_ok=True) for f in CODE: shutil.copy(ROOT / 'pipeline' / f, code / (f + '.txt')) shutil.copy(ROOT / 'pipeline' / 'recalcul.py', OUT / 'recalcul.py') U = 'https://meilleures-agences-immo-cote-dazur.fr/methode/reproduction/' files = [('recalcul.py', 'Script de recalcul (Python 3, sans dépendance)'), ('parametres.json', 'Paramètres et poids du relevé'), ('agences.csv', 'Agences classées, rang, note et piliers publiés'), ('avis-elementaires.csv', 'Avis un par un (sans texte ni auteur) : date, note, profil, retenu ou non, réponse, problème'), ('agregats-plateformes.csv', 'Notes globales des plateformes, pour la moyenne de Nice et les avis non relevés un par un'), ('criteres-sites.csv', 'Critères relevés sur les sites : honoraires, mentions légales, information (date de lecture et page source)'), ('lectures.csv', 'Journal des relectures hors calendrier trimestriel : agence, page, heure, empreinte du texte lu, résultat'), ('relectures-exceptionnelles.csv', 'Registre des relectures exceptionnelles : motif, périmètre, date de décision'), ('sources-agences.csv', "Sources par agence : identifiant stable, pages lues, dates d'observation, règles appliquées aux valeurs absentes, société et ancienneté")] files += [(f'code/{f}.txt', f'Code source : {f}') for f in CODE] # Empreintes SHA-256 des fichiers du relevé (audit ChatGPT du 18/11/2026) : permettent de vérifier qu'on recalcule bien # sur les fichiers publiés à cette date import hashlib emp = [f'# Empreintes SHA-256 du dossier de reproduction, relevé du {TODAY}, méthode {METHODE}'] emp += [f"{hashlib.sha256((OUT / f).read_bytes()).hexdigest()} {f}" for f, _ in files if (OUT / f).exists()] (OUT / 'empreintes-sha256.txt').write_text('\n'.join(emp) + '\n', encoding='utf-8') files.append(('empreintes-sha256.txt', 'Empreintes SHA-256 de tous les fichiers ci-dessus')) # Copies en texte des CSV (certains assistants d'IA refusent le type text/csv ; audit de ChatGPT du 18/11/2026) for f in sorted(OUT.glob('*.csv')): shutil.copy(f, OUT / (f.name + '.txt')) files.append(('agences.csv.txt', 'Copies en texte de chaque fichier .csv (même contenu, nom + .txt), pour les outils qui refusent le type CSV')) # Procès-verbal d'exécution : le script public lancé sur ces fichiers mêmes, au moment de la publication import subprocess, sys as _sys, datetime as _dt run = subprocess.run([_sys.executable, '-I', str(OUT / 'recalcul.py')], cwd=OUT, capture_output=True, text=True) (OUT / 'execution-recalcul.txt').write_text( f"# Exécution de recalcul.py sur les fichiers de ce dossier, à la publication du {_dt.datetime.now(_dt.timezone.utc):%Y-%m-%d %H:%M} UTC\n" f"# Fichiers vérifiables par leurs empreintes (empreintes-sha256.txt). Code de sortie : {run.returncode} (0 = notes, piliers et rangs " f"identiques au classement publié, aucune incohérence)\n" + run.stdout + (run.stderr and '\n' + run.stderr), encoding='utf-8') files.append(('execution-recalcul.txt', "Procès-verbal de l'exécution du script sur ces fichiers, à la publication")) li = ''.join(f'
  • {U}{f} — {d}
  • ' for f, d in files) (OUT / 'index.html').write_text(f'''Reproduire le classement — Meilleures Agences Immo Côte d’Azur

    ← Méthode de calcul

    Reproduire le classement

    Relevé du {TODAY}. Téléchargez ces fichiers dans un même dossier, puis lancez python3 recalcul.py : le script recalcule les piliers et la note des agences classées à partir des données élémentaires et les compare au classement publié. Les textes des avis et les noms de leurs auteurs ne sont pas publiés ; le profil de l'auteur et les problèmes signalés, lus par une IA, sont fournis dans les colonnes.

    ''', encoding='utf-8')