"""Relève les avis UN PAR UN (auteur, date, note, texte, type de client) pour le dédoublonnage et la régularité. Sources : - Google : capacité Firecrawl « firecrawl-maps / businesses/reviews » (60 avis par appel, 10 crédits). - Opinion System et Immodvisor : page de l'agence, bouton « Plus d'avis » / « Afficher plus » cliqué automatiquement, puis lecture des avis par Claude (Haiku). Stockage : data/reviews/.json -> {"google": {"fid", "complete", "seen", "items": [...]}, "opinionsystem": {...}, ...} Chaque avis : {"id", "date" (AAAA-MM-JJ), "r" (1 à 5), "author", "text", "kind" (vendeur, acquereur, bailleur, locataire, non_precise), "label" (mention de la plateforme, ex. « Avis contrôlé »)}. Premier passage : relevé complet (DETAIL_BUDGET agences par passage, les plus commentées d'abord). Ensuite chaque lundi : seulement les agences dont le nombre d'avis a changé, et seulement les avis récents. Variables : DETAIL_BUDGET (défaut 9999), DETAIL_ONLY (ids d'agences séparés par des virgules, pour un test). """ import os, re, json, html, datetime, hashlib, threading from concurrent.futures import ThreadPoolExecutor, as_completed from common import time_left, is_adviser, load, save, fc_alex, fc_scrape, claude_json, strip, TODAY, REVIEWS_DIR, MODEL_EXTRACT BUDGET = int(os.environ.get('DETAIL_BUDGET', '9999')) ONLY = {int(x) for x in os.environ.get('DETAIL_ONLY', '').split(',') if x.strip()} KINDS = ['vendeur', 'acquereur', 'bailleur', 'locataire', 'syndic', 'non_precise'] # ---------- stockage ---------- def rpath(aid): return REVIEWS_DIR / f'{aid}.json' def rload(aid): p = rpath(aid) return json.loads(p.read_text()) if p.exists() else {} def rsave(aid, d): REVIEWS_DIR.mkdir(parents=True, exist_ok=True) rpath(aid).write_text(json.dumps(d, ensure_ascii=False, separators=(',', ':'))) # ---------- type de client ---------- def kind_from_label(label): """Type de client d'après la mention de la plateforme (Opinion System : titre de l'avis ; Immodvisor : prestation).""" s = strip(label or '').upper() if any(k in s for k in ('GESTION', 'PROPRIETAIRE', 'MISE EN LOCATION', 'BAILLEUR')): return 'bailleur' if any(k in s for k in ('VENTE', 'VENDEUR', 'ESTIMATION')): return 'vendeur' if any(k in s for k in ('ACHAT', 'ACQUE', 'ACQUI')): return 'acquereur' if 'LOCAT' in s: return 'locataire' return None KIND_SCHEMA = {'type': 'object', 'properties': {'kinds': {'type': 'array', 'items': {'type': 'object', 'properties': { 'i': {'type': 'integer'}, 'kind': {'type': 'string', 'enum': KINDS}}, 'required': ['i', 'kind']}}}, 'required': ['kinds']} def classify_kinds(items): """Type de client des avis Google d'après leur texte (lots de 40 ; un avis sans texte reste « non précisé »).""" todo = [x for x in items if not x.get('kind')] for x in todo: if not (x.get('text') or '').strip(): x['kind'] = 'non_precise' todo = [x for x in todo if not x.get('kind')] for k in range(0, len(todo), 40): lot = todo[k:k + 40] txt = '\n'.join(f"[{i}] {x['text'][:600]}" for i, x in enumerate(lot)) res = claude_json("Pour chaque avis client d'une agence immobilière ci-dessous, indique qui l'a écrit : vendeur (a vendu un bien), " "acquereur (a acheté), bailleur (propriétaire qui confie la location, la gérance ou la gestion de son bien, y compris conciergerie), locataire " "(loue ou a cherché un logement, y compris candidat locataire et location saisonnière), syndic (copropriétaire qui parle " "du syndic ou de la gestion de son immeuble, y compris ASL), ou non_precise si le texte ne permet pas de le savoir. " "Ne devine pas : en cas de doute, non_precise.\n\n" + txt, KIND_SCHEMA, model=MODEL_EXTRACT, max_tokens=3000) got = {e['i']: e['kind'] for e in (res or {}).get('kinds', []) if e.get('kind') in KINDS} for i, x in enumerate(lot): x['kind'] = got.get(i, 'non_precise') # ---------- Google ---------- def google_fid(a, e): """Identifiant Maps (feature_id) d'une fiche Google, retrouvé par une recherche sur le nom et l'adresse.""" if e.get('fid'): return e['fid'] q = f"{a['name']} {(a['addresses'] or [''])[0]}".strip() d = fc_alex('firecrawl-maps', 'businesses/search', {'query': q, 'language': 'fr', 'country': 'fr'}) for p in (d or {}).get('results', []): if p.get('place_id') == e.get('place_id'): e['fid'] = p['feature_id']; return e['fid'] return None def google_items(fid, known, full): """Avis du plus récent au plus ancien ; s'arrête au premier avis déjà connu (sauf relevé complet).""" out, cursor = [], None for _ in range(400): opts = {'feature_id': fid, 'count': 60, 'sort': 'newest', 'language': 'fr'} if cursor: opts['cursor'] = cursor d = fc_alex('firecrawl-maps', 'businesses/reviews', opts) if not d: return out, False stop = False for v in d.get('reviews', []): if v['review_id'] in known and not full: stop = True; break out.append({'id': v['review_id'], 'date': datetime.datetime.fromtimestamp(v['published_at_ms'] / 1000, datetime.timezone.utc).strftime('%Y-%m-%d'), 'r': v.get('rating'), 'author': v.get('author_name'), 'text': v.get('original_text') or v.get('text'), 'reply': bool(v.get('owner_response'))}) cursor = d.get('next_cursor') if stop or not d.get('has_more') or not cursor: return out, True return out, False # ---------- Opinion System et Immodvisor ---------- # Clique « Plus d'avis » tant qu'il existe : passe au clic suivant dès que la page s'allonge (au plus 2,5 s par clic). # Firecrawl limite l'attente totale à 60 s : le script s'arrête de lui-même à 55 s. LOAD_MORE_JS = ("(async()=>{const t0=Date.now(),L=()=>(document.body?document.body.innerText.length:0);let last=null,errs=0;" "const RX=/^\\s*(plus d.avis|afficher plus( d.avis)?|voir plus d.avis|charger plus( d.avis)?)\\s*$/i;" "const ok=e=>{const h=e.getAttribute&&e.getAttribute('href');return e.tagName==='BUTTON'||!h||h.startsWith('#')||h.startsWith('javascript')};" "const find=()=>[...document.querySelectorAll('button,a,[role=button],div,span')].filter(e=>e.offsetParent!==null&&!e.disabled&&ok(e)" "&&RX.test((e.innerText||e.textContent||'').trim())).sort((x,y)=>(x.innerText||'').length-(y.innerText||'').length)[0];" "const mark=()=>{try{const m=document.createElement('p');m.textContent='FIN DES AVIS AFFICHES';" "const p=(last&&last.isConnected)?last:(document.querySelector('main')||document.body||document.documentElement);if(p)p.appendChild(m);}catch(e){}};" "for(let i=0;i<%d&&Date.now()-t0<55000;i++){let b=null;try{b=find();}catch(e){}" "if(!b){let w=0;while(!b&&w<15){await new Promise(r=>setTimeout(r,200));w++;try{b=find();}catch(e){}}if(!b){mark();break;}}" "try{last=b.parentNode;const n=L();b.scrollIntoView({block:'center'});b.click();" "for(let k=0;k<25&&L()<=n;k++)await new Promise(r=>setTimeout(r,100));}catch(e){if(++errs>3)break;}" "await new Promise(r=>setTimeout(r,120));}})().catch(()=>{})") # Immodvisor : les avis sont paginés côté serveur (?page=2, 3…, 8 avis par page) : lecture directe du HTML, sans IA. IMDV_CARD = re.compile(r'
(.*?)(?=
)', re.S) def _txt(rx, block): m = re.search(rx, block, re.S) return re.sub(r'\s+', ' ', html.unescape(re.sub(r'<[^>]+>', ' ', m.group(1)))).strip() if m else None def imdv_parse(page_html): out = [] for rid, b in IMDV_CARD.findall(page_html or ''): d = _txt(r'reviewer-infos-date">(.*?)', b) or '' m = re.match(r'(\d{2})\.(\d{2})\.(\d{4})', d) note = _txt(r'stars-rating[^>]*>(.*?)

', b) or '' n = re.match(r'(\d+(?:[.,]\d+)?)\s*/\s*5', note) if not m or not n: continue label = _txt(r'review-card-content-survey[^>]*>(.*?)', b) title, desc = _txt(r'review-title">(.*?)', b), _txt(r'review-description">(.*?)

', b) ext = re.match(r'(opinion system|google|facebook)\b', label or '', re.I) out.append({'id': f'imdv{rid}', 'date': f'{m.group(3)}-{m.group(2)}-{m.group(1)}', 'r': float(n.group(1).replace(',', '.')), 'author': _txt(r'reviewer-infos-name">(.*?)

', b), 'text': ' '.join(x for x in (title, desc) if x)[:400] or None, 'label': label, 'origin': f'Avis externe ({ext.group(1).title()})' if ext else 'Avis vérifié', 'kind': kind_from_label(label)}) return out def immodvisor_items(url, n_expected, recent_only): """Renvoie (avis, complet) ou None si la page ne se lit pas ainsi (structure changée) : repli sur la méthode générale.""" import requests base = re.sub(r'[?#].*$', '', url) hdr = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0 Safari/537.36', 'Accept-Language': 'fr-FR,fr;q=0.9'} out, seen, end = [], set(), False last = 3 if recent_only else max(2, -(-(n_expected or 0) // 8) + 2) for page in range(1, min(last, 120) + 1): h = None try: r = requests.get(base if page == 1 else f'{base}?page={page}', headers=hdr, timeout=40) if r.ok: h = r.text except Exception: # noqa: BLE001 pass if h is None or 'review-card' not in h: d = fc_scrape(base if page == 1 else f'{base}?page={page}', formats=('rawHtml',), timeout=60) h = (d or {}).get('rawHtml') got = [x for x in imdv_parse(h) if x['id'] not in seen] if page == 1 and not got: return None if not got: end = bool(h and 'review-card' in h); break # page lue mais sans nouvel avis : fin de la liste for x in got: seen.add(x['id']); out.append(x) if 'load-more-container' not in h: end = True; break # plus de bouton « Afficher plus » : tout ce que la plateforme montre est lu return out, recent_only or end or len(out) >= 0.9 * (n_expected or 0) # Opinion System : l'API publique de la page (celle qu'appelle le bouton « Plus d'avis ») renvoie les avis en JSON, # 10 par appel. Plus fiable et moins cher que de cliquer dans un navigateur. OS_API = 'https://www.opinionsystem.fr/api/certificate/survey' def _os_ids(url): m = re.search(r'/certificate/([cg])/(\d+)', url) if m: return {'collaborator_id' if m.group(1) == 'c' else 'group_id': m.group(2)} m = re.search(r'/certificate/(\d+)', url) return {'company_id': m.group(1)} if m else None def _os_date(v): v = str(v or '') m = re.match(r'(\d{4}-\d{2}-\d{2})', v) return m.group(1) if m else (v[:7] + '-15' if re.match(r'\d{4}-\d{2}', v) else None) def os_api_items(url, recent_only): """Avis Opinion System par l'API JSON de la page certificat. Renvoie (avis, complet) ou None si l'API ne répond pas.""" import requests ids = _os_ids(url) if not ids: return None s = requests.Session() s.headers.update({'User-Agent': 'Mozilla/5.0 (compatible; meilleures-agences-immo-cote-dazur.fr)', 'X-Requested-With': 'XMLHttpRequest', 'Referer': url, 'Accept': 'application/json'}) out, pos, code = [], 0, None def clean(t): return re.sub(r'\s+', ' ', html.unescape(re.sub(r'<[^>]+>', ' ', t or ''))).strip() for _ in range(300): data = {'company_id': '', 'collaborator_id': '', 'group_id': '', 'type': '', 'position': str(pos), 'sort': '', 'sort_order': '', 'locale': 'fr-FR', 'filter': '{}', **ids} try: r = s.post(OS_API, data=data, timeout=40); code = r.status_code d = r.json() if r.status_code == 200 else None except Exception as ex: # noqa: BLE001 print('Opinion System API', url, ex); d = None if not isinstance(d, dict) or 'review' not in d: if pos == 0: print('Opinion System API sans réponse exploitable', url, code); return None return out, False revs = d.get('review') or [] for v in revs: note = (v.get('notation') or {}).get('score_on_five') try: note = float(str(note).replace(',', '.')) except (TypeError, ValueError): note = (float(v['rating']) / 20) if v.get('rating') not in (None, '') else None date = _os_date(v.get('date_service')) or _os_date(v.get('date_answer')) if note is None or not date: continue origin = f"Avis externe ({v['source_name']})" if v.get('source_name') else ('Avis contrôlé' if v.get('controlled') else 'Avis vérifié') label = clean(v.get('invoice_detail')) or None out.append({'id': f"os{v.get('survey_id')}", 'date': date, 'r': round(note, 2), 'author': v.get('name'), 'text': clean(v.get('comment'))[:400] or None, 'label': label, 'origin': origin, 'kind': kind_from_label(label)}) pos += int(d.get('total') or len(revs) or 0) if not d.get('more_result') or not revs: return out, True if recent_only and pos >= 30: return out, True return out, False PAGE_SCHEMA = {'type': 'object', 'properties': {'reviews': {'type': 'array', 'items': {'type': 'object', 'properties': { 'author': {'type': ['string', 'null']}, 'date': {'type': ['string', 'null'], 'description': "AAAA-MM-JJ ; si seul le mois est affiché (ex. « juin 2026 »), AAAA-MM-15"}, 'rating_out_of_5': {'type': ['number', 'null']}, 'label': {'type': ['string', 'null'], 'description': "Intitulé de la prestation tel qu'affiché (ex. « LOCATION - 3 PIECES - NICE PORT », « Achat », « Mise en vente »)"}, 'origin': {'type': ['string', 'null'], 'description': "Mention de contrôle telle qu'affichée (ex. « Avis contrôlé », « Contrôlé par justificatif », « Avis externe »)"}, 'text': {'type': ['string', 'null']}}, 'required': ['date', 'rating_out_of_5']}}}, 'required': ['reviews']} def chunks(md, size): """Découpe la page en morceaux d'environ `size` caractères, avec un léger chevauchement, sur des lignes vides.""" out, i = [], 0 while i < len(md): j = min(len(md), i + size) if j < len(md): k = md.rfind('\n\n', i + size // 2, j) j = k if k > 0 else j out.append(md[max(0, i - 1500):j]); i = j return out def page_items(url, n_expected, recent_only): clicks = 0 if recent_only else min(max(0, (n_expected - 8) // 5 + 2), 200) actions = None if clicks: actions = [{'type': 'executeJavascript', 'script': LOAD_MORE_JS % clicks}, {'type': 'wait', 'milliseconds': min(clicks * 900 + 3000, 57000)}] # limite Firecrawl : 60 s au total d = fc_scrape(url, formats=('markdown',), actions=actions, main_only=True, timeout=240) if not d and actions: # clics impossibles sur cette page : au moins les avis affichés d'emblée (relevé incomplet) d = fc_scrape(url, formats=('markdown',), main_only=True, timeout=120) md = (d or {}).get('markdown') or '' if not md: return [], False out = [] for chunk in chunks(md, 12000): res = claude_json("Voici un extrait d'une page d'avis clients d'une agence immobilière. Liste chaque avis client présent " "(pas les réponses de l'agence), tel qu'affiché, sans rien inventer. Ignore un avis coupé au tout début " "ou à la toute fin de l'extrait. Texte de l'avis : 400 caractères au plus.\n\n" + chunk, PAGE_SCHEMA, model=MODEL_EXTRACT, max_tokens=12000) for v in (res or {}).get('reviews', []): if not v.get('date') or not re.match(r'\d{4}-\d{2}', v['date']) or v.get('rating_out_of_5') is None: continue key = hashlib.sha1(f"{v.get('author')}|{v['date'][:7]}|{(v.get('text') or '')[:80]}".encode()).hexdigest()[:16] out.append({'id': key, 'date': v['date'][:10] if len(v['date']) >= 10 else v['date'][:7] + '-15', 'r': float(v['rating_out_of_5']), 'author': v.get('author'), 'text': v.get('text'), 'label': v.get('label'), 'origin': v.get('origin'), 'kind': kind_from_label(v.get('label'))}) seen, uniq = set(), [] for x in out: if x['id'] not in seen: seen.add(x['id']); uniq.append(x) # complet : 90 % du nombre annoncé, ou bouton « Plus d'avis » épuisé (la plateforme n'en affiche pas davantage) return uniq, len(uniq) >= 0.85 * n_expected or ('FIN DES AVIS AFFICHES' in md and len(uniq) > 0) # ---------- passage ---------- def refresh_agency(a): store = rload(a['id']); changed = False for e in a['sources'].get('google', []): if not e.get('place_id') or not e.get('n'): continue st = store.get('google', {}) if st.get('complete') and st.get('n') == e['n']: continue # rien de neuf fid = google_fid(a, e) if not fid: continue known = {x['id'] for x in st.get('items', [])} full = not st.get('complete') new, ok = google_items(fid, known, full) items = new + ([x for x in st.get('items', []) if x['id'] not in {y['id'] for y in new}] if not full else []) classify_kinds(items) store['google'] = {'fid': fid, 'complete': ok, 'n': e['n'], 'seen': str(TODAY), 'items': items}; changed = True for src in ('opinionsystem', 'immodvisor'): ents = a['sources'].get(src, []) if not ents: continue st = store.get(src, {}) n = sum(x.get('n') or 0 for x in ents) if st.get('complete') and st.get('n') == n and not ONLY: continue # liste imposée (test) : relevé refait recent = bool(st.get('complete')) and not ONLY if any(not str(x['id']).startswith(('os', 'imdv')) for x in st.get('items', [])): recent = False # relevé fait par l'ancienne méthode (page) : on refait un relevé complet par l'API items, ok = [], True for e in ents: res = os_api_items(e['url'], recent) if src == 'opinionsystem' else immodvisor_items(e['url'], e.get('n') or 0, recent) got, c = res if res is not None else page_items(e['url'], e.get('n') or 0, recent) items += got; ok = ok and c if recent: old = st.get('items', []); ids = {x['id'] for x in items} items += [x for x in old if x['id'] not in ids] ok = True store[src] = {'complete': ok, 'n': n, 'seen': str(TODAY), 'items': items}; changed = True if changed: rsave(a['id'], store) return changed def main(): db = load() def nrev(a): return sum(e.get('n') or 0 for s in a['sources'].values() for e in s) pool = [a for a in db['agencies'] if not a.get('hidden') and not a.get('excluded') and not is_adviser(a) and not (a.get('closed') or {}).get('confirmed') and (not ONLY or a['id'] in ONLY)] pool.sort(key=lambda a: -nrev(a)) pool = pool[:BUDGET] lock = threading.Lock(); done = 0 def work(a): if not time_left(): return a, False # reprise au passage suivant try: return a, refresh_agency(a) except Exception as ex: # noqa: BLE001 — une agence en échec ne bloque pas les autres print('échec avis détaillés', a['name'], ex, flush=True); return a, False with ThreadPoolExecutor(max_workers=int(os.environ.get('DETAIL_WORKERS', '4'))) as ex: for i, f in enumerate(as_completed([ex.submit(work, a) for a in pool]), 1): a, ok = f.result() with lock: done += ok if ok: print(f'[{i}/{len(pool)}] avis relevés :', a['name'], flush=True) if i % 10 == 0: save(db) db['meta']['detail_last'] = str(TODAY) save(db) print(f'Avis détaillés : {done} agences mises à jour') if __name__ == '__main__': main()