Long memory models

Processes where we know that ancient history is still relevent for the future predictions, even if we know the recent history.

In my own mental map this is near-synonymous with stateful models
where we ignore the state, which I suppose is a kind of coarse graining.
If we aren’t concerned with a process but i.i.d. occurrences we might look at our
hidden variables differently.

This particular approach up being a popular simplification, because hidden states can be computationally difficult
to infer as well as having possibly high
sample complexity.
Maybe for other reasons too?

But in this formulation, we have a Markov process but
because we do not observe the whole state it looks non-Markov.
This is reasonably consistent with reality, where we believe
the current state of reality determines the future,
but we don’t know the whole current state.
Related: hidden variable quantum mechanics.

Note “long memory” is considered as a model for with time series, but clearly spatial random fields, or random fields indexed by any number of dimensions, with or without causality constraints, can have this property.

Main questions for me:

  1. Can we use the “memory length” of a system to infer the number of hidden states for some class of interesting systems, or vice versa?
  1. which classes?
  1. Can we infer the memory length alone as a parameter of interest in some classes? (need making precise). Information criteria don’t do this model order selection consistently.

Reading

Bera92
Beran, J. (1992) Statistical Methods for Data with Long-Range Dependence. Statistical Science, 7(4), 404–416.
Bera10
Beran, J. (2010) Long-range dependence. Wiley Interdisciplinary Reviews: Computational Statistics, 2(1), 26–35. DOI.
BHKS06
Berkes, I., Horváth, L., Kokoszka, P., & Shao, Q.-M. (2006) On discriminating between long-range dependence and changes in mean. The Annals of Statistics, 34(3), 1140–1165. DOI.
BrCL98
Breidt, F. J., Crato, N., & de Lima, P. (1998) The detection and estimation of long memory in stochastic volatility. Journal of Econometrics, 83(1–2), 325–348.
CsMi99
Csörgö, S., & Mielniczuk, J. (1999) Random-design regression under long-range dependent errors. Bernoulli, 5(2), 209–224. DOI.
DiIn01
Diebold, F. X., & Inoue, A. (2001) Long memory and regime switching. Journal of Econometrics, 105(1), 131–159. DOI.
DoOT03
Doukhan, P., Oppenheim, G., & Taqqu, M. S.(2003) Theory and applications of long-range dependence. . Birkhauser
FGLM07
Farmer, J. D., Gerig, A., Lillo, F., & Mike, S. (2007) Market efficiency and the long-memory of supply and demand: is price impact variable and permanent or fixed and temporary?. Quantitative Finance, 6(2), 107–112. DOI.
GiSu99
Giraitis, L., & Surgailis, D. (1999) Central limit theorem for the empirical process of a linear sequence with long memory. Journal of Statistical Planning and Inference, 80(1–2), 81–93.
Gnei00
Gneiting, T. (2000) Power-law correlations, related models for long-range dependence and their simulation. Journal of Applied Probability, 37(4), 1104–1109.
GrJo80
Granger, C. W. J., & Joyeux, R. (1980) An Introduction to Long-Memory Time Series Models and Fractional Differencing. Journal of Time Series Analysis, 1(1), 15–29. DOI.
Horv01
Horváth, L. (2001) Change-point detection in long-memory processes. Journal of Multivariate Analysis, 78(2), 218–234.
Küns86
Künsch, H. R.(1986) Discrimination between monotonic trends and long-range dependence. Journal of Applied Probability, 23(4), 1025–1030.
Lahi93
Lahiri, S. N.(1993) On the moving block bootstrap under long range dependence. Statistics & Probability Letters, 18(5), 405–413. DOI.
Robi03
Robinson, P. M.(2003) Time series with long memory. . Oxford Univ Pr
SaSo10
Saichev, A. I., & Sornette, D. (2010) Generation-by-generation dissection of the response function in long memory epidemic processes. The European Physical Journal B, 75(3), 343–355. DOI.

See original: The Living Thing / Notebooks Long memory models

Sample complexity

The machine-learning-ish approach to analysing estimator convergence.

TBD

See original: The Living Thing / Notebooks Sample complexity

Hidden variables and latent factors

This isn’t a thing per se.
But I want a landing page for a few differnt ways to think about hidden variables.

If the hidden varaibles are random, I might think of hierarchical models, latent factors, deep networks, informative sampling, censored data…

If the hidden variables are determninistic I might think of algorithmic complexity.

Random thing:
Matrix factorisation to approximate latent factors and their interaction in recommender systems.

KoBV09
Koren, Y., Bell, R., & Volinsky, C. (2009) Matrix Factorization Techniques for Recommender Systems. Computer, 42(8), 30–37. DOI.

See original: The Living Thing / Notebooks Hidden variables and latent factors

Une approche pluridisciplinaire et pluri-scalaire des dynamiques paysagères du bassin minier du Nord-Pas-de-Calais 

Ce texte revient sur la démarche de recherche participative et pluridisciplinaire menée durant trois ans dans le cadre du programme ITTECOP sur le territoire de la communauté d’agglomération d’Henin Carvin (CAHC) dans le Nord-Pas-de-Calais. Une caractéristique de cette recherche est d’avoir rassemblé une équipe de paysagistes et une de sociologues. La démarche part d’une conception du paysage comme cadre intégrateur de réflexion et d’action et outil capable de faire émerger une action territoriale concertée et durable. Le propos dépasse néanmoins une définition commune et désormais assez consensuelle du paysage comme « construction sociale », en ajoutant une interrogation sur la diversité des acteurs aménageurs, au-delà de l’image erronée de la toute-puissance des acteurs publics et aménageurs légitimes du territoire (ou à l’inverse de leur perte de pouvoir et de la privatisation des espaces urbains au profit des seuls acteurs économiques devenus tout puissants). La démarche scienti...

See original: VertigO - la revue électronique en sciences de l'environnement Une approche pluridisciplinaire et pluri-scalaire des dynamiques paysagères du bassin minier du Nord-Pas-de-Calais 

Les dépendances vertes dans les paysages agricoles : prendre en compte les milieux adjacents à la route

Les infrastructures linéaires de transport terrestre (ILTT) sont souvent considérées comme des éléments défavorisant la biodiversité, mais elles peuvent également représenter, par leurs dépendances végétalisées, des supports de biodiversité en tant que corridor préférentiel ou habitat pour de nombreuses espèces. Ces influences contrastées des ILTT sur la biodiversité ont fait l’objet d’études portant principalement sur le réseau routier, un des principaux éléments de fragmentation des paysages, induisant notamment un effet barrière. Dans cette étude, nous nous sommes focalisés sur la connectivité transversale entre les bords de route et les champs cultivés adjacents dans une région de grande culture caractérisée par un gradient de fragmentation forestière. Cet espace étroit qu’est l’interface route-champ cultivé, est intensément géré, à la fois par les collectivités locales, s’orientant vers une tonte tardive du bord de route, et par les agriculteurs riverains des routes. Ces pratiq...

See original: VertigO - la revue électronique en sciences de l'environnement Les dépendances vertes dans les paysages agricoles : prendre en compte les milieux adjacents à la route

Le transect : outil de dialogue interdisciplinaire et de médiation

L’implantation d’une infrastructure nouvelle dans un territoire est traitée communément dans une logique duale : le tracé d’une part, la compensation des nuisances occasionnées de l’autre. Prise plus globalement, elle soulève un faisceau de questions qui mobilisent plusieurs registres de réflexion : l’écologie, la socio-ethnologie des usages, l’aménagement et le paysage. Ne pas séparer ces divers registres, les articuler à la fois théoriquement et dans l’action, constitue un enjeu fort pour la construction des territoires au XXIe siècle. En s’appuyant sur la recherche D-TRANSECT - programmation ITTECOP 2012, cet article retrace la méthodologie du transect urbain, méthodologie susceptible de saisir dans un même geste les différents enjeux propres à chacun des domaines disciplinaires concernés par un projet d’infrastructure, et d’élaborer un outil capable d’organiser un débat pluri-acteurs autour de lieux de projets qui ne sont pas dictés d’emblée par le tracé de l’infrastructure, mai...

See original: VertigO - la revue électronique en sciences de l'environnement Le transect : outil de dialogue interdisciplinaire et de médiation

Restauration de la connectivité écologique : proposition méthodologique pour une localisation optimisée des passages à faune

Le développement des grandes infrastructures de transport contribue à la fragmentation du paysage et impacte directement la connectivité à l’échelle régionale. En conséquence, la recherche de nouvelles méthodes destinées à atténuer l’impact des infrastructures existantes ou en projet est devenue une préoccupation majeure pour la préservation de la biodiversité. Parmi les méthodes existantes, celles fondées sur la théorie des graphes offrent des perspectives intéressantes pour l’aménagement et la gestion paysagère. Le protocole proposé, basé sur la modélisation du réseau écologique d’une espèce, ou d’un groupe d’espèce, fournit un cadre méthodologique d’aide à la décision pour atténuer l’effet barrière des infrastructures linéaires de transport. Les résultats obtenus permettent de guider les aménageurs dans la recherche d’un meilleur compromis entre contraintes écologiques (atteindre un gain maximal de connectivité) et contraintes économiques (limiter le nombre de passages).

See original: VertigO - la revue électronique en sciences de l'environnement Restauration de la connectivité écologique : proposition méthodologique pour une localisation optimisée des passages à faune

Opérationnalité et recherche : expériences réflexives à partir du programme Infrastructures de transports terrestres, écosystèmes et paysages (France)

[video:belanger]

Les recherches menées dans le cadre du programme de recherche français ITTECOP (Infrastructures de transports terrestres, écosystèmes et paysages) ont principalement pour objectif de confronter les enjeux techniques des Infrastructures de transport (routières, ferrées, fluviales ou énergétiques) et leurs emprises, ainsi que leurs interfaces avec les territoires (gares, ports, aéroports, etc.) en incluant les dimensions paysagères et les écosystèmes. Cette confrontation permet de prendre en compte les échelles spatiales et temporelles, les modalités de gouvernance territoriale, les enjeux écologiques, paysagers ou patrimoniaux.

ITTECOP est un programme incitatif de recherche conduit par le Ministère de l’Environnement de l’Energie et de la Mer » (MEEM), en coordination avec l’ADEME (Agence de l’Environnement et de la Maîtrise de l’Energie). Il participe à la recherche appliquée et vise une approche globale et non pas seulement une application techniquement spécialisée....

See original: VertigO - la revue électronique en sciences de l'environnement Opérationnalité et recherche : expériences réflexives à partir du programme Infrastructures de transports terrestres, écosystèmes et paysages (France)

Assurer la maitrise du ruissellement grâce aux zones humides au voisinage des infrastructures de transport dans une perspective de conservation de la biodiversité

La conservation de la biodiversité est actuellement un enjeu majeur qui s’insère progressivement dans les politiques publiques d’aménagement d’un territoire de gestion administrative, ceci dans le but de maitriser l’impact de l’activité humaine sur son environnement naturel. Les infrastructures de transport terrestre créent des ruptures sur les écosystèmes et paysages. Le projet exploratoire RHIZU (Ruissellement Intense et Zones HUmides) a pour objet d’évaluer les conditions de coexistence entre infrastructures linéaires de transport et écosystèmes de type zones humides. L’hypothèse majeure qui est traitée dans cet article repose sur une gestion repensée des eaux de ruissellement au voisinage d’une infrastructure linéaire de transport terrestre. Une reconsidération de cette gestion par le concepteur puis l’exploitant voire par d’autres acteurs des territoires ciblés permettrait de développer ou restaurer des zones humides. Outre l’impact positif induit sur la biodiversité, le mailla...

See original: VertigO - la revue électronique en sciences de l'environnement Assurer la maitrise du ruissellement grâce aux zones humides au voisinage des infrastructures de transport dans une perspective de conservation de la biodiversité

Freins et leviers pour l’installation de jardins en bord de voies

Prenant le contre-pied d’une posture visant à « réparer » les territoires détruits par les infrastructures de transport, nous investiguons les potentiels de développement urbain inhérents aux situations routes/jardins. Les territoires de bord de route possèdent leurs propres règles qui pourraient informer une manière de produire autrement la ville. Perçue depuis un véhicule personnel ou un transport en commun la nature en bord de voie, et en particulier la nature domestiquée des collectifs de jardins, compose des paysages inédits : chaotiques, colorés, texturés, précaires, changeants au gré des saisons et des années, patinés par le temps. Mais comment sont-ils vécus de l’intérieur par ceux qui les modèlent au jour le jour et aussi par ceux qui s’y promènent? Nos travaux apportent des éléments de réponse à cette question à travers une enquête de terrain en France (Département de l’Isère 38 et Région Ile-de-France), au Portugal (Lisbonne) et aux États-Unis (San Francisco, Californie)....

See original: VertigO - la revue électronique en sciences de l'environnement Freins et leviers pour l’installation de jardins en bord de voies

Évaluer les services rendus par les dépendances vertes des infrastructures linéaires de transport : une démarche exploratoire

Les dépendances vertes des infrastructures linéaires de transport, par les processus écologiques qui s’y exercent, peuvent rendre des services à la société humaine. Quels sont-ils ? Peut-on, et y a-t-il un intérêt à faire varier, en nombre et/ou en quantité, ces services ? L’article, sur la base d’un cas concret, propose une évaluation préliminaire des services produits par les habitats naturels des dépendances de l’infrastructure. Pour une infrastructure de transport routier et ferroviaire, seuls les services dits de régulation sont susceptibles d’être présents. L’étude montre qu’il existe bien une variabilité spatiale de ces services au sein des dépendances vertes. Celle-ci est fortement dépendante de l’occupation du sol et dans une moindre mesure, de l’environnement adjacent. L’article met cependant en exergue le besoin de recherche pour évaluer quantitativement les services produits à une échelle locale. L’article explore ensuite les facteurs qui pourraient faire varier la produ...

See original: VertigO - la revue électronique en sciences de l'environnement Évaluer les services rendus par les dépendances vertes des infrastructures linéaires de transport : une démarche exploratoire

Infrastructures de transports, territoires et opérationnalités : enjeux méthodologiques et positionnements de recherche

Les recherches menées dans le cadre du programme ITTECOP (Infrastructures de transports terrestres, écosystèmes et paysages) ont pour objectif principal de confronter les enjeux scientifiques et techniques des infrastructures de transport et de leurs emprises, qu’elles soient routières, ferrées, fluviales ou énergétiques ou leurs interfaces avec les territoires (gares, ports, aéroports).

Les interactions entre territoires et infrastructures sont analysées, selon les échelles spatiales et temporelles retenues, sous quatre angles complémentaires : écologiques, sociaux-économiques, paysagers ou patrimoniaux.

Les articles présentés dans ce hors-série rendent compte des approches et réflexions méthodologiques originales développées dans le but de créer des outils ou des briques d’outils d’aide à la décision élaborés afin d’appréhender les effets des infrastructures ou de leurs interfaces sur les territoires.

Le programme de recherche ITTECOP est soutenu par le Ministère français de l'Enviro...

See original: VertigO - la revue électronique en sciences de l'environnement Infrastructures de transports, territoires et opérationnalités : enjeux méthodologiques et positionnements de recherche

Le paysagiste et l'écologue : comment obtenir une meilleure collaboration opérationnelle ?

La nécessité de prendre en compte les enjeux environnementaux et écologiques dans l’aménagement du territoire est mise en avant dans plusieurs textes politiques et juridiques. Cependant, la déclinaison des objectifs de conservation de la biodiversité à l'échelle locale est encore très sommaire. D'autre part, la seule approche écologique occulterait la relation aux usages et aux ambiances qui est du ressort du paysagiste. Dans cet article, nous analysons la relation entre paysagistes concepteurs et écologues et faisons différentes propositions pour améliorer la prise en compte des enjeux et des connaissances écologiques dans les projets d'aménagement. Tout d'abord, il est nécessaire de décloisonner la culture des paysagistes et celle des écologues et de faire dialoguer les formations. Les connaissances provenant de la recherche devraient également être synthétisées et rendues plus abordables pour les praticiens. Les paysagistes et les écologues devraient être plus reconnus par la maî...

See original: VertigO - la revue électronique en sciences de l'environnement Le paysagiste et l'écologue : comment obtenir une meilleure collaboration opérationnelle ?

Les effets du jumelage des infrastructures lourdes de transport sur les territoires : quels enseignements?

L’article rend compte d’une recherche concernant les effets du jumelage des infrastructures lourdes telles que les autoroutes et les lignes ferroviaires à grande vitesse (LGV) sur le fonctionnement et la perception du territoire. L’impact écologique, les effets sur l’évolution et la perception des paysages, ainsi que les questions de gouvernance et d’acceptabilité sociale sur les espaces proches ont été plus particulièrement étudiés sur trois terrains représentatifs des grands types de jumelage observés en France. La comparaison des éléments issus des différentes analyses montre une apparente contradiction selon les échelles d'analyse de l'opportunité du jumelage. S’il offre un avantage global de gestion foncière avec une économie d'espace et la limitation de la fragmentation, il entraine aussi une surconsommation foncière avec la création d’espaces interstitiels, ainsi qu’une polarisation forte de l'espace. Du point de vue sociétal, les avantages et les inconvénients du jumelage so...

See original: VertigO - la revue électronique en sciences de l'environnement Les effets du jumelage des infrastructures lourdes de transport sur les territoires : quels enseignements?

Matlab

MATLAB;
A programming language designed for people who work with numbers in very specific ways.

Like R, it is a mess, as a programming language, evn though it is powerful
Unlike R, it is very, very expensive.

Want to use a MATLAB algorithm outside MATLAB?
Am curious how the following works:
Matlab coder howto

See original: The Living Thing / Notebooks Matlab