Карты для Garmin "Quickdraw" (Просматривают: 3)

[Baikal38]

В горизонтали почему то больше фильтрует!

 

[igoral63]

Интересна логика. X, Y - строки и столбцы массива. Глубина - значение элемента массива. В цикле по строкам: попалось отличное от 0 - пять последовательных значений обнуляются, выскочил на 0 - обнуляются 5 предыдущих. Потом тоже самое по столбцам. В итоге выводятся в файл координаты и значения не нулевых ячеек.Или что то более сложное?
Это на первый взгляд в голову пришло.
Суть в другом. Пока у Вас все алгоритмы свежи в памяти.
Есть проблема артефактов -явно ложные глубины. Понятно, что в пределах максимальной глубины водоема программе не объяснишь, где истина, а где сбой.
Но часто встречаются точки явно не от мира сего. Их найти просто-задать на входе максимальную глубину водоема. Не помню, тянут они за собой глубину соседних или нет. Нужно посмотреть - в GL тянут.
В любом случае, метров на 20-30 вокруг таких артефактов территорию было бы хорошо зачистить. Наверное лучше, чем их потом вручную удалять.

 

[_Poruchik]

Интересна логика. X, Y - строки и столбцы массива. Глубина - значение элемента массива. В цикле по строкам: попалось отличное от 0 - пять последовательных значений обнуляются, выскочил на 0 - обнуляются 5 предыдущих. Потом тоже самое по столбцам. В итоге выводятся в файл координаты и значения не нулевых ячеек.Или что то более сложное?
Это на первый взгляд в голову пришло.
Суть в другом. Пока у Вас все алгоритмы свежи в памяти.
Есть проблема артефактов -явно ложные глубины. Понятно, что в пределах максимальной глубины водоема программе не объяснишь, где истина, а где сбой.
Но часто встречаются точки явно не от мира сего. Их найти просто-задать на входе максимальную глубину водоема. Не помню, тянут они за собой глубину соседних или нет. Нужно посмотреть - в GL тянут.
В любом случае, метров на 20-30 вокруг таких артефактов территорию было бы хорошо зачистить. Наверное лучше, чем их потом вручную удалять.

Логика нехитрая: Для каждой точки глубины рассматривается окружающий ее квадрат точек 7х7 плюс еще 2 точки по горизонтали х+4 и х-4 (т.к. в градусах в наших широтах расстояния по Х меньше). Если хоть одна точка в квадрате = 0, то значение отфильтровывается.

 

[_Poruchik]

В горизонтали почему то больше фильтрует!

Идеал простыми способами не достижим, пробовал увеличивать анализируемую область (см. предыдущий пост) начинают исчезать нужные точки...

 

[igoral63]

Логика нехитрая: Для каждой точки глубины рассматривается окружающий ее квадрат точек 7х7 плюс еще 2 точки по горизонтали х+4 и х-4 (т.к. в градусах в наших широтах расстояния по Х меньше)

Отлично! Такой алгоритм для пространственных данных подходит больше.
Ждем фильтрацию по максимальной глубине водоема

 

[_Poruchik]

Выкладываю обновленную версию. Пошаманил сегодня с областью фильтрации, удалось немного улучшить.. Но тут дело такое, что хорошо в Новосибирске, В Мурманске вероятно будет уже недобор, а на Кубани возможно перебор, из-за изменения расстояний по Х в зависимости от широты. Картинку сравнения старого и нового фильтров прилагаю.
Также добавил фильтр аномалий. Нижний предел аномальных значений задается в ячейке "A6". Сейчас протетить не начем, так что отпишите насколько корректно удаляет? Не надо ли увеличить/уменьшить вырезаемую область?

 

[igoral63]

Превышение глубины отработало отлично.

 

[igoral63]

Но проблема избыточного количества точек осталась. Было 6 млн, осталось 3.5 Несистемно. По прежнему большой неповоротливый файл. Отбирать 5% случайных придется по прежнему.
А если добавить примерно такой алгоритм. Массив делим на квадратики 7х7. И из каждого отбираем по два значения Max Min. Имеет смысл подумать? Размером квадратика определяется процент отбора. Может быть есть спецы по статистике, подскажут более верный алгоритм отбора.

 

[_Poruchik]

Если честно, не вижу проблемы. У меня в текущем проекте без малого 18 млн точек. Все интерполируется без разрезания часов за 12..

 

[igoral63]

Если честно, не вижу проблемы.

Проблем нет. Позволю себе высказать свое личное мнение об этом конвертере.
Напомню времечко. 2022г. Цифровые данные о глубинах на отечественных водоемах отсутствовали как класс. Некоторые товарищи закатывали форменные истерики когда речь заходила о поделиться логом. Одновременно уже появилось как минимум две версии подобных программ от разных авторов на коммерческой основе. Многие высказывались в таком ключе - для личного использования на относительно небольших площадях - дороговато. И тут на тебе: бесплатно, для всех, уноси сколько сможешь. Может я ошибаюсь с масштабом события, но в голове вертится слово "Эпохальное"
Этот конвертер многим позволил шире взглянуть на окружающие водные пространства. Многие используют полученные данные в своем личном картостроении. Подходы у всех разные.
Поэтому, коль есть возможность непосредственно общаться с автором программы, я и позволяю себе высказать некоторые свои пожелания-предложения.

 

[igoral63]

Вернусь к вопросу прореживания данных. Точки придуманные все до одной. Обрезка по краям трека несколько улучшает ситуацию, но не системно. По сути -эти данные черновик, подложка для собственных логов. Показывают где имеет смысл пройти. При наложении собственных данных - чем меньше точек в черновике, тем лучше. Это касается и Рифа и использования QD как черновика GL. Чисто эмпирически мне показалось, что 5% достаточно для этих целей. Это только мой подход

 

[_Poruchik]

По сути -эти данные черновик, подложка для собственных логов. Показывают где имеет смысл пройти.

Зачем Вам тогда заморачиваться CSV? Экспортируйте в ASCII Grid загрузите в QGIS (видел, что пользуетесь). Раскрасьте как хочется, сделайте изолинии и Экспорируйте карту в .mbtiles, которую покажут DapDrift или Сусанин..

 

[igoral63]

У меня другая технология. По принципу утром логи-вечером Риф. Ну, когда не лень.
Накрыл акваторию с большим запасом 5% QD. Разбил на квадраты чтоб Риф не давился и по времени было вменяемо.
В рифе к QD 5%.csv добавляю свои логи. Таким образом, на выходе единая картинка. Генерация обновленных изобат минут 15. На СД фактически переносится только новый вектор. С затененным рельефом возни чуть больше. Но из обновления у меня он выпал. В реальной жизни хватает векторных изобат. Пока игрался сделал mbtiles для Альпины из затененного рельефа. Красиво, но совершенно у меня не востребовано. К тому же, Альпина с векторными изобатами дружит, но некрепко - понимает вектор как маршруты. А в растре они не слишком разборчиво выглядят.
Без изобат на фоне оффлайнового спутника.

 

[igoral63]

Если вектор добавить. В этом варианте добавлены только полигоны изобат из Рифа.
На этой картинке мои логи хорошо если 25% по площади покрывают. Остальное 5%QD из вашего конвертера.
Вот с изолиниями и полигонами. Но линии отображаются без глубин. А полигоны закрыли картинку затененного рельефа. Вот такая дилемма.

 

[_Poruchik]

Точки придуманные все до одной. Обрезка по краям трека несколько улучшает ситуацию, но не системно. По сути -эти данные черновик, подложка для собственных логов. Показывают где имеет смысл пройти. При наложении собственных данных - чем меньше точек в черновике, тем лучше.

Если, по Вашему мнению, все данные QD - лажа, зачем вообще их используете при построении своих карт? Тут философское противоречие. Все данные QD - придуманные, но 5% почему-то уже не лажа. Странно получается.
Мне, например, наоборот, запрограммированной Гармином плотности данных местами мало. При расстоянии между точками ~4.7м и ~2.7м. Отрисовать канавку шириной 2-3 метра нормально не получается, а рыбе такие места зачастую нравятся. Оставляя 5% точек вы по сути приближаетесь к сетке ~18x11м.

Возвращаясь, к Вашему запросу - получить прореженные данные можно (в том числе минимум максимум в заданной области) можно штатными средствами QGIS из растра. Поковыряйте GRASS r.resamp.stats (позволит создать загрубленный растр с Min или Max значениями) и Raster/Raster Calсulator (позволит отфильтровать точки в исходном растре выражением типа:
(("src_grid" = "resamp_grid")*"src_grid")/(("src_grid" = "resamp_grid")*1). Ну и далее Vector creation\Raster pixels to points