Просмотр темы
 PHP FUSION 7 ПЕРЕОСМЫСЛЕНИЕ.
|
|
| pvam |
Опубликовано 22.08.2024 13:03
|
 Пользователь  Сообщений: 147 Зарегистрирован: 18.05.2014 12:23 |
Парсинг это не всегда все гладко, это постоянная работа по "доводке" на него надеяться на идеал не стоит. Если твой сайт живет и модернизируется, то сайт источника парсинга живет также. Питон попробую изучить суть, пока не понятны возможности (в отличие от пхп). Опять же - убьет время. Объединено 22.08.2024 13:06: Redfield написал: Я сегодня заметил проблему в парсинге. Связана она с тем, что данные загрязнены всяким хламом от эмодзи до всяких тегов со скриптом внутри. Обратил внимание что многие источники RSS имеют много грязи. А разметку хочется сохранить. Здесь нужно фильтровать, для этого удобно использовать "регулярки" на PHP. Еще лучше через структуризацию DOM - там сразу выделяется необходимый элемент, к примеру чистый текст. Изменил(а) pvam, 22.08.2024 13:06 на PHP-Fusion c 2008 года
|
|
|
|
| Redfield |
Опубликовано 22.08.2024 13:14
|
 Опытный пользователь  Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
Довести до ума Парсинг можно. Как минимум до 90% точно. Выше уже что-то новое. Мне в нем не нравится одно - это графический контент, а парсить его плюсом создавая копию на Массовые Новости - захламлять место. Все серверные языки программирования нужны по сути для работы с Базами Данных. У Питона, возможно есть интересные фреймворки уже готовые. Возможно лучше производительность. Проще говоря прям новые возможности - понятия не имею какие может дать. Возможно взаимодействие с ИИ на нем хорошо развито. Будет интересно почитать про твои эксперименты, если будешь писать об этом. Объединено 22.08.2024 13:18: Про Парсинг - основная проблема в том, когда встречаются грязные данные, то такие данные в Базу записываются не полностью. Обрубаются. Изменил(а) Redfield, 22.08.2024 13:18 Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| pvam |
Опубликовано 22.08.2024 13:45
|
|
Пользователь Сообщений: 147 Зарегистрирован: 18.05.2014 12:23 |
Для примера и оценки - с какого сайта берёшь информацию? (можешь в личку скинуть если не хочешь светить) какую информацию? Хочу глянуть, может что подскажу У меня про RSS статья была я вспомнил  https://vyazemsky...ticle_id=4 (прошу прощения за рекламу на сайте - закрыл проект) Я там почтовик настраивал, делал RSS на сайте. Никто не заинтересовался. Наверное подумали "это что ещё за муть" Объединено 22.08.2024 13:57: На счёт "обрубается" - неверно пишешь в базу. Если целенаправленно в этот код вставить "иньекцию" то ты его "парсишь" и твой сайт "вскрывается". Для этого нужно преобразовать нехорошие символы в тексте в их "сущности" (для начала можно только кавычки-одинарные и обычные) при выводе текста на страницу преобразовать назад. В фьюжн в ядре для этого предусмотрены уже готовые функции (пишу с телефона, указать не могу), глянь ядро. Это можно проследить как выводится и заносится текст в фьюжн к примеру новости, какие функции задействованы. Изменил(а) pvam, 22.08.2024 14:03 на PHP-Fusion c 2008 года
|
|
|
|
| Redfield |
Опубликовано 22.08.2024 15:37
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
Вот например https://rsshub.app/telegram/channel/gamer Объединено 22.08.2024 15:38: Да. Стандартными методами. Попозже посмотрю что как тоже. П.с. данные берутся из десятков источников. Объединено 22.08.2024 17:50: Если у вас время и желание. Постарайтесь написать Гайд - Всё про индексацию сайта. Методы. Исключения некоторого контента и т.д. Объединено 22.08.2024 18:20: И что ты думаешь об этом: https://gameraide...asterpice/ Объединено 22.08.2024 18:20: ? Изменил(а) Redfield, 22.08.2024 18:20 Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| pvam |
Опубликовано 23.08.2024 01:46
|
|
Пользователь Сообщений: 147 Зарегистрирован: 18.05.2014 12:23 |
Ну если условно принять что этот xml будет постоянен, то план работы я вижу такой 1) пишем файл в переменную 2) спарсить в xml структуру 3) выделить все нужные элементы 4) выделить привязку, здесь очень хорошо можно привязаться к условному "айдишнику" - здесь это ссылках t.me - цифры 6616... В бд это и будет ИД 5) писать в бд потоком (циклом) с проверкой этого ИД, если такой есть, значит запись пропускавем Поля таблицы бд могут быть такие - внутренний ИД для этой таблицы - ИД с xml - заголовок (вроде просто текст) желательно фильтровать только на текстовые символы - содержание (здесь что может быть, зависит от ваших хотелок) к примеру текст - фильтруем содержание - если в содержании необходимо выделить что-то, заводим ещё поле, фильтруем (вижу есть ссылки) - дата поста с xml - форматируем в нужный формат. - дата внесения записи в бд (не обязательно, но я для себя так делаю) - по ней можно ориентироваться на настройку периодичности процесса парсинга (делать раз в час, раз в сутки и тп) Вижу есть общая картинка, название файла из 300 с чем-то символов - жесть
Изменил(а) pvam, 23.08.2024 09:40 на PHP-Fusion c 2008 года
|
 x1
|
|
|
|
|
| Redfield |
Опубликовано 23.08.2024 08:53
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
Спасибо. Я так и сделал сразу. Но по очистки только от эмодзи Я имел ввиду гайд по SEO. С возможными тонкостями, доп разметками. Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| pvam |
Опубликовано 23.08.2024 09:20
|
|
Пользователь Сообщений: 147 Зарегистрирован: 18.05.2014 12:23 |
Redfield написал: Я имел ввиду гайд по SEO. С возможными тонкостями, доп разметками. Сео я не занимался, основывался на стандартных методах старого фьюжн. Поэтому какими нибудь "трюками" не обладаю. В плане новый проект, я об этом говорил. Пока даже чистый лист не создал. Планирую использовать современные инструменты. Так сказать резко с пхп 5.3 на... Пока не определился. Вот питон установил... Сео будет дорабатываться в процессе, об этом буду делиться. Сейчас много чего появилось нового в том числе для мобильных устройств. В мечтах - своя "цмс", именно "Система управления контентом" на которой будет реализованы свои методы, своя гибкая структура, как детский конструктор, отвинтил /прикрутил, "кубики". Опыта достаточно. Это не 90-е.., когда мануалов не было. (книги были редкостью. У меня из 90-х где-то тетрадь лежит где на квадратиках рисовал и кодировал рукописный шрифт. Это был ещё ДОС... ) Сейчас нужен мозг, остальное есть в интернете. Писать только на первичке, без готовых фреймворков. Все равно на экран выдаётся пока ещё стандартный [html / CSS / js] Ищу также новую концепцию сайта о чем создавал тему. Легко заметить что в настоящее время "среднестатистическое" разрешение устройства клиента стало гораздо выше недалекого прошлого. Пишу со смартфона с разрешением экрана 2400 x 1080 ну и камера на 200мп  А начинал с монитора 600*800, но это только в графическом режиме, и то не везде. Рабочее 640*480. А обычная игра в то время 320*240 и всё было замечательно Объединено 23.08.2024 09:38: Ну это некий квест, комикс.. Я с этим наигрался на десктопе ооочень давно. Перевоплощение в сайт.. Ну для тематики может быть идея неплохая. Для меня это банально. Сейчас тексты читать думаю слишком "сложно и долго" для людей. Это для игры идея. Я бы её воплотил чуть по другому. Если интересно - доберусь до компа, предложу своё видение данной идеи. Изменил(а) pvam, 23.08.2024 09:38 на PHP-Fusion c 2008 года
|
|
|
|
| Redfield |
Опубликовано 23.08.2024 12:42
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
Конечно интересно. Объединено 23.08.2024 14:19: По поводу парсинга rss. Я знаю - на этом сайте есть Плагин. Но он не работает с Базой Данных. А делает файловый кэш, если не изменяет память. Почему я делаю в Базу? Чтобы можно было взаимодействовать в будущем с информацией и переиспользовать ее. Изменил(а) Redfield, 23.08.2024 14:19 Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| pvam |
Опубликовано 24.08.2024 11:34
|
|
Пользователь Сообщений: 147 Зарегистрирован: 18.05.2014 12:23 |
Вот пример как лист страницы, интерактивный комикс, появляются кадры с изображениями и очень небольшим текстом. Если сюжет большой, переходим к следующему листу. Так интереснее и поменьше текста, и текст должен быть крупным. Тогда данный прием будет читаем.  Объединено 24.08.2024 11:45: Redfield написал: Спасибо. Я так и сделал сразу. Но по очистки только от эмодзи Я тут не нашел эмодзи. Как они кодируются? Объединено 24.08.2024 11:48: Redfield написал: Почему я делаю в Базу? Чтобы можно было взаимодействовать в будущем с информацией и переиспользовать ее. Без сохранения это превращается в бесплатное распространение информации от издателя с ссылками на его страницу Изменил(а) pvam, 24.08.2024 11:48 на PHP-Fusion c 2008 года
|
|
|
|
| Redfield |
Опубликовано 24.08.2024 16:07
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
По комиксу/новелле. Я видел такие варианты, они хороши тогда, когда над проектом работают художники. Тут же механизм проще. Фон на весь экран + персонаж. Или персонаж на фоне сразу. Поэтому с появлением - не вариант. По крайней мере в ближайшем будущем, если этому быть. Я не знаю в каком виде вы смотрели. Потому что я не делал адаптива с самого начала из-за лени, время тратить. Поэтому прикрепляю ранее картинки как это выглядит у меня. Некоторые изображения используют СSS-фильтры. Вообще. Мне бы хотелось уйти в творчество. Потому что я могу создать интересную вымышленную историю со смыслом. Объединено 24.08.2024 16:17: Про RSS. Там новости меняются, съехали видать. Но для примера кроме эмодзи есть например ссылки с js: <a href="https://youtu.be/2x8ZnixnPwY" target="_blank" rel="noopener" onclick="return confirm('Open this link?\n\n'+this.href);"> Объединено 24.08.2024 16:32: https://rsshub.app/telegram/channel/inzoigameru тут наверняка есть эмодзи и может что-то кроме.
Redfield присоединено следующее:изображения:
Изменил(а) Redfield, 24.08.2024 16:32 Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| pvam |
Опубликовано 25.08.2024 07:34
|
|
Пользователь Сообщений: 147 Зарегистрирован: 18.05.2014 12:23 |
Для удаления "каши" сначала пробуй 1) сначала strip_tags(текст) 2) затем что нибудь из этого [url]https://fcodenotes.ru/effektivnye-metody-udaleniya-nepechataemyh-simvolov-v-php/ [/url] https://ru.functi..._tags.html Тут можно проверить п.1 на PHP-Fusion c 2008 года
|
|
|
|
| Redfield |
Опубликовано 25.08.2024 08:03
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
Приветствую. Тэги как раз то нужны. Нужно проработать сценарии. Для этого есть методы. Пока поработает как есть. Потом что-нибудь придумаю. Объединено 25.08.2024 08:04: Спасибо. Объединено 25.08.2024 16:33: Что касается парсинга из каналов телеграм. Телеграм оказывается имеет временные ссылки для графического контента, после определенного времени ссылка - не работает. Парсить от таких новостей картинки - засорять место на сайте. Придется убрать графический контент. Жаль. Исключение сделаю для Специальных Материалов, для такого - парсится будет все напрямую с сайта. Но, под каждый сайт продеться писать свой код. Однако сделать это не просто потому что некоторые сайты не имеют тегов например <p>текст</p>, а некоторые имеют свои специфические разметки например теги свои, классы от которых зависит взаимодействие с контентом. Тут php проигрывает js, Но если сильно постараться то можно и тут сделать. Объединено 25.08.2024 16:38: Конечно хочется сделать аккуратно и эстетично. Но, пока время на всё это тратить не буду. Как появится займусь Xeditor. Изменил(а) Redfield, 25.08.2024 16:48 Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| pvam |
Опубликовано 26.08.2024 23:06
|
|
Пользователь Сообщений: 147 Зарегистрирован: 18.05.2014 12:23 |
Redfield написал: Что касается парсинга из каналов телеграм. Телеграм оказывается имеет временные ссылки для графического контента, после определенного времени ссылка - не работает. Парсить от таких новостей картинки - засорять место на сайте. Придется убрать графический контент. Жаль Для поддержки свежих полноценных новостей, ведь можно также сделать. "карусель изображений" старые удалять спустя год к примеру +удаление ссылок. Оставлять текст. Объединено 26.08.2024 23:09: Возможно в имени ссылки изображения из телеграм закодировано много информации, в том числе когда это изображение будет удалено... Изменил(а) pvam, 26.08.2024 23:09 на PHP-Fusion c 2008 года
|
|
|
|
| Redfield |
Опубликовано 28.08.2024 21:05
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
Видать SEO влияет порой. За пару дней посещаемость сайта сделала + 10.000 Такие наблюдения сделал. Но, любой тренд заканчивается, снижает скорость или разгоняется. Всему время. Объединено 03.09.2024 06:55: Похоже на этом пока всё. 
Изменил(а) Redfield, 03.09.2024 06:55 Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| kazik |
Опубликовано 03.09.2024 11:15
|
 Пользователь Сообщений: 91 Зарегистрирован: 03.05.2019 12:54 |
Детишки резвятся в песочнице!  Ну-ну, играйте и дальше, а мы всей семьёй, с внуками почти взрослыми - в путешествие на теплоходе по Волге, до Валаама и обратно. Куча городов, Кижи, Ладога, Лодейное поле.. Бросайте всё на месяц и следуйте примеру ! Лето скоро закончится, а вы всё кодируете.. Забудьте этот бред с фуджиком, или вы буратины на поле дураков? 
Изменил(а) kazik, 03.09.2024 11:22 |
|
|
|
| Redfield |
Опубликовано 03.09.2024 16:32
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
kazik написал: Детишки резвятся в песочнице! Ну-ну, играйте и дальше, а мы всей семьёй, с внуками почти взрослыми - в путешествие на теплоходе по Волге, до Валаама и обратно. Куча городов, Кижи, Ладога, Лодейное поле.. Бросайте всё на месяц и следуйте примеру ! Лето скоро закончится, а вы всё кодируете.. Забудьте этот бред с фуджиком, или вы буратины на поле дураков? Я бы с удовольствием. Но, надо работать, расходы.При такой информации все дорого. Даже Г. Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| kazik |
Опубликовано 04.09.2024 07:50
|
|
Пользователь Сообщений: 91 Зарегистрирован: 03.05.2019 12:54 |
Повторю ещё раз. На кодинге вы не заработаете, практически никогда, уровень не тот и связей нет. А другой работы вокруг - полно, в любом крае и городе, особенно в Китае. У нас на вертолётном и авиа-заводах, рабочие специальности - меньше 150-170 нету! От слова вообще, и обед за счет предприятия. Месяц-два первых - 50-60. А дальше как себя покажешь. Кто на сделке - там за 200. Особенно ЧПУ-шники, очень и очень востребованы. Строительство - вообще клондайк! На радиоприборе - монтажницы женщины вначале 40, через год-полтора - за 200.. И никто не увольняется! Обед тоже за счет предприятия, столовые. |
|
|
|
| Redfield |
Опубликовано 04.09.2024 09:07
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
kazik написал: Повторю ещё раз. На кодинге вы не заработаете, практически никогда, уровень не тот и связей нет. А другой работы вокруг - полно, в любом крае и городе, особенно в Китае. У нас на вертолётном и авиа-заводах, рабочие специальности - меньше 150-170 нету! От слова вообще, и обед за счет предприятия. Месяц-два первых - 50-60. А дальше как себя покажешь. Кто на сделке - там за 200. Особенно ЧПУ-шники, очень и очень востребованы. Строительство - вообще клондайк! На радиоприборе - монтажницы женщины вначале 40, через год-полтора - за 200.. И никто не увольняется! Обед тоже за счет предприятия, столовые. Откуда вам знать про мой уровень. Уровень у меня приличный, иначе бы не кодил. Связи везде, не смотря от профессии. И кто сказал что я на кодинге? Я профессиональный трейдер, такого как я больше нигде не найти и не сравнить с инсайдом. Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| kazik |
Опубликовано 04.09.2024 10:55
|
|
Пользователь Сообщений: 91 Зарегистрирован: 03.05.2019 12:54 |
В альфа-банке? Наверное $1000 депозит и плечо 10. Юноша! Не смеши дяденек такими заявлениям, трейдер.. Документы, подтверждающие ваше право заниматься инвестиционной деятельностью есть? Такой умный и .. Я ни в коем случае не желаю тебе плохого, что вижу - то и говорю, ляпов много и русский язык подтянуть. В середине сентября буду проездом в Уфе, предлагаю встретиться. Всё, отстал, больше не буду.. Пустое это всё.. А фуджик - разлагающийся труп. Изменил(а) kazik, 04.09.2024 14:52 |
|
|
|
| Redfield |
Опубликовано 04.09.2024 15:47
|
|
Опытный пользователь Сообщений: 287 Зарегистрирован: 16.01.2011 22:12 |
Вы как-то странно рассуждаете. Во-первых у меня есть документы от Dukas на управление, вернее были. Я и за все время сделал приличные проценты. Да, не хедж-фонд. Как хотите, так и называйте. Сейчас такой возможности нет. И это сделало мне довольно большую паузу. Причина всем известна. Во-вторых бумажка какой бы она не была не даёт знания. Вы или ваш трейдер, неважно, можете иметь бумажку или Инсайд и спалить бумагу. Так как главное это не мартингейл (кто использует усреднение) с инсайдом. А вход с соотношением. Серии сделок. Комбинация. Если говорить о маленьких рисках. Я не вижу в плечах ничего плохого, так как для маленьких денег это возможность, для той же 1000$. Главное маленький стоп. В середине сентября я буду в другом городе. И особого желания у меня нет. Из фьюжена можно сделать конфетку. При желании. Из любого движка можно если на то пошло. Объединено 04.09.2024 15:49: Я не педант, чтобы везде писать без ошибок, со знаками припенания. Для меня главное передать Смысл. Кратко и понятно. Но не всегда это получается. Объединено 04.09.2024 15:51: Про Фьюжен. Дать пачку возможностей в одной коробке без вот этих всех Плагинов. Сделать необходимые возможности сразу. Дать людям пощупать в итоге. И тогда может быть CMS хайпанет. Не факт. Но сделать можно. Объединено 04.09.2024 15:52: Вопрос в другом - Сделает ли кто? Про маркетинг я промолчу. Ибо я этим никогда не занимался и не собираюсь. Объединено 04.09.2024 15:57: Ну и да. По русскому я учился плохо. 2/3. Кому не могу угодить. Извиняйте. Не грамотный. Объединено 04.09.2024 16:14: И нужно не забывать то, что Fusion это по сути Apple. Потому что, все - что появилось после, по сути копии, с не соблюдением авторских прав. Кто сейчас помнит Ника Джонса? Почти никто. Но, он по своему Стив Джобс. Не знаю были ли связи у него, вероятно нет, у Джобса были. Один Билл Гейтс чего стоит. Именно он был ведущим программистом в Apple, и именно его друга зовут Уррен Баффет. Кстати у Гейтса проблема с грамматикой. Объединено 04.09.2024 16:17: Конечно нелепо сравнивать себя с элитой крестьянину. Но, пишу так как есть. Выводы делайте сами. Изменил(а) Redfield, 04.09.2024 16:17 Сайт про видеоигры https://gameraide... (в разработке) ^
|
|
|
|
| Поделиться этой темой | |
| Социальные закладки: |
|
| URL: | |
| BBcode: | |
| HTML: |
| Перейти на форум: |
